💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate est une méthode de post-entraînement efficace qui permet l'animation humaine à l'échelle de la minute en combinant une propagation persistante des latents et un appariement de flux restaurateur pour ancrer la génération dans une mémoire de contexte latent, éliminant ainsi la dérive visuelle et sémantique accumulée tout en préservant l'identité du personnage et la qualité de l'arrière-plan.

Auteurs originaux : Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de filmer un long film continu d'un danseur exécutant une routine complexe. Vous avez une photo du danseur (la référence) et un script de ses mouvements (les poses). Votre objectif est de générer une vidéo qui suit parfaitement le script tout en maintenant le danseur exactement comme la personne sur la photo, même après 90 secondes de danse.

Le papier EverAnimate aborde un problème spécifique : lorsque l'IA tente de créer ces vidéos longues, elles ont tendance à « dériver », un peu comme une copie d'une copie d'une copie finit par devenir floue et méconnaissable.

Voici comment le papier explique le problème et sa solution, en utilisant des analogies simples :

Le Problème : Le Bug « Copier-Coller »

Les méthodes actuelles tentent de créer des vidéos longues en assemblant de courts clips (segments). Imaginez que vous copiez un paragraphe de texte, puis que vous copiez cette copie pour faire le paragraphe suivant, et ainsi de suite.

La Dérive de l'Arrière-plan (Niveau Bas) : L'arrière-plan (comme un mur ou un arbre) est censé rester immobile. Mais parce que l'IA continue de recopier l'image pour démarrer le clip suivant, le mur commence à paraître flou, les couleurs changent, et finalement, cela ressemble à une mauvaise photocopie.
La Dérive de l'Identité (Niveau Élevé) : Le danseur est censé rester identique. Mais à mesure que la vidéo s'allonge, le visage du danseur peut lentement changer de forme, ses vêtements peuvent changer de couleur, ou ses cheveux peuvent paraître différents. Ils perdent leur « identité ».

Le papier soutient que les méthodes existantes tentent de résoudre cela en montrant à l'IA la photo originale encore et encore (comme un « évier » ou une ancre), mais cela ne suffit pas. L'IA reste confuse par le processus de copie répété.

La Solution : EverAnimate

Les auteurs proposent une nouvelle façon de générer ces vidéos qui se produit entièrement dans le « cerveau » de l'IA (son espace latent) plutôt qu'en re-photographiant la vidéo. Ils utilisent deux astuces principales :

1. Le « Sac à Dos Persistant » (Propagation Latente Persistante)

Au lieu de prendre la sortie vidéo, de la retransformer en image, puis de nourrir cette image à nouveau dans l'IA pour le clip suivant (ce qui cause les erreurs de « copier-coller »), EverAnimate maintient un sac à dos de mémoire à l'intérieur de l'IA.

Comment cela fonctionne : Lorsque l'IA termine un segment de la vidéo, elle ne regarde pas l'image finale. Au lieu de cela, elle transmet un « sac à dos » de données brutes (codes latents) au segment suivant.
Que contient le sac à dos ?
- Mémoire à court terme : Les dernières secondes de mouvement pour maintenir la fluidité de la danse.
- Mémoire à long terme : Une collection de « cartes d'identité » (images multi-vues) du visage et des vêtements du danseur pour s'assurer qu'ils ne changent jamais d'apparence.
L'Analogie : Imaginez une course de relais. Au lieu que le coureur vous remette une photo floue du coureur précédent à copier, il vous remet une puce de données directe et de haute qualité qui vous indique exactement comment continuer la course sans perdre les caractéristiques du coureur original.

2. La « Boussole Auto-Correctrice » (Appariement de Flux Restaurateur)

Même avec un bon sac à dos, l'IA peut parfois prendre un mauvais tournant lors de la génération d'un seul clip.

Le Problème : Si l'IA commence à dériver légèrement hors de sa trajectoire (par exemple, le bras du danseur paraît un peu étrange), les méthodes standard continuent simplement, aggravant l'erreur.
La Correction : EverAnimate entraîne l'IA avec une « boussole » spéciale. Pendant l'entraînement, l'IA reçoit intentionnellement un chemin légèrement « cassé » ou déformé à suivre. Elle apprend à reconnaître qu'elle est hors piste et s'oriente activement pour revenir sur le chemin correct et propre.
L'Analogie : Pensez à un randonneur marchant dans le brouillard. Un randonneur normal pourrait s'égarer au bord d'une falaise parce qu'il ne voit pas le chemin. EverAnimate est comme un randonneur équipé d'un GPS qui vibre chaque fois qu'il sort du sentier, le poussant doucement à revenir sur le chemin sûr avant qu'il ne se perde.

Les Résultats

Le papier affirme qu'en utilisant ces deux méthodes (le sac à dos de mémoire et la boussole auto-correctrice), EverAnimate peut générer des vidéos de plusieurs minutes (jusqu'à 90 secondes dans leurs tests) sans que l'arrière-plan ne devienne flou ou que le personnage ne change de visage.

Vidéos courtes (10 secondes) : Elle est déjà meilleure que les meilleures méthodes existantes.
Vidéos longues (90 secondes) : L'amélioration est massive. La vidéo reste nette, l'arrière-plan reste stable, et le personnage reste exactement le même du début à la fin.

Résumé

En bref, EverAnimate empêche l'IA de faire des « copies de copies » d'une vidéo. Au lieu de cela, elle conserve une mémoire numérique de haute qualité du personnage et de la scène, et elle entraîne l'IA à corriger ses propres erreurs au fur et à mesure, permettant des animations fluides, de haute qualité et d'une durée d'une minute qui ne se désagrègent pas.

Résumé Technique d'EverAnimate : Animation Humaine à l'Échelle de la Minute par Restauration de Flux Latent

1. Énoncé du Problème

L'article aborde le défi de la génération de vidéos d'animation humaine guidées par la pose à long terme (à l'échelle de la minute) tout en maintenant une haute fidélité visuelle et une identité de personnage cohérente. Les méthodes existantes, qui reposent généralement sur une génération autorégressive par blocs, souffrent d'une dérive accumulée au fil du temps. Les auteurs identifient deux types distincts de dérive :

Dérive de qualité de bas niveau : Dégradation progressive des arrière-plans statiques et des textures causée par le décodage et le réencodage répétés (allers-retours VAE) des frames de transition entre les blocs.
Dérive sémantique de haut niveau : Incohérences dans l'identité du personnage, l'apparence faciale et les détails vestimentaires, en particulier dans les régions subissant des mouvements importants.

Les auteurs soutiennent que les solutions actuelles, telles que les puits d'attention (utilisant une frame de référence comme ancre globale) ou le recyclage des erreurs, sont insuffisantes. Les puits d'attention agissent comme des signaux passifs spécifiant ce qu'il faut préserver, mais échouent à corriger activement les déviations de trajectoire, tandis que la continuation répétée dans l'espace image endommage inévitablement les détails visuels dans les régions statiques.

2. Méthodologie : EverAnimate

EverAnimate est un cadre d'entraînement postérieur efficace conçu pour stabiliser la génération de longue durée en opérant directement dans l'espace latent plutôt que dans l'espace image. Il introduit deux mécanismes complémentaires :

A. Propagation Latente Persistante (PLP)
Au lieu de décoder la vidéo du bloc précédent, d'extraire la dernière frame et de la réencoder (le pipeline standard de transition), EverAnimate propage directement une mémoire latente à travers les blocs.

Mémoire de mouvement ( $M_{mot}$ ) : Préserve la continuité temporelle à court terme en propageant les $r$ dernières tranches latentes du bloc précédent.
Mémoire d'identité ( $M_{id}$ ) : Ancrage de l'identité multi-vues à travers tous les blocs. Elle est construite en encodant un petit ensemble de frames échantillonnées à partir du bloc de contexte.
Augmentation de la mémoire : Pour éviter un biais spatial où le contexte de mémoire dicterait involontairement la disposition spatiale de la frame générée, les auteurs appliquent des augmentations spatiales légères (translation et redimensionnement aléatoires) à la mémoire d'identité pendant l'entraînement.
Injection : Ces mémoires sont concaténées aux latents cibles guidés par la pose pour former l'entrée du Transformateur de Diffusion (DiT), garantissant que le modèle se conditionne sur des informations sémantiques persistantes sans reconstruction destructive dans l'espace image.

B. Matching de Flux Restaurateur (RFM)
Pour traiter la dérive survenant à l'intérieur d'un bloc, EverAnimate introduit un objectif de restauration implicite durant le processus d'échantillonnage.

Concept : Le Matching de Flux (FM) standard entraîne le modèle à transporter du bruit gaussien vers une variété de données propre. Cependant, dans la génération à long terme, le modèle peut rencontrer des états perturbés dus aux erreurs accumulées.
Mécanisme : Pendant l'entraînement, le point d'arrivée cible est perturbé ( $\tilde{X}_1$ ) pour simuler la dérive. Le modèle est ensuite entraîné à prédire un champ de vitesse qui suit non seulement le chemin propre, mais corrige activement la trajectoire depuis l'état perturbé jusqu'au point d'arrivée propre.
Ajustement de vitesse : La vitesse cible est ajustée pour inclure un terme de restauration : $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ .
Rescheduling : Pour éviter l'instabilité de l'entraînement (où le terme de correction devient disproportionnellement grand près du point d'arrivée propre), un poids temporel borné $\lambda(t)$ (un calendrier en forme de cloche) est appliqué. Cela garantit que la restauration est la plus forte dans les régions de bruit intermédiaires où les perturbations sont informatives, tout en évitant la sur-correction aux extrêmes de bruit élevé ou faible.

Entraînement et Inférence
Le cadre utilise un réglage LoRA léger sur une colonne vertébrale DiT pré-entraînée (Wan-2.2-Animate). L'entraînement se déroule en deux étapes : (1) adaptation de la mémoire pour apprendre la propagation latente, et (2) adaptation anti-dérive utilisant la fonction de perte Matching de Flux Restaurateur. Pendant l'inférence, le modèle déploye bloc par bloc dans l'espace latent, réutilisant les tranches latentes pour le bloc suivant sans décoder les frames intermédiaires.

3. Contributions Clés

Identification du problème : Les auteurs révèlent empiriquement que la continuation dans l'espace image et les puits d'attention sont insuffisants pour l'animation à l'échelle de la minute, identifiant des limitations spécifiques dans la manière dont les méthodes actuelles gèrent la dégradation des allers-retours VAE et l'ancrage sémantique.
Principe de l'espace latent : Ils déduisent un principe pour une génération stable à long terme : la mémoire sémantique doit être propagée de manière autorégressive dans l'espace latent, et la dérive doit être corrigée via des capacités de restauration intrinsèques.
Cadre EverAnimate : Une méthode d'entraînement postérieur comprenant la Propagation Latente Persistante (pour la continuité inter-blocs) et le Matching de Flux Restaurateur (pour la fidélité intra-bloc), ne nécessitant qu'un réglage LoRA léger.

4. Résultats Expérimentaux

La méthode est évaluée sur un ensemble de données combinant Champ, UBC, Seedance et des vidéos YouTube collectées personnellement, avec des benchmarks aux durées de 10s, 30s, 60s et 90s.

Performance Quantitative : EverAnimate surpasse les méthodes de l'état de l'art (y compris Wan-Animate, UniAnimate-DiT et SteadyDancer) sur toutes les métriques.
- À 10 secondes, il améliore le PSNR de 8 % et le SSIM de 7 % par rapport à Wan-Animate, tout en réduisant le LPIPS de 22 % et le FID de 11 %.
- À 90 secondes, les gains augmentent considérablement : PSNR/SSIM s'améliorent de 15 % chacun, et LPIPS/FID diminuent de 32 % et 27 % respectivement.
- Il atteint le PSNR-Face (F-PSNR) le plus élevé, indiquant une cohérence d'identité supérieure.
Performance Qualitative : Les comparaisons visuelles montrent que tandis que les bases de référence souffrent de dégradation de l'arrière-plan et de scintillement d'identité au fil du temps, EverAnimate maintient des arrière-plans stables et une identité de personnage cohérente tout au long des séquences d'une minute.
Études d'ablation : La suppression du Matching de Flux Restaurateur (RFM) réduit considérablement la qualité perceptive, tandis que la suppression de la Propagation Latente Persistante (PLP) affaiblit la continuité inter-blocs, confirmant la nécessité des deux composants.

5. Signification et Revendications

L'article revendique qu'EverAnimate représente un passage de la continuation dans l'espace image au contrôle d'état latent pour l'animation de longue durée. En découplant la propagation de la mémoire sémantique du cycle destructif de décodage/réencodage d'images, et en dotant le modèle d'une capacité intrinsèque à corriger la dérive de trajectoire, EverAnimate permet la génération de vidéos à l'échelle de la minute qui étaient auparavant inaccessibles avec une haute fidélité. Les auteurs positionnent cela comme une solution à l'asymétrie spécifique entraînement-test dans l'animation pilotée par la pose, où la génération à long terme échoue en raison d'erreurs accumulées tant dans la structure du mouvement que dans la synthèse visuelle.