💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate is een efficiënte post-training methode die menselijke animatie op minuut-schaal mogelijk maakt door persistente latente propagatie en herstellende flow matching te combineren om de generatie te verankeren in een latente contextgeheugen, waardoor opgehoopte visuele en semantische drift wordt geëlimineerd terwijl de karakteridentiteit en de achtergrondkwaliteit behouden blijven.

Oorspronkelijke auteurs: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lange, continue film op te nemen van een danser die een complexe routine uitvoert. Je hebt een foto van de danser (de referentie) en een script van hun bewegingen (de poses). Je doel is om een video te genereren die het script perfect volgt, terwijl de danser er precies uitziet als de persoon op de foto, zelfs na 90 seconden dansen.

Het artikel EverAnimate behandelt een specifiek probleem: wanneer AI probeert deze lange video's te maken, hebben ze de neiging om uit elkaar te "drijven", net zoals een kopie van een kopie van een kopie uiteindelijk wazig en onherkenbaar wordt.

Hieronder legt het artikel het probleem en de oplossing uit, met behulp van eenvoudige analogieën:

Het Probleem: De "Kopieer-Plak"-Glitch

Huidige methoden proberen lange video's te maken door korte clips (chunks) aan elkaar te naaien. Stel je voor dat je een alinea tekst kopieert, die kopie vervolgens gebruikt om de volgende alinea te maken, en zo verder.

De Achtergrond-drift (Laag niveau): De achtergrond (zoals een muur of een boom) zou stil moeten blijven. Maar omdat de AI het beeld blijft her-kopiëren om de volgende clip te starten, begint de muur wazig te lijken, verschuiven de kleuren en ziet het er uiteindelijk uit als een slechte fotokopie.
De Identiteits-drift (Hoog niveau): De danser zou er hetzelfde uit moeten zien. Maar naarmate de video langer wordt, kan het gezicht van de danser langzaam van vorm veranderen, hun kleding van kleur veranderen, of hun haar er anders uitzien. Ze verliezen hun "identiteit".

Het artikel stelt dat bestaande methoden proberen dit op te lossen door de AI keer op keer de originele foto te tonen (als een "put" of anker), maar dit is niet genoeg. De AI blijft verward raken door het herhaalde kopieerproces.

De Oplossing: EverAnimate

De auteurs stellen een nieuwe manier voor om deze video's te genereren die volledig plaatsvindt in het "brein" van de AI (de latente ruimte) in plaats van door de video opnieuw te fotograferen. Ze gebruiken twee belangrijkste trucs:

1. De "Persistente Rugzak" (Persistente Latente Propagatie)

In plaats van de video-uitvoer te nemen, deze terug om te zetten in een afbeelding en die afbeelding vervolgens weer in de AI te voeden voor de volgende clip (wat de "kopieer-plak"-fouten veroorzaakt), houdt EverAnimate een rugzak met geheugen binnenin de AI.

Hoe het werkt: Wanneer de AI een chunk van de video heeft voltooid, kijkt het niet naar het laatste plaatje. In plaats daarvan geeft het een "rugzak" met ruwe data (latente codes) door aan de volgende chunk.
Wat zit er in de rugzak?
- Kortetermijngeheugen: De laatste paar seconden beweging om de dans vloeiend te houden.
- Lange termijngeheugen: Een verzameling "ID-kaarten" (meerdere weergave-afbeeldingen) van het gezicht en de kleding van de danser om ervoor te zorgen dat ze nooit hun uiterlijk veranderen.
De Analogie: Stel je een estafettewedstrijd voor. In plaats van dat de loper je een wazige foto van de vorige loper geeft om te kopiëren, geeft hij je een directe, hoogwaardige data-chip die je precies vertelt hoe je de wedstrijd moet voortzetten zonder de oorspronkelijke kenmerken van de loper te verliezen.

2. De "Zelfcorrigerende Kompas" (Restorative Flow Matching)

Zelfs met een goede rugzak kan de AI af en toe een verkeerde afslag nemen tijdens het genereren van een enkele clip.

Het Probleem: Als de AI begint te dwalen van de koers (bijvoorbeeld als de arm van de danser een beetje raar lijkt), gaan standaardmethodes gewoon door, waardoor de fout erger wordt.
De Oplossing: EverAnimate traint de AI met een speciaal "kompas". Tijdens het trainingstraject krijgt de AI opzettelijk een licht "gebroken" of vervormd pad om te volgen. Het leert herkennen dat het van koers is geraakt en stuurt zichzelf actief terug naar het juiste, schone pad.
De Analogie: Denk aan een wandelaar die in de mist loopt. Een normale wandelaar kan van een afgrond afdwalen omdat ze het pad niet kunnen zien. EverAnimate is als een wandelaar met een GPS die trilt zodra ze van het pad stappen, en hen zachtjes terugduwt naar het veilige pad voordat ze verdwalen.

De Resultaten

Het artikel beweert dat door het gebruik van deze twee methoden (de geheugenrugzak en de zelfcorrigerende kompas), EverAnimate video's kan genereren die minuten lang duren (tot 90 seconden in hun tests) zonder dat de achtergrond wazig wordt of het personage van gezicht verandert.

Korte video's (10 seconden): Het is al beter dan de beste bestaande methoden.
Lange video's (90 seconden): De verbetering is enorm. De video blijft scherp, de achtergrond blijft stabiel en het personage ziet er van begin tot eind precies hetzelfde uit.

Samenvatting

Kortom, EverAnimate voorkomt dat de AI "kopieën van kopieën" van een video maakt. In plaats daarvan houdt het een hoogwaardig digitaal geheugen van het personage en de scène bij, en traint het de AI om zijn eigen fouten te herstellen terwijl het doorgaat, waardoor vloeiende, hoogwaardige animaties van minutenlang mogelijk zijn die niet uit elkaar vallen.

Technische Samenvatting van EverAnimate: Animatie van Mensen op Minutenschaal via Latente Stroomherstel

1. Probleemstelling

Het artikel behandelt de uitdaging om pose-gestuurde animatievideo's van mensen op minutenschaal te genereren met een lange horizon, terwijl hoge visuele kwaliteit en een consistente karakteridentiteit worden behouden. Bestaande methoden, die doorgaans vertrouwen op autoregressieve, chunk-voor-chunk generatie, lijden onder accumulatie van afwijkingen (drift) in de loop van de tijd. De auteurs identificeren twee distincte soorten drift:

Lage-niveau Kwaliteitsdrift: Progressieve degradatie van statische achtergronden en texturen veroorzaakt door herhaalde decodering en hercodering (VAE-ronde-trips) van overdrachtsframes tussen chunks.
Hoge-niveau Semantische Drift: Inconsistenties in karakteridentiteit, gezichtsuitstraling en kledingdetails, met name in gebieden die aanzienlijke beweging ondergaan.

De auteurs betogen dat huidige oplossingen, zoals attention sinks (het gebruik van een referentiekader als globaal anker) of foutrecycling, ontoereikend zijn. Attention sinks fungeren als passieve signalen die specificeren wat moet worden behouden, maar falen in het actief corrigeren van trajectafwijkingen, terwijl herhaalde voortzetting in de beeldruimte onvermijdelijk visuele details in statische gebieden beschadigt.

2. Methodologie: EverAnimate

EverAnimate is een efficiënt post-training framework dat is ontworpen om langdurige generatie te stabiliseren door direct in latente ruimte te werken in plaats van in beeldruimte. Het introduceert twee complementaire mechanismen:

A. Persistente Latente Propagatie (PLP)
In plaats van de video van de vorige chunk te decoderen, het laatste frame te extraheren en dit opnieuw te coderen (de standaard overdrachtspijplijn), propageert EverAnimate latent geheugen direct over chunks heen.

Bewegingsgeheugen ( $M_{mot}$ ): Behoudt korte-termijn temporele continuïteit door de laatste $r$ latente slices van de vorige chunk te propageren.
Identiteitsgeheugen ( $M_{id}$ ): Verankert multi-view identiteit over alle chunks. Dit wordt geconstrueerd door een kleine set van gesamplede frames uit de context-chunk te coderen.
Geheugenaugmentatie: Om ruimtelijke bias te voorkomen waarbij de geheugencontext onbedoeld de ruimtelijke lay-out van het gegenereerde frame dicteert, passen de auteurs milde ruimtelijke augmentaties (willekeurige translatie en herschaling) toe op het identiteitsgeheugen tijdens het trainen.
Injectie: Deze geheugens worden geconcateneerd met pose-gestuurde doel-latents om de invoer te vormen voor de Diffusion Transformer (DiT), zodat het model conditieert op persistente semantische informatie zonder destructieve reconstructie in beeldruimte.

B. Restorative Flow Matching (RFM)
Om drift die binnen een chunk optreedt aan te pakken, introduceert EverAnimate een impliciet herstelobjectief tijdens het bemonsteringsproces.

Concept: Standaard Flow Matching (FM) traint het model om Gaussisch ruis naar een schoon data-manifold te transporteren. Echter, bij generatie met een lange horizon kan het model verstoord toestanden tegenkomen als gevolg van opgehoopte fouten.
Mechanisme: Tijdens het trainen wordt het doeleindpunt verstoord ( $\tilde{X}_1$ ) om drift te simuleren. Het model wordt vervolgens getraind om een snelheidsveld te voorspellen dat niet alleen het schone pad volgt, maar ook actief het traject corrigeert van de verstoorde staat terug naar het schone eindpunt.
Snelheidsaanpassing: De doelsnelheid wordt aangepast om een herstelterm op te nemen: $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ .
Herscheduling: Om trainingsinstabiliteit te voorkomen (waarbij de correctieterm disproportioneel groot wordt in de buurt van het schone eindpunt), wordt een begrensd tijdsgewicht $\lambda(t)$ (een klokvormig schema) toegepast. Dit zorgt ervoor dat herstel het sterkst is in intermediaire ruisgebieden waar verstoringen informatief zijn, terwijl overcorrectie in extreme ruis- of lage-ruisgebieden wordt vermeden.

Training en Inferentie
Het framework maakt gebruik van lichtgewicht LoRA-tuning op een voorgetrainde DiT-backbone (Wan-2.2-Animate). Training vindt plaats in twee fasen: (1) Geheugenaanpassing om de latente propagatie te leren, en (2) Anti-drift aanpassing met behulp van de Restorative Flow Matching-verliesfunctie. Tijdens inferentie rolde het model chunk-voor-chunk uit in latente ruimte, waarbij latente slices worden hergebruikt voor de volgende chunk zonder tussenliggende frames te decoderen.

3. Belangrijkste Bijdragen

Probleemidentificatie: De auteurs tonen empirisch aan dat voortzetting in beeldruimte en attention sinks ontoereikend zijn voor animatie op minutenschaal, en identificeren specifieke beperkingen in hoe huidige methoden omgaan met VAE-ronde-trip degradatie en semantische verankering.
Principe van Latente Ruimte: Zij leiden een principe af voor stabiele generatie met een lange horizon: semantisch geheugen moet autoregressief in latente ruimte worden gepropageerd, en drift moet worden gecorrigeerd via intrinsieke herstelfunctionaliteiten.
EverAnimate Framework: Een post-training methode bestaande uit Persistente Latente Propagatie (voor continuïteit over chunks) en Restorative Flow Matching (voor fideliteit binnen een chunk), die slechts lichtgewicht LoRA-tuning vereist.

4. Experimentele Resultaten

De methode wordt geëvalueerd op een dataset die Champ, UBC, Seedance en zelfverzamelde YouTube-video's combineert, met benchmarks op duur van 10s, 30s, 60s en 90s.

Kwantitatieve Prestaties: EverAnimate presteert beter dan state-of-the-art methoden (inclusief Wan-Animate, UniAnimate-DiT en SteadyDancer) over alle metrieken.
- Bij 10 seconden verbetert het PSNR met 8% en SSIM met 7% ten opzichte van Wan-Animate, terwijl LPIPS met 22% en FID met 11% worden verlaagd.
- Bij 90 seconden nemen de winsten aanzienlijk toe: PSNR/SSIM verbeteren elk met 15%, en LPIPS/FID verminderen respectievelijk met 32% en 27%.
- Het bereikt de hoogste Face-PSNR (F-PSNR), wat wijst op superieure identiteitsconsistentie.
Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat terwijl basismethoden lijden aan achtergronddegradatie en identiteitsflikkering in de loop van de tijd, EverAnimate stabiele achtergronden en een consistente karakteridentiteit behoudt gedurende minutenlange sequenties.
Ablatiestudies: Het verwijderen van Restorative Flow Matching (RFM) verlaagt de perceptuele kwaliteit aanzienlijk, terwijl het verwijderen van Persistente Latente Propagatie (PLP) de continuïteit over chunks verzwakt, wat de noodzaak van beide componenten bevestigt.

5. Betekenis en Beweringen

Het artikel beweert dat EverAnimate een verschuiving vertegenwoordigt van voortzetting in beeldruimte naar controle van latente toestanden voor langdurige animatie. Door de propagatie van semantisch geheugen te ontkoppelen van de destructieve cyclus van beelddecodering/hercodering, en door het model uit te rusten met een intrinsiek vermogen om trajectdrift te corrigeren, stelt EverAnimate de generatie van video's op minutenschaal mogelijk die voorheen onbereikbaar waren met hoge fideliteit. De auteurs positioneren dit als een oplossing voor de specifieke train-test asymmetrie in pose-gedreven animatie, waarbij generatie met een lange horizon faalt als gevolg van opgehoopte fouten in zowel bewegingsstructuur als visuele synthese.