💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate ist eine effiziente Nachtrainierungsmethode, die eine Animation von Menschen im Minutenmaßstab ermöglicht, indem sie persistente latente Propagation und restauratives Flow-Matching kombiniert, um die Generierung in einem latenten Kontextspeicher zu verankern, wodurch sowohl die Anhäufung visueller als auch semantischer Drifts eliminiert werden, während gleichzeitig die Charakteridentität und die Hintergrundqualität bewahrt bleiben.

Ursprüngliche Autoren: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen langen, durchgehenden Film von einem Tänzer aufzunehmen, der eine komplexe Choreografie aufführt. Sie haben ein Foto des Tänzers (die Referenz) und ein Skript seiner Bewegungen (die Posen). Ihr Ziel ist es, ein Video zu erzeugen, das das Skript perfekt befolgt und dabei den Tänzer exakt wie die Person auf dem Foto aussehen lässt, selbst nach 90 Sekunden Tanz.

Der Artikel EverAnimate behandelt ein spezifisches Problem: Wenn KI versucht, diese langen Videos zu erstellen, neigen sie dazu, sich „zu verschieben", ähnlich wie eine Kopie einer Kopie einer Kopie schließlich unscharf und unkenntlich wird.

Hier erklärt der Artikel das Problem und seine Lösung unter Verwendung einfacher Analogien:

Das Problem: Der „Kopieren-Einfügen"-Fehler

Aktuelle Methoden versuchen, lange Videos zu erstellen, indem sie kurze Clips (Abschnitte) zusammenfügen. Stellen Sie sich vor, Sie kopieren einen Absatz Text, kopieren dann diese Kopie, um den nächsten Absatz zu erstellen, und so weiter.

Der Hintergrund-Drift (Niedriges Niveau): Der Hintergrund (wie eine Wand oder ein Baum) soll ruhig bleiben. Aber da die KI das Bild immer wieder neu kopiert, um den nächsten Clip zu starten, beginnt die Wand unscharf auszusehen, die Farben verschieben sich, und schließlich sieht es aus wie eine schlechte Fotokopie.
Der Identitäts-Drift (Hohes Niveau): Der Tänzer soll gleich aussehen. Aber je länger das Video wird, desto mehr kann sich das Gesicht des Tänzers langsam in der Form verändern, die Kleidung kann ihre Farbe ändern oder die Haare anders aussehen. Sie verlieren ihre „Identität".

Der Artikel argumentiert, dass bestehende Methoden versuchen, dies zu beheben, indem sie der KI das Originalfoto immer wieder zeigen (wie ein „Senker" oder Anker), aber dies reicht nicht aus. Die KI wird immer noch durch den wiederholten Kopiervorgang verwirrt.

Die Lösung: EverAnimate

Die Autoren schlagen einen neuen Weg vor, diese Videos zu erzeugen, der vollständig im „Gehirn" der KI (ihrem latenten Raum) stattfindet, anstatt das Video neu zu fotografieren. Sie verwenden zwei Haupttricks:

1. Der „Persistente Rucksack" (Persistente latente Propagation)

Anstatt die Videoausgabe zu nehmen, sie wieder in ein Bild umzuwandeln und dieses Bild dann für den nächsten Clip wieder in die KI einzuspeisen (was die „Kopieren-Einfügen"-Fehler verursacht), bewahrt EverAnimate einen Rucksack mit Gedächtnis innerhalb der KI auf.

Wie es funktioniert: Wenn die KI einen Abschnitt des Videos fertiggestellt hat, betrachtet sie nicht das finale Bild. Stattdessen übergibt sie einen „Rucksack" mit Rohdaten (latente Codes) an den nächsten Abschnitt.
Was ist im Rucksack?
- Kurzzeitgedächtnis: Die letzten paar Sekunden der Bewegung, um den Tanz flüssig zu halten.
- Langzeitgedächtnis: Eine Sammlung von „Ausweisen" (Multiview-Bilder) des Gesichts und der Kleidung des Tänzers, um sicherzustellen, dass sie ihr Aussehen niemals ändern.
Die Analogie: Stellen Sie sich ein Staffellauf vor. Anstatt dass der Läufer Ihnen ein unscharfes Foto des vorherigen Läufers zur Kopie gibt, überreicht er Ihnen einen direkten, hochwertigen Datenchip, der Ihnen genau sagt, wie Sie das Rennen fortsetzen sollen, ohne die Merkmale des ursprünglichen Läufers zu verlieren.

2. Der „Selbstkorrigierende Kompass" (Restorative Flow Matching)

Selbst mit einem guten Rucksack kann die KI gelegentlich während der Erstellung eines einzelnen Clips einen falschen Weg einschlagen.

Das Problem: Wenn die KI beginnt, sich leicht vom Kurs zu entfernen (z. B. sieht der Arm des Tänzers etwas seltsam aus), machen Standardmethoden einfach weiter und verschlimmern den Fehler.
Die Lösung: EverAnimate trainiert die KI mit einem speziellen „Kompass". Während des Trainings wird der KI absichtlich ein leicht „kaputter" oder verzerrter Pfad zum Befolgen gegeben. Sie lernt, zu erkennen, dass sie vom Kurs abgekommen ist, und steuert sich aktiv zurück auf den korrekten, sauberen Pfad.
Die Analogie: Denken Sie an einen Wanderer, der im Nebel wandert. Ein normaler Wanderer könnte von einer Klippe abkommen, weil er den Pfad nicht sehen kann. EverAnimate ist wie ein Wanderer mit einem GPS, das vibriert, sobald er vom Pfad abkommt, und ihn sanft zurück auf den sicheren Pfad schiebt, bevor er sich verirrt.

Die Ergebnisse

Der Artikel behauptet, dass EverAnimate durch die Verwendung dieser beiden Methoden (Gedächtnisrucksack und selbstkorrigierender Kompass) Videos erzeugen kann, die Minuten lang sind (in ihren Tests bis zu 90 Sekunden), ohne dass der Hintergrund unscharf wird oder die Figur das Gesicht wechselt.

Kurze Videos (10 Sekunden): Es ist bereits besser als die besten bestehenden Methoden.
Lange Videos (90 Sekunden): Die Verbesserung ist massiv. Das Video bleibt scharf, der Hintergrund bleibt stabil und die Figur sieht vom Anfang bis zum Ende exakt gleich aus.

Zusammenfassung

Kurz gesagt, verhindert EverAnimate, dass die KI „Kopien von Kopien" eines Videos erstellt. Stattdessen bewahrt sie eine hochwertige digitale Erinnerung an die Figur und die Szene auf und trainiert die KI, ihre eigenen Fehler während des Prozesses zu korrigieren, was flüssige, hochwertige, minutenlange Animationen ermöglicht, die nicht auseinanderfallen.

Technische Zusammenfassung von EverAnimate: Minutenlange menschliche Animation durch latente Flusswiederherstellung

1. Problemstellung

Der Artikel adressiert die Herausforderung, pose-gesteuerte Animationsvideos mit langer Zeitspanne (im Minutenbereich) zu generieren, während hohe visuelle Qualität und eine konsistente Charakteridentität gewahrt bleiben. Bestehende Methoden, die typischerweise auf autoregenerativer, chunk-weiser Generierung basieren, leiden unter akkumuliertem Drift im Zeitverlauf. Die Autoren identifizieren zwei distincte Arten von Drift:

Niedrigstufiger Qualitätsdrift: Progressive Verschlechterung statischer Hintergründe und Texturen, verursacht durch wiederholtes Decodieren und Re-Encodieren (VAE-Rundläufe) von Übertragungsrahmen zwischen den Chunks.
Hochstufiger semantischer Drift: Inkonsistenzen in der Charakteridentität, im Gesichtsausdruck und in Kleidungsdetails, insbesondere in Bereichen mit signifikanter Bewegung.

Die Autoren argumentieren, dass aktuelle Lösungen, wie Attention Sinks (Verwendung eines Referenzrahmens als globaler Anker) oder Fehlerrecycling, unzureichend sind. Attention Sinks wirken als passive Signale, die festlegen, was bewahrt werden soll, versagen jedoch bei der aktiven Korrektur von Trajektorienabweichungen, während eine wiederholte Fortsetzung im Bildraum zwangsläufig visuelle Details in statischen Regionen beschädigt.

2. Methodik: EverAnimate

EverAnimate ist ein effizientes Post-Training-Framework, das darauf ausgelegt ist, die Generierung langer Formate zu stabilisieren, indem es direkt im latenten Raum und nicht im Bildraum operiert. Es führt zwei komplementäre Mechanismen ein:

A. Persistente latente Propagation (PLP)
Anstatt das Video des vorherigen Chunks zu decodieren, den letzten Rahmen zu extrahieren und ihn erneut zu encodieren (die Standard-Pipeline für Übertragungsrahmen), propagiert EverAnimate latente Speicher direkt über die Chunks hinweg.

Bewegungsspeicher ( $M_{mot}$ ): Erhält die kurzfristige zeitliche Kontinuität, indem die letzten $r$ latenten Scheiben aus dem vorherigen Chunk propagiert werden.
Identitätsspeicher ( $M_{id}$ ): Verankert die Identität aus multiplen Ansichten über alle Chunks hinweg. Dieser wird durch Encodieren einer kleinen Menge abgetasteter Rahmen aus dem Kontext-Chunk konstruiert.
Speicher-Erweiterung: Um eine räumliche Verzerrung zu verhindern, bei der der Speicher-Kontext unbeabsichtigt das räumliche Layout des generierten Rahmens diktiert, wenden die Autoren während des Trainings milde räumliche Augmentierungen (zufällige Translation und Skalierung) auf den Identitätsspeicher an.
Injektion: Diese Speicher werden mit pose-gesteuerten Ziel-Latents verkettet, um die Eingabe für den Diffusion Transformer (DiT) zu bilden, wodurch sichergestellt wird, dass das Modell auf persistenter semantischer Information basiert, ohne destruktive Rekonstruktion im Bildraum.

B. Restorative Flow Matching (RFM)
Um Drift zu adressieren, der innerhalb eines Chunks auftritt, führt EverAnimate ein implizites Wiederherstellungsziel während des Sampling-Prozesses ein.

Konzept: Standard-Flow Matching (FM) trainiert das Modell, Gaußsches Rauschen auf eine saubere Daten-Mannigfaltigkeit zu transportieren. Bei der Generierung mit langer Zeitspanne kann das Modell jedoch aufgrund akkumulierter Fehler gestörte Zustände antreffen.
Mechanismus: Während des Trainings wird das Ziel-Endpunkt gestört ( $\tilde{X}_1$ ), um Drift zu simulieren. Das Modell wird dann trainiert, ein Geschwindigkeitsfeld vorherzusagen, das nicht nur dem sauberen Pfad folgt, sondern die Trajektorie aktiv vom gestörten Zustand zurück zum sauberen Endpunkt korrigiert.
Geschwindigkeitsanpassung: Die Zielgeschwindigkeit wird angepasst, um einen Wiederherstellungsterm einzuschließen: $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ .
Neuplanung: Um Trainingsinstabilität zu verhindern (bei der der Korrekturterm in der Nähe des sauberen Endpunkts unverhältnismäßig groß wird), wird ein begrenzter Zeitgewichtungsparameter $\lambda(t)$ (ein glockenförmiger Zeitplan) angewendet. Dies stellt sicher, dass die Wiederherstellung in mittleren Rauschbereichen, in denen Störungen informativ sind, am stärksten ist, während eine Überkorrektur in Extremen mit hohem oder niedrigem Rauschen vermieden wird.

Training und Inferenz
Das Framework verwendet eine leichte LoRA-Tuning auf einem vortrainierten DiT-Backbone (Wan-2.2-Animate). Das Training erfolgt in zwei Stufen: (1) Speicheranpassung zum Erlernen der latenten Propagation und (2) Anti-Drift-Anpassung unter Verwendung des Restorative-Flow-Matching-Verlusts. Während der Inferenz rollt das Modell chunkweise im latenten Raum aus und wiederverwendet latente Scheiben für den nächsten Chunk, ohne Zwischenrahmen zu decodieren.

3. Hauptbeiträge

Problemidentifikation: Die Autoren zeigen empirisch auf, dass Fortsetzung im Bildraum und Attention Sinks für Animationen im Minutenbereich unzureichend sind, und identifizieren spezifische Einschränkungen darin, wie aktuelle Methoden VAE-Rundlauf-Verschlechterung und semantische Verankerung behandeln.
Prinzip des latenten Raums: Sie leiten ein Prinzip für stabile Generierung mit langer Zeitspanne ab: Semantischer Speicher muss autoregressiv im latenten Raum propagiert werden, und Drift muss durch intrinsische Wiederherstellungsfähigkeiten korrigiert werden.
EverAnimate-Framework: Eine Post-Training-Methode, die Persistente latente Propagation (für Kontinuität über Chunks hinweg) und Restorative Flow Matching (für Genauigkeit innerhalb eines Chunks) umfasst und lediglich eine leichte LoRA-Tuning erfordert.

4. Experimentelle Ergebnisse

Die Methode wird an einem Datensatz bewertet, der Champ, UBC, Seedance und selbst gesammelte YouTube-Videos kombiniert, mit Benchmarks bei Laufzeiten von 10s, 30s, 60s und 90s.

Quantitative Leistung: EverAnimate übertrifft State-of-the-Art-Methoden (einschließlich Wan-Animate, UniAnimate-DiT und SteadyDancer) bei allen Metriken.
- Bei 10 Sekunden verbessert es den PSNR um 8 % und den SSIM um 7 % gegenüber Wan-Animate, während LPIPS um 22 % und FID um 11 % reduziert werden.
- Bei 90 Sekunden steigen die Gewinne signifikant: PSNR/SSIM verbessern sich jeweils um 15 %, und LPIPS/FID reduzieren sich um 32 % bzw. 27 %.
- Es erzielt den höchsten Face-PSNR (F-PSNR), was auf eine überlegene Identitätskonsistenz hinweist.
Qualitative Leistung: Visuelle Vergleiche zeigen, dass Baselines im Zeitverlauf unter Hintergrundverschlechterung und Identitätsflackern leiden, während EverAnimate stabile Hintergründe und eine konsistente Charakteridentität über minutenlange Sequenzen hinweg aufrechterhält.
Ablationsstudien: Das Entfernen von Restorative Flow Matching (RFM) senkt die wahrgenommene Qualität erheblich, während das Entfernen von Persistent Latent Propagation (PLP) die Kontinuität über Chunks hinweg schwächt, was die Notwendigkeit beider Komponenten bestätigt.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass EverAnimate einen Wandel von der Fortsetzung im Bildraum zur Steuerung des latenten Zustands für Animationen langer Formate darstellt. Durch die Entkopplung der Propagation semantischen Speichers vom destruktiven Zyklus des Bild-Decodierens/Re-Encodierens und durch die Ausstattung des Modells mit einer intrinsischen Fähigkeit zur Korrektur von Trajektorien-Drift ermöglicht EverAnimate die Generierung von Minuten-videos, die zuvor mit hoher Qualität nicht erreichbar waren. Die Autoren positionieren dies als Lösung für die spezifische Train-Test-Asymmetrie in pose-getriebener Animation, bei der die Generierung mit langer Zeitspanne aufgrund akkumulierter Fehler sowohl in der Bewegungsstruktur als auch in der visuellen Synthese scheitert.