🤖 machine learning

MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

MilliVid adressiert die Herausforderung der langfristigen Konsistenz bei der Videogenerierung, indem es einen hierarchischen Autoencoder verwendet, um Frames in Multi-Skalen-Token zu komprimieren, und eine Coarse-to-Fine-Rollout-Strategie innerhalb eines Videodiffusionsmodells nutzt, wodurch die globale Geometrie und Objektpermanenz bewahrt werden, während gleichzeitig die Rechenkosten reduziert werden.

Ursprüngliche Autoren: Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Freund eine sehr lange Geschichte zu erzählen, aber Sie haben nur einen winzigen Notizblock zur Verfügung. Wenn Sie versuchen, jedes einzelne Detail jeder Szene aufzuschreiben – jedes Blatt an einem Baum, jeden Riss im Bürgersteig, jede Textur an einer Wand – werden Sie nach nur wenigen Sätzen keinen Platz mehr haben. Bis Sie am Ende der Geschichte angekommen sind, haben Sie den Anfang bereits wieder vergessen.

Dies ist genau das Problem, vor dem sich Video-KI-Modelle heute stellen. Sie wollen lange, kohärente Videos generieren, aber ihre „Notizblöcke“ (der Computerspeicher) sind zu klein, um alle Details einer langen Sequenz zu halten. Infolgedessen beginnen sie zu halluzinieren, vergessen, wohin Objekte gelangt sind, oder verändern das Layout des Raumes, während das Video fortschreitet.

Das Paper MILLIVID schlägt eine clevere Lösung vor: Hören Sie auf, versuchen zu, sich alles auf einmal zu merken. Merken Sie sich stattdessen zuerst das große Ganze und füllen Sie später die winzigen Details aus.

So haben sie es gemacht, unter Verwendung einiger alltäglicher Analogien:

1. Das „Matroschka-Gedächtnis“-System

Die meisten Video-KI-Modelle versuchen, jeden Frame in voller Auflösung zu speichern. MILLIVID ändert das Spiel durch die Verwendung eines hierarchischen Tokenizers. Denken Sie an dies wie an ein Set von Matroschka-Puppen oder eine Karte mit verschiedenen Zoomstufen:

Die grobe Ebene (Das große Ganze): Dies ist die kleinste Puppe oder die Karte mit der niedrigsten Zoomstufe. Sie zeigt nicht die Textur des Grases oder die Farbe der Ziegel an. Sie erinnert sich nur an die Form des Raums, wo die Wände sind und wo sich die Hauptobjekte befinden. Da sie so einfach ist, kann die KI hunderte dieser „groben“ Frames gleichzeitig im Gedächtnis behalten.
Die feine Ebene (Die Details): Dies ist die größte Puppe oder die Karte bei maximalem Zoom. Sie fügt die Grastextur, die Ziegelmuster und die Beleuchtung hinzu. Aber weil sie so detailliert ist, kann die KI nur wenige dieser Frames speichern, bevor ihr der Speicher ausgeht.

Die Analogie: Stellen Sie sich vor, Sie beschreiben einem Freund eine Stadt.

Der alte Weg: Sie versuchen, jedes einzelne Fenster an jedem Gebäude für die gesamte Reise zu beschreiben. Sie werden müde und vergessen das Layout der Stadt nach 10 Minuten.
Der MILLIVID-Weg: Zuerst beschreiben Sie das Layout der Stadt (wo der Park ist, wo der Fluss fließt) für die ganze Stunde. Dann, während Sie sich einem bestimmten Gebäude nähern, fügen Sie die Details hinzu (die Farbe der Tür, die Blumen im Fenster). Sie behalten das „große Ganze“ die ganze Zeit im Kopf, damit Sie sich nie verlaufen.

2. Der „Coarse-to-Fine“-Rollout

Das Paper führt eine neue Art der Videogenerierung ein, die Coarse-to-Fine-Rollout genannt wird.

Anstatt das Video Frame für Frame mit vollem Detail zu generieren (was dazu führt, dass die KI die Vergangenheit vergisst), arbeitet das Modell in Stufen:

Stufe 1: Es generiert eine lange Sequenz von „unscharfen“ oder detailarmen Frames. Da diese einfach sind, kann die KI über 100+ Frames gleichzeitig im Blick behalten. Dies stellt sicher, dass die Geschichte konsistent bleibt (das Auto bleibt auf der Straße, das Gebäude verschwindet nicht).
Stufe 2: Es geht zurück und „schärft“ die jüngsten Frames, indem es hochauflösende Details hinzufügt.
Der magische Trick: Entscheidend ist, dass es beim Hinzufügen der Details zu den jüngsten Frames auch die detailarmen Versionen der entfernten Frames betrachtet, um sicherzustellen, dass die Geschichte weiterhin Sinn ergibt.

Die Analogie: Denken Sie an das Skizzieren eines Gemäldes.

Zuerst zeichnen Sie eine grobe Strichmännchen-Umrisszeichnung der gesamten Szene, um die Posen und Positionen richtig hinzubekommen. Sie können die ganze Szene auf diese Weise zeichnen, ohne Fehler zu machen.
Dann gehen Sie zurück und fügen den Menschen im Vordergrund Muskeln, Kleidung und Gesichtsausdrücke hinzu.
Sie versuchen nicht, die Muskeln der Person im Hintergrund zu malen, bevor Sie wissen, wo sie steht, sonst malen Sie sie vielleicht an der falschen Stelle.

3. Der „Minecraft“-Test

Um zu beweisen, dass dies funktioniert, haben die Forscher nicht nur schöne Filme verwendet. Sie nutzten Minecraft.

Warum? Minecraft ist eine 3D-Welt, in der man umherläuft. Wenn die KI das Layout vergisst, laufen Sie vielleicht durch eine Wand oder sehen ein Baum verschwinden und an einer anderen Stelle wieder auftauchen.
Das Ergebnis: Sie testeten ihre Methode gegen die derzeit besten Modelle (wie FramePack). Die alten Modelle erzeugten ein Video, in dem der Spieler eine Weile lief und dann die Welt „glitchte“ – Gebäude verschoben sich oder der Pfad kehrte fehlerhaft auf sich selbst zurück.
MILLIVIDs Leistung: Da es die „grobe“ Karte der Welt die ganze Zeit in seinem Gedächtnis behielt, konnte es lange Videos generieren, in denen der Spieler hunderte Schritte lief, sich umdrehte und exakt dieselben Gebäude sah, an denen er zuvor vorbeigegangen war – vollkommen konsistent.

Das Fazit

Das Paper behauptet, dass wir, indem wir akzeptieren, dass wir uns nicht an jedes winzige Detail der fernen Vergangenheit erinnern können, die Struktur der Vergangenheit viel besser im Gedächtnis behalten können.

Alter Ansatz: „Ich werde mich an jedes Detail der letzten 5 Sekunden perfekt erinnern, aber ich werde alles vergessen, was vor 10 Sekunden passiert ist.“
MILLIVID-Ansatz: „Ich werde mich an die allgemeine Form und den Standort von allem erinnern, was vor 10 Sekunden passiert ist, und ich werde mir nur die winzigen Details der letzten 5 Sekunden merken.“

Dieser Kompromiss ermöglicht es der KI, Videos zu generieren, die über viel länger kohärent bleiben, indem sie die „Geschichte“ des Videos konsistent halten, ohne Supercomputer zu benötigen, die Millionen von Dollar kosten. Die Autoren testeten dies speziell auf Minecraft-Gameplay und fanden heraus, dass es deutlich konsistentere Ergebnisse liefert als bestehende Methoden.

Technisches Resümee: MILLIVID

Problemstellung

Video-generative Modelle haben signifikante Fortschritte in Bezug auf Realismus und Skalierung erzielt, kämpfen jedoch mit langfristiger Konsistenz. Die Generierung von Videos, die von Anfang bis Ende kohärent bleiben, ist schwierig, da die Aufrechterhaltung eines langen zeitlichen Kontextes unpraktikabel lange Transformer-Sequenzlängen erfordert. Aktuelle autoregressive Ansätze generieren Videos schrittweise in Chunks, wobei der jüngste Chunk als Kontext für den nächsten dient. Sobald ältere Chunks aus dem Kontextfenster herausfallen, wird deren Inhalt vergessen, was zu Inkonsistenzen in Geometrie und Objektpermanenz führt.

Die Erhöhung der Kontextlänge ist aufgrund der quadratischen Skalierung der Transformer-Kosten mit der Sequenzlänge rechentechnisch prohibitiv. Während jüngere Methoden wie FramePack versuchen, dies zu mildern, indem sie weniger Token für entfernte Kontextframes zuweisen, beobachten die Autoren, dass dieser Ansatz allein nicht ausreicht, um Inhalte abzurufen, die den Kamera-Bildausschnitt verlassen haben, selbst wenn diese innerhalb des komprimierten Kontextfensters verbleiben.

Methodik

Das Paper präsentiert MILLIVD, ein diffusionsbasiertes Video-generatives Modell, das darauf ausgelegt ist, die langfristige Konsistenz unter einer festen Sequenzlängenbeschränkung zu maximieren. Der Ansatz besteht aus zwei primären Komponenten:

1. Hierarchisches Autoencoding

Die Autoren trainieren einen Autoencoder, der jedes Videobild in eine Hierarchie von latenten Tokens statt in eine einzige flache Repräsentation komprimiert.

Struktur: Der Encoder verarbeitet ein Multi-Resolution-Bildpyramiden-Modell. Auf jeder Ebene $\ell$ wird das Bild in $N_\ell$ Tokens zerlegt, wobei sich die Auflösung auf jeder gröberen Ebene halbiert ( $N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$ ).
Informationsverteilung: Die gröberen Ebenen (mit den wenigsten Tokens) erfassen die globale Szenenstruktur und Semantik, während feinere Ebenen hochfrequente Erscheinungsbilder und Texturen hinzufügen.
Training: Der Autoencoder wird darauf trainiert, die vollständige Auflösungspyramide aus einer einzigen, zufällig ausgewählten Ebene zu rekonstruieren. Der Decoder muss die gesamte Auflösungskaskade basierend auf den Tokens dieser spezifischen Ebene rekonstruieren.
Vorteil: Im Gegensatz zum einfachen Downsampling oder Mean-Pooling, das in kaskadierten Modellen verwendet wird, bewahrt dieser gelernte hierarchische Tokenizer relevante strukturelle Details selbst bei hoher Kompression, wodurch unscharfe Rekonstruktionen vermieden werden.

2. Coarse-to-Fine Rollout-Generierung

Ein Video-Diffusionsmodell wird innerhalb dieses hierarchischen latenten Raums unter Verwendung einer neuartigen Coarse-to-Fine Rollout-Strategie trainiert.

Beschränkung: Das Modell operiert unter einer festen Transformer-Sequenzlänge $S$ .
Strategie: Anstatt vollauflösende Frames autoregressiv zu generieren (was die Anzahl der Kontextframes begrenzt), generiert das Modell zuerst eine lange Sequenz hochkomprimierter (grober) Frames. Anschließend werden diese Frames schrittweise auf feinere Skalen verfeinert.
Kontextmanagement: Entscheidend ist, dass der Generierungsprozess sicherstellt, dass der Kontext stets den hochauflösenden, aktuellsten Frame und zukünftige Frames, die nur bis zu gröberen Ebenen generiert wurden, umfasst. Dies verhindert Inkonsistenzen (z. B. ein Schild, das in einer groben Ansicht „Stop“ liest, aber in einer verfeinerten Ansicht „Go“), indem das Modell Unsicherheiten gleichzeitig über die Auflösung und die Zeit hinweg auflöst.
Training: Das Modell wird darauf trainiert, Tokens zu de-noisen, die durch saubere Kontext-Tokens über verschiedene Hierarchieebenen hinweg konditioniert sind. Positions-Encodings für Ebene, Frame, Zeile und Spalte ermöglichen es einem einzigen Modell, alle Rollout-Schritte zu handhaben.

Zentrale Beiträge

Hierarchisches Autoencoding für Video: Die Autoren zeigen, dass das Training eines Autoencoders mit einem hierarchischen latenten Raum eine Kompression ermöglicht, die im Vergleich zu Standard-Downsampling oder Patchifying relevante Details besser bewahrt.
Coarse-to-Fine Rollout: Sie führen eine Generierungsstrategie ein, die den hierarchischen Raum nutzt, um einen Trade-off zwischen Detailgrad und zeitlichem Horizont zu erzielen. Durch die Generierung vieler grober Frames zuerst kann das Modell einen wesentlich längeren zeitlichen Kontext innerhalb eines festen Token-Budgets abdecken.
Überlegene langfristige Konsistenz: Das Paper zeigt, dass dieser Ansatz signifikant konsistentere lange Rollouts im Vergleich zu State-of-the-Art-Baselines wie FramePack und Full-Resolution Autoregressive Rollout produziert, ohne die Qualität pro Frame zu opfern.

Ergebnisse

Die Methode wurde auf LOOPCRAFT evaluiert, einem benutzerdefinierten Datensatz von 1024-Frame Minecraft-Gameplay-Videos, der darauf ausgelegt ist, das Gedächtnis zu testen (Inhalte, die den Bildausschnitt verlassen und wieder eintreten).

Konsistenz-Metriken: MILLIVID übertraf die Baselines (FramePack und Full-Resolution Rollout) über kurze, mittlere und lange Horizonte (Frames 1–768) signifikant.
- PSNR: 16,69 (lang) vs. 11,98 (FramePack) und 11,02 (Full-Res).
- LPIPS: 0,335 (lang) vs. 0,533 (FramePack) und 0,630 (Full-Res).
- LightGlue Matches: 62,4 (lang) vs. 7,0 (FramePack) und 5,0 (Full-Res).
Qualitäts-Metriken: Die Methode hielt eine vergleichbare Qualität (FVD und FID) zu den Baselines aufrecht, was zeigt, dass die Gewinne in der Konsistenz nicht zu Lasten der visuellen Treue gingen.
Ablationsstudien:
- Das Ersetzen des gelernten hierarchischen Tokenizers durch einen kaskadierten (Mean-Pooled) Ansatz führte zu schlechterer Konsistenz und Qualität.
- Die Anwendung des hierarchischen latenten Raums auf die FramePack-Architektur verbesserte die Leistung nicht, was darauf hindeutet, dass der Nutzen aus der spezifischen Interaktion zwischen dem gelernten Hierarchie-Modell und der Coarse-to-Fine Rollout-Strategie resultiert.
- Eine „gespiegelte“ FramePack-Variante (die grobe, langfristige Targets vorhersagt) zeigte eine verbesserte Konsistenz, was die Hypothese stützt, dass Modelle, die gezwungen sind, weiter in die Zukunft zu prädizieren, lernen, den entfernten Kontext besser zu nutzen.

Bedeutung und Behauptungen

Das Paper argumentiert, dass langfristige Konsistenz in der Videogenerierung einen fundamentalen Trade-off erfordert: Angesichts einer festen Sequenzlänge muss man entscheiden, welche Informationen man behält. MILLIVID schlägt vor, dass die grobe Struktur (Szenenlayout, Semantik) über lange Zeitspannen erhalten werden sollte, während feine Details (Texturen) vergessen oder später generiert werden können.

Durch das Erlernen einer Coarse-to-Fine-Hierarchie und die explizite Zuweisung des Transformer-Token-Budgets zur Priorisierung vieler vergangener grober Frames gegenüber weniger aktueller feiner Frames erreicht das Modell dramatische Gewinne beim Abruf der 3D-Szenenstruktur über hunderte von Frames hinweg. Die Autoren behaupten, dass dies ein bedeutender Schritt nach vorn für Anwendungen ist, die eine lange zeitliche Kohärenz erfordern, wie etwa World Modeling oder Robotik, ohne auf externe Retrieval-Mechanismen oder explizite 3D-Karten angewiesen zu sein.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass die Methode nicht für das direkte Fine-Tuning von standardmäßigen vortrainierten Video-Diffusionsmodellen konzipiert ist und etwa 33 % mehr Rollout-Schritte als FramePack benötigt. Sie halten jedoch den Trade-off für eine drastisch erhöhte Konsistenz für lohnenswert.