💻 computer science

AdaState: Self-Evolving Anchors for Streaming Video Generation

AdaState führt einen sich selbst entwickelnden adaptiven latenten Anker ein, der die statische Referenz des ersten Bildes in autoregressiven Videodiffusionsmodellen ersetzt, wodurch eine natürliche Szenenentwicklung und reichhaltigere Bewegung ermöglicht werden, indem Zeit als relativ behandelt und Rekurrenz in den Generierungsprozess integriert wird.

Ursprüngliche Autoren: Yusuf Dalva, Pinar Yanardag

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yusuf Dalva, Pinar Yanardag

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Freund eine lange, zusammenhängende Geschichte zu erzählen, dürfen aber nur in kurzen, dreisätzigen Abschnitten sprechen. Jedes Mal, wenn Sie einen neuen Abschnitt beginnen, müssen Sie Ihrem Freund daran erinnern, was am allerbeginnen der Geschichte passiert ist, damit er nicht verwirrt wird.

In der Welt der KI-generierten Videos passiert genau das. Die KI baut ein Bild für Bild (oder in kleinen Häppchen) auf, und um die Geschichte konsistent zu halten, verlässt sie sich stark auf den sehr ersten Frame, den sie je erstellt hat.

Das Problem: Der „eingefrorene Anker"

Der Artikel bezeichnet diese Abhängigkeit vom ersten Frame als „statischen Anker". Stellen Sie sich das wie einen Leuchtturm vor, der sich nie bewegt.

Wie es jetzt funktioniert: Die KI behandelt den ersten Frame als absolute Wahrheit. Egal wie sehr sich die Geschichte später ändert, die KI blickt immer wieder auf diesen ersten Frame zurück, um zu entscheiden, was als Nächstes zu tun ist.
Der Fehler: Da die KI so besessen von diesem ersten Frame ist, gerät sie in eine Sackgasse. Wenn Sie die KI bitten, ein Video zu erstellen, in dem eine Kamera durch eine Stadt fliegt, macht sich die KI so sehr Sorgen darum, dass die Stadt genau so aussieht wie in der ersten Sekunde, dass sie die Kamera nicht bewegen oder die Gebäude verändern lässt.
Das Ergebnis: Das Video sieht aus wie eine Diashow, bei der die Kamera an einem Ort festgeklebt ist, oder schlimmer noch: Die KI beginnt, seltsame Duplikate von Objekten zu halluzinieren, weil sie versucht, neue Szenen in das alte, eingefrorene Layout zu zwingen. Es ist, als würde man ein Auto fahren, indem man nur in den Rückspiegel starrt; man kann nicht sehen, wohin man fährt.

Die Lösung: AdaState (Der „selbstentwickelnde Anker")

Die Autoren, Yusuf Dalva und Pinar Yanardag, schlagen eine neue Methode namens AdaState vor. Anstatt einen eingefrorenen Leuchtturm zu verwenden, geben sie der KI ein lebendiges, atmendes Gedächtnis.

So funktioniert AdaState, anhand einer einfachen Analogie:

1. Der „Geist"-Charakter
Stellen Sie sich vor, die KI schreibt eine Geschichte. Normalerweise behält sie ein Foto der Hauptfigur auf dem Schreibtisch und weigert sich, es zu ändern. Mit AdaState erstellt die KI einen „Geist-Charakter" (den adaptiven Zustand).

Dieser Geist wird dem Publikum nie gezeigt (er wird im finalen Video nie gerendert).
Allerdings aktualisiert die KI diesen Geist bei jedem einzelnen Schritt der Geschichte basierend darauf, was gerade passiert ist.
Der Geist trägt die „Essenz" der Szene weiter. Wenn in der Geschichte die Sonne untergeht, aktualisiert sich der Geist, um den Sonnenuntergang widerzuspiegeln, auch wenn der Geist selbst kein sichtbarer Charakter ist.

2. Die Rekursion (Die Schleife)
Bei normaler Video-KI ist das „Gedächtnis" nur eine Liste vergangener Frames. Bei AdaState ist das Gedächtnis ein Prozess.

Stellen Sie sich das wie einen Staffellauf vor. Der erste Läufer (der erste Frame) gibt das Wort an den zweiten weiter. Aber bei AdaState verändert sich das Wort selbst, während es läuft.
Die KI kopiert die Vergangenheit nicht einfach; sie stellt den Anker bei jedem Schritt neu vor. Sie fragt: „Angesichts dessen, wo wir jetzt sind, wie sollte der ‚Anker' aussehen, damit die Geschichte natürlich weitergeht?"
Dies ermöglicht es der Kamera zu gleiten, dem Licht zu wechseln und der Szene sich zu entwickeln, während sie sich dennoch wie dieselbe zusammenhängende Geschichte anfühlt.

3. Training für die lange Strecke
Der Artikel stellte auch fest, dass diese Modelle beim Training dazu neigen, sich zu sehr auf den Anfang des Videos zu konzentrieren (weil dieser Teil einfach und sauber ist) und das Ende ignorieren (wo sich Fehler häufen).

Die Lösung: Sie verwendeten eine spezielle Trainingstechnik namens „Horizon-Weighted DMD". Stellen Sie sich einen Lehrer vor, der einen Test korrigiert und entscheidet, für die Antworten am allerEnde der Prüfung zusätzliche Punkte zu vergeben. Dies zwingt die KI, auf die langfristige Konsistenz zu achten, nicht nur auf den Anfang.

Die Ergebnisse

Als sie diese neue Methode testeten:

Alte KI: Erstellte Videos, die entweder sehr stabil, aber langweilig waren (keine Bewegung) oder sehr dynamisch, aber nach wenigen Sekunden in Unsinn zerfielen.
AdaState: Erstellte Videos, die sowohl stabil als auch dynamisch waren. Die Kamera konnte 30 Sekunden lang über eine Küste fliegen, neues Gelände enthüllen und das Licht verändern, ohne dass das Video einfrohr oder zu einem fehlerhaften Durcheinander wurde.

Zusammenfassung

Der Artikel argumentiert, dass wir, um lange, fließende Videos zu erstellen, aufhören müssen, den ersten Frame als permanente Regelbuch zu behandeln. Stattdessen benötigen wir einen „selbstentwickelnden Anker", der sich aktualisiert, während die Geschichte fortschreitet. AdaState erreicht dies, indem es einen speziellen, unsichtbaren Gedächtnisslot versteckt, den die KI ständig auffrischt, wodurch sich das Video natürlich vorwärts bewegen kann, ohne seine Identität zu verlieren.

Technische Zusammenfassung: AdaState – Selbstentwickelnde Anker für Streaming-Video-Generierung

1. Problemstellung

Autoregressive Video-Diffusionsmodelle generieren Streaming-Videos, indem sie Frames sequenziell erzeugen und jeden neuen Chunk auf zuvor generierten Inhalten basieren lassen. Eine grundlegende strukturelle Einschränkung dieser Modelle ist ihre Abhängigkeit von einem statischen Anker: Die Key-Value (KV)-Darstellung des ersten Frames nimmt eine privilegierte Position (Position 0) im Attention-Cache ein.

Aufgrund des „Attention-Sink"-Phänomens, bei dem kausale Softmax-Funktionen Masse auf die Anfangspositionen konzentrieren, zieht dieser statische Anker während des gesamten Generierungsprozesses unverhältnismäßig viel Aufmerksamkeit auf sich. Während dies statische Konsistenz gewährleistet, unterdrückt es die Videodynamik. Das Modell ist effektiv auf die initiale Perspektive festgelegt, was eine natürliche Szenenentwicklung, Kamerabewegungen und die Progression von Subjekten verhindert. Wenn die Generierung ausgedehnt wird, hat das Modell Schwierigkeiten, die sich entwickelnde Szene mit dem eingefrorenen Referenzpunkt in Einklang zu bringen, was zu einem der folgenden Ergebnisse führt:

Zeitliche Oberflächlichkeit: Bewegung und Szenenprogression werden gedämpft, um die Konsistenz mit dem ersten Frame aufrechtzuerhalten.
Drift und Artefakte: Wenn der Anker entfernt oder heuristisch aktualisiert wird, häufen sich Fehler an, was zu visuellem Kollaps oder Verlust der Subjektidentität führt.

Bestehende Lösungen adressieren diese Ursache nicht. Methoden, die statische Anker beibehalten (z. B. LongLive, Infinity-RoPE), frieren die Szene ein. Methoden, die inhaltsunabhängige Updates verwenden (z. B. EMA-basierte Ansätze wie Reward Forcing, MemRoPE), konvergieren zu einem unscharfen Mittelwert, der sich nicht an spezifische Szenenänderungen anpassen kann. Heuristische Ersetzungen (z. B. Rolling Sink) verzerren die Generierung zugunsten der Wiedergabe vergangener Frames anstatt neuer Fortsetzungen.

2. Methodik: AdaState

Die Autoren schlagen AdaState vor, ein Framework, das den statischen Anker des ersten Frames durch einen adaptiven Zustand ersetzt – eine verborgene latente Variable, die sich gemeinsam mit dem Inhalt entwickelt.

Kernmechanismus

Adaptiver Zustand als verborgene latente Variable: Anstelle eines eingefrorenen ersten Frames verwaltet das Modell einen Zustand $s$ an Position 0 im KV-Cache. Dieser Zustand ist eine verborgene latente Variable, die bei jedem Chunk gemeinsam mit dem Videoinhalt denoist wird, aber niemals in die endgültige Videoausgabe gerendert wird.
Gemeinsames Denoising und Rekurrenz: Bei jedem Generierungsschritt $n$ $n$ denoist der Generator $G_\theta$ $G_{θ}$ gemeinsam die aktuellen Inhaltsframes $x^{(n)}_c$ $x_{c}^{(n)}$ und die Zustandsframes $s_n$ $s_{n}$ von unabhängigem Gaußschen Rauschen, konditioniert auf den KV-Cache $h_n$ $h_{n}$ .
- Der saubere Inhalts-KV betritt das gleitende Fenster für den kurzfristigen Kontext.
- Der saubere Zustands-KV überschreibt Position 0 im Cache und dient als Szenenreferenz für den nächsten Chunk.
Relative Zeitformulierung: Im Gegensatz zur Standardgenerierung, die absolute Zeit kodiert, behandelt AdaState Zeit als relativ. Jeder Generierungsschritt sieht dieselbe Positionsstruktur unabhängig von der Rollout-Länge. Der Zustandsübergang ist bei jedem Chunk identisch und verwandelt den sequenziellen autoregressiven Prozess in einen rekurrenten Prozess, bei dem:
- Denoising als Übergangsfunktion fungiert.
- Der KV-Cache als Träger für den verborgenen Zustand dient.
- Keine externen Module, Gating-Mechanismen oder separaten Speichereinheiten erforderlich sind.

Horizont-gewichtete Training

Um sicherzustellen, dass das Modell lernt, den adaptiven Zustand effektiv zu nutzen, führen die Autoren eine Horizont-gewichtete Verteilungs-Matching-Distillation (DMD) ein.

Problem: Bei autoregressiven Rollouts häufen sich Fehler in späteren Frames an. Eine Standard-Loss-Gewichtung mit gleichmäßiger Verteilung ermöglicht es dem Optimierer, sich auf saubere, frühe Frames zu konzentrieren und vernachlässigt die kritischen späteren Frames, in denen der adaptive Zustand den Mangel an ursprünglichem Szeneninhalt kompensieren muss.
Lösung: Eine lineare Rampengewichtung $w_i$ wird auf den DMD-Loss angewendet, die mit dem Frame-Index $i$ zunimmt. Dies zwingt den Optimierer, Kapazität auf die späteren Frames zu konzentrieren, in denen die zustandsvermittelte Kohärenz am wichtigsten ist.
$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$

3. Hauptbeiträge

Identifikation struktureller Verzerrung: Das Papier identifiziert, dass der statische Anker in autoregressiver Video-Diffusion eine strukturelle Attention-Verzerrung erzeugt, die Dynamiken unterdrückt und die Szenenkomposition auf die initiale Perspektive festlegt.
Architektur des adaptiven Zustands: Die Autoren schlagen vor, den statischen Anker durch einen verborgenen adaptiven Zustand zu ersetzen, der über horizont-gewichtete DMD trainiert wird. Dieser Zustand entwickelt sich mit dem Inhalt weiter und ermöglicht es dem Modell, bei jedem Schritt seine eigene Szenenreferenz zu generieren.
Rekurrente Formulierung ohne externe Module: Die Arbeit zeigt, dass Denoising selbst als Rekurrenz fungieren kann. Der adaptive Zustand ist eine verborgene Variable, die durch die eigene iterative Verfeinerung des Modells aktualisiert und über den KV-Cache transportiert wird, ohne externe Speicher oder Gating-Mechanismen zu benötigen.

4. Experimentelle Ergebnisse

Die Methode wurde an einem Modell evaluiert, das von Wan2.1-T2V-1.3B mittels Self-Forcing destilliert wurde, trainiert auf 21-Frame-Rollouts und getestet bei 5 Sekunden (innerhalb des Horizonts) und 30 Sekunden (6× Trainingshorizont).

Qualitative Leistung:
- Statische Anker (z. B. Infinity-RoPE, Rolling Forcing): Bewahren die Identität, frieren aber die Szene ein und zeigen keine Kamerabewegung oder Szenenprogression.
- Keine Referenz (z. B. Self-Forcing, Causal Forcing): Zeigen anfangs hohe Dynamik, leiden aber bei Rollouts, die über den Trainingshorizont hinausgehen, unter Farbdrift und visuellen Artefakten.
- AdaState: Erzielt eine einzigartige Balance, bewahrt die Subjektidentität und ermöglicht gleichzeitig natürliche Szenenentwicklung, Kameragliding und kontinuierliche Bewegung, selbst bei 30 Sekunden.
Quantitative Leistung:
- Innerhalb des Horizonts (5s): AdaState erzielt die höchste Gesamt-VBench-Score und VisionReward, mit einem Dynamikgrad, der signifikant höher ist als bei Methoden mit statischem Anker.
- Außerhalb des Horizonts (30s): AdaState ist die einzige Methode, die im Dynamikgrad nicht degradieren. Sie besetzt den „oberen rechten" Bereich der Konsistenz-Dynamik-Tradeoff-Kurve und hält eine hohe Konsistenz bei, während sie den höchsten Dynamikgrad aller Baselines erreicht.
- Benutzerstudie: In einer Studie mit 40 Bewertenden erhielt AdaState die höchsten Scores sowohl für „kohärente Progression" als auch für „Prompt-Adhärenz" und übertraf Baselines ohne Referenz, mit statischer Referenz und mit EMA-Referenz.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass AdaState den Konsistenz-Dynamik-Tradeoff, der die aktuelle Streaming-Video-Generierung plagt, fundamental durchbricht. Indem der Generierungsprozess als Rekurrenz behandelt wird, bei der das eigene Denoising des Modells eine verborgene Szenenreferenz aktualisiert, ermöglicht AdaState:

Reichhaltigere Bewegung: Natürliche Kamerabewegungen und Subjekthandlungen, die sich im Laufe der Zeit entwickeln.
Langhorizont-Stabilität: Die Fähigkeit, kohärente Videos weit über den Trainingshorizont hinaus zu generieren, ohne Drift zu akkumulieren oder die Szene einzufrieren.
Architektonische Einfachheit: Die Lösung erfordert keine architektonischen Änderungen am Backbone-DiT, keine zusätzlichen Loss-Funktionen und keine externen Speichermodule, sondern verlässt sich ausschließlich auf den bestehenden KV-Cache und die Attention-Mechanismen.

Die Autoren positionieren dies als Schritt hin zu einem adaptiven rekurrenten Zustand in der autoregressiven Generierung und deuten an, dass die Formulierung auf andere Domänen anwendbar sein könnte, in denen sich Attention auf feste vergangene Positionen konzentriert. Sie weisen jedoch bescheiden auf Einschränkungen hin, wie die heuristische Einstellung der Zustandskapazität (derzeit ein Frame) und die Notwendigkeit zukünftiger Arbeiten an strukturiertem externem Speicher für hochkomplexe Szenen mit mehreren Akteuren.