💻 computer science

DySink: Dynamic Frame Sinks for Autoregressive Long Video Generation

DySink ist ein auf Retrieval basierendes Framework für die autoregressive Generierung langer Videos, das statische Anker aus frühen Bildern durch dynamisch ausgewählte, visuell relevante historische Bilder ersetzt und ein Sink-Anomalie-Gatter zur Verhinderung des Attention-Collapses einsetzt, wodurch sowohl die dynamische Kontinuität als auch die zeitliche Qualität verbessert werden.

Ursprüngliche Autoren: Bo Ye, Xinyu Cui, Jian Zhao, Tong Wei, Min-Ling Zhang

Veröffentlicht 2026-05-21

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bo Ye, Xinyu Cui, Jian Zhao, Tong Wei, Min-Ling Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu erzählen, die eine Stunde dauert, aber Sie haben nur ein sehr kleines Notizbuch, in das Sie sie schreiben können. Jedes Mal, wenn Sie einen neuen Satz schreiben, müssen Sie einen alten löschen, um Platz zu schaffen.

Das Problem: Die „Altes Foto"-Falle
Aktuelle KI-Video-Generatoren stehen vor einem ähnlichen Problem. Um lange Videos effizient zu erstellen, wenden sie einen Trick an: Sie behalten einige „Anker"-Bilder (wie das allererste Foto des Videos) dauerhaft im Speicher, während sie den Rest ständig austauschen.

Stellen Sie sich das wie einen Reiseleiter vor, der feststeckt und ein Foto des Startpunkts einer Reise betrachtet. Obwohl die Gruppe bereits Meilen in einen Dschungel hinein gelaufen ist, zeigt der Reiseleiter weiterhin auf das Foto des Parkplatzes und sagt: „Erinnern Sie sich daran?"

Das Ergebnis: Das Video bleibt stecken. Die Szenerie verändert sich nicht genug, oder schlimmer noch, das Video springt plötzlich zurück zum Aussehen des Anfangs, wodurch ein seltsamer, sich wiederholender Glitch entsteht, bei dem die Geschichte zurückgesetzt wird. Die Arbeit bezeichnet dies als „Sink Collapse". Dies geschieht, weil die KI zu sehr von diesen alten, statischen Ankern besessen ist und die interessanten Dinge vergisst, die in der Mitte passiert sind.

Die Lösung: DySink (Der intelligente Bibliothekar)
Die Autoren schlagen ein neues System namens DySink vor. Anstatt mit denselben alten Fotos feststecken zu bleiben, agiert DySink wie ein intelligenter Bibliothekar mit einer dynamischen Speicherbank.

Dynamische Abrufung: Wenn die KI die Vergangenheit erinnern muss, um die Geschichte konsistent zu halten, greift sie nicht einfach auf die erste Seite des Buches zurück. Stattdessen betrachtet sie die aktuelle Szene und fragt: „Welcher Teil der Vergangenheit sieht dem aus, was gerade passiert, am ähnlichsten?" Anschließend zieht sie diese spezifischen, relevanten Seiten aus ihrer Speicherbank hervor.
- Analogie: Wenn Sie derzeit in einer Wüste reiten, betrachtet die KI nicht ein Foto eines Fisches vom Anfang des Videos. Sie findet das Foto des Pferdes von vor 10 Minuten, um die Geschichte flüssig zu halten.
Das „Anomalie-Tor" (Die Sicherheitsprüfung): Manchmal kann selbst ein intelligenter Bibliothekar einen Fehler machen und eine Seite herausholen, die dazu führt, dass die Geschichte in einer Schleife steckt oder einen Glitch erzeugt. Die Arbeit führt ein spezielles „Sicherheits-Tor" ein.
- Analogie: Stellen Sie sich vor, die KI hat ein Team von 100 Redakteuren (Aufmerksamkeitsköpfen). Wenn alle 100 Redakteure plötzlich schreien: „Schaut euch dieses eine alte Foto an! Es ist das Wichtigste!", schlägt das Sicherheits-Tor zu. Es sagt: „Stopp! Dass alle sich auf ein altes Ding einigen, bedeutet normalerweise, dass wir gleich einen Fehler machen." Dann ignoriert es dieses alte Foto und hält sich stattdessen an die jüngere, sichere Geschichte.

Die Ergebnisse
Die Arbeit testete dies an einminütigen Videos.

Alte Methode: Das Video blieb oft in einer Schleife stecken oder sah so aus, als würde es zum Anfang zurückkehren.
DySink-Methode: Das Video entwickelte sich natürlich weiter. Die Charaktere und die Szenerie veränderten sich im Laufe der Zeit (höherer „dynamischer Grad"), ohne die Kohärenz der Geschichte zu verlieren (höhere „zeitliche Qualität").

Zusammenfassung
DySink behebt das Problem, dass KI-Videos in der Vergangenheit stecken bleiben. Anstatt die KI zu zwingen, für immer auf den Anfang des Videos zu starren, ermöglicht sie der KI, in ihrem Gedächtnis nach den relevantesten Momenten zu suchen, um den Fluss der Geschichte aufrechtzuerhalten. Sie fügt zudem einen Sicherheitsumschalter hinzu, um zu verhindern, dass die KI zu sehr von einem einzigen Gedächtnisbesessen wird, wodurch verhindert wird, dass das Video einen Glitch erleidet und zurückgesetzt wird.

Technische Zusammenfassung: DySink – Dynamische Frame-Sinks für autoregressive Langzeit-Videoerstellung

1. Problemstellung

Die autoregressive Erstellung langer Videos stützt sich auf Streaming mit begrenztem Speicher, um den quadratischen Rechenaufwand bidirektionaler Diffusions-Transformer zu bewältigen. Aktuelle State-of-the-Art-Methoden (z. B. LongLive, Rolling-Forcing) setzen typischerweise einen hybriden Aufmerksamkeitsmechanismus ein, der ein gleitendes Fenster für kurzfristige Kontinuität mit statischen Frame-Sinks (frühe zwischengespeicherte Frames) als globale Anker für langfristige Konsistenz kombiniert.

Die Arbeit identifiziert zwei kritische Einschränkungen dieser statischen Allokationsstrategie:

Kontextuelle Fehlanpassung: Mit fortschreitender Generierung weicht der visuelle Zustand oft erheblich von den frühen Frames ab. Das persistente Caching dieser veralteten Anker verzerrt das Modell zugunsten der Reproduktion initialer visueller Hinweise anstatt einer Anpassung an die sich entwickelnde Szene, was zu einer zeitlichen Stagnation führt.
Sink-Collapse: In schweren Fällen löst die Abhängigkeit von statischen Sinks einen Fehlermodus aus, der als „Sink-Collapse" bekannt ist. Cui et al. (2026) führen dies auf eine durch RoPE induzierte Phasenneujustierung und eine Homogenisierung der Inter-Kopf-Aufmerksamkeit zurück, bei der ein großer Anteil der Aufmerksamkeitsköpfe gleichzeitig übermäßig auf Sink-Frames achtet. Dies bewirkt, dass der generierte Inhalt zu den Sink-Frames zurückfällt, was zu abrupten Szenen-Resets und zyklischen Bewegungsmustern führt.

2. Methodik: Das DySink-Framework

DySink schlägt ein auf Retrieval basierendes Framework vor, das feste frühe Frame-Anker durch dynamische Frame-Sinks ersetzt. Das System unterhält eine kompakte Speicherbank und wählt visuell relevante historische Frames on-the-fly aus. Das Framework besteht aus drei Kernkomponenten:

A. Konstruktion der Speicherbank

Struktur: Die Speicherbank speichert historische Videoblöcke, wobei jeder Eintrag aus einem kompakten visuellen Deskriptor ( $f_i$ ) und den entsprechenden schichtweisen Key-Value (KV)-Caches ( $K_i, V_i$ ) besteht.
Deskriptor-Generierung: Visuelle Deskriptoren werden erstellt, indem latente Frames in den Pixelraum decodiert, über einen eingefrorenen visuellen Encoder kodiert und die Merkmale durch Mittelwert-Pooling und L2-Normierung aggregiert werden.
Neuigkeitsbewusstes Update: Um Redundanz zu verhindern, wird ein Kandidatenblock nur zugelassen, wenn seine Ähnlichkeit zu bestehenden Einträgen unter einem Schwellenwert ( $\tau_{dedup}$ ) liegt. Tritt eine fast exakte Übereinstimmung auf, werden frühere Einträge beibehalten, da sie weniger durch Fehlerakkumulation verfälscht sind.

B. Adaptive Retrieval und Injektion

Retrieval-Mechanismus: Für den aktuellen Generierungsblock aggregiert DySink Deskriptoren aus dem lokalen gleitenden Fenster, um eine Abfrage zu bilden. Es berechnet die Kosinusähnlichkeit gegenüber der Speicherbank, um die top- $k$ relevantesten historischen Blöcke zu retrieve.
Kontext-Injektion: Die KV-Caches der retrieved Blöcke werden mit den KV-Caches des lokalen gleitenden Fensters konkateniert, um den Aufmerksamkeitskontext zu bilden. Dies ermöglicht dem Modell, Zugriff auf langreichweitige strukturelle Hinweise zu erhalten, ohne dauerhaft auf feste frühe Frames angewiesen zu sein.

C. Sink-Anomalie-Gate

Um den Sink-Collapse zu mildern, ohne die RoPE-Frequenzstruktur zu modifizieren (wie in früheren Arbeiten durch RoPE-Jitter geschehen), führt DySink ein leichtgewichtiges pro-schichtliches Sink-Anomalie-Gate ein:

Erkennungslogik: Das Gate überwacht den Inter-Kopf-Konsens. Es berechnet den Anteil der Aufmerksamkeitsköpfe, die dem retrieved Kontext eine höhere Affinität zuschreiben als dem lokalen Fenster.
Unterdrückung: Wenn der Anteil der Köpfe, die den retrieved Kontext übermäßig beachten, einen Konsensschwellenwert ( $\tau_{gate}$ ) überschreitet, unterdrückt das Gate die retrieved KV-Zustände für diese Schicht und zwingt das Modell, zum lokalen gleitenden Fenster zurückzufallen. Dies verhindert die „Homogenisierung" der Aufmerksamkeit, die zum Collapse führt.

3. Trainingsparadigma

DySink folgt einem zweistufigen Streaming-Tuning-Paradigma basierend auf der Wan2.1-Architektur:

Kurzhorizont-Distillation: Ein Schülermodell (1,3 Mrd. Parameter) wird mittels Distribution Matching Distillation (DMD) von einem Lehrer (14 Mrd. Parameter) distilliert, um einen kausalen Generator mit wenigen Schritten zu erstellen.
Langhorizont-Feinabstimmung: Das Modell wird auf 60-sekündigen Streaming-Rollouts mit LoRA feinabgestimmt. Die vollständige DySink-Pipeline (Retrieval + Gate) ist während des Trainings aktiv, um Konsistenz zwischen Training und Inferenz sicherzustellen.

4. Experimentelle Ergebnisse

Experimente wurden an einminütigen Videoerstellungen (50s, 75s und 100s) mit dem Wan2.1-T2V-1.3B-Backbone durchgeführt.

Dynamikgrad: DySink übertrifft starke autoregressive Baselines (z. B. Self-Forcing++, LongLive) deutlich. Bei 50-sekündigen Videos verbessert es den Dynamikgrad um 8,16 Punkte gegenüber Self-Forcing++ und um 21,12 Punkte gegenüber LongLive. Dieser Trend gilt auch für 75-sekündige und 100-sekündige Generierungen.
Zeitliche Qualität: Trotz der erhöhten dynamischen Entwicklung erzielt DySink höhere Werte für die zeitliche Qualität als die Baselines, was darauf hindeutet, dass die dynamischen Sinks die Kohärenz bewahren, während sie die Szenenentwicklung zulassen.
Ablationsstudien:
- Das Entfernen des Sink-Anomalie-Gates führt zu einem drastischen Abfall des Dynamikgrads (von 60,45 auf 37,98) und der zeitlichen Qualität, was bestätigt, dass das Modell ohne das Gate zu Sink-Collapse-Verhalten (zyklische Bewegung, wiederholte Strukturen) zurückkehrt.
- Der Vergleich von statischen Sinks mit DySink zeigt, dass statische Sinks zwar eine gewisse Stabilität bieten, die dynamische Retrieval jedoch eine überlegene Anpassungsfähigkeit an sich entwickelnde visuelle Zustände bietet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DySink die fundamentale Starrheit der statischen Speicherallokation in der autoregressiven Videoerstellung adressiert. Durch den Wechsel von festen Ankern zu inhhaltsadaptivem Retrieval reduziert die Methode die Konditionierungsfehlanpassung und mildert den spezifischen Fehlermodus des Sink-Collapse.

Zu den wichtigsten Behauptungen gehören:

Anpassungsfähigkeit: Dynamische Sinks ermöglichen dem Modell, langreichweitige Konsistenz zu wahren, ohne auf veraltete frühe Frame-Attribute verzerrt zu sein.
Collapse-Prävention: Das Sink-Anomalie-Gate unterdrückt kollapsanfällige Aufmerksamkeitsmuster effektiv, indem es übermäßigen Inter-Kopf-Konsens erkennt, und bietet eine Lösung, die keine Modifikation der zugrundeliegenden RoPE-Positionscodierung erfordert.
Skalierbarkeit: Der Ansatz zeigt, dass einminütige Videos mit höheren Dynamikgraden und zeitlicher Qualität als aktuelle State-of-the-Art-Methoden generiert werden können, was darauf hindeutet, dass die dynamische Speicherauswahl ein kritischer Bestandteil für zukünftige Langhorizont-Generierung ist.

Die Autoren weisen auf Einschränkungen hin und räumen ein, dass die aktuelle rein visuelle Indexierung möglicherweise feingranulare semantische oder objektspezifische Hinweise verpasst und dass das volle Potenzial des dynamischen Retrievals in Szenarien mit komplexen, dichten Ereignissen oder mehrstufigen Übergängen jenseits des aktuellen 100-Sekunden-Evaluierungshorizonts ausgeprägter sein könnte.