Technische Samenvatting: DySink – Dynamische Frame Sinks voor Autoregressieve Lange Video-Generatie

1. Probleemstelling

Autoregressieve lange video-generatie is afhankelijk van streaming met begrensd geheugen om de kwadratische rekenkosten van bidirectionele diffusietransformators te beheersen. Huidige state-of-the-art methoden (bijv. LongLive, Rolling-Forcing) maken doorgaans gebruik van een hybride attentiemechanisme dat een schuivend venster combineert voor korte-termijn continuïteit en statische frame sinks (vroeg opgeslagen frames) als globale ankers voor lange-termijn consistentie.

Het artikel identificeert twee kritieke beperkingen in deze statische toewijzingsstrategie:

1. Contextuele Mismatch: Naarmate de generatie vordert, wijkt de visuele staat vaak aanzienlijk af van de vroege frames. Het persistent cachen van deze verouderde ankers beïnvloedt het model om initiele visuele aanwijzingen te reproduceren in plaats van zich aan te passen aan de evoluerende scène, wat leidt tot temporele stagnatie.
2. Sink Collapse: In ernstige gevallen veroorzaakt de afhankelijkheid van statische sinks een faalmodus die bekendstaat als "sink collapse". Cui et al. (2026) schrijven dit toe aan door RoPE veroorzaakte fase-herschikking en homogenisatie van inter-head attentie, waarbij een groot deel van de attentie-heads tegelijkertijd overmatig aandacht besteedt aan sink-frames. Dit zorgt ervoor dat gegenereerde inhoud terugvalt naar sink-frames, wat resulteert in abrupte scène-resetten en cyclische bewegingspatronen.

2. Methodologie: Het DySink Framework

DySink stelt een op retrieval gebaseerd framework voor dat vaste vroege-frame ankers vervangt door dynamische frame sinks. Het systeem onderhoudt een compacte geheugenbank en selecteert visueel relevante historische frames on-the-fly. Het framework bestaat uit drie kernelementen:

A. Constructie van de Geheugenbank

• Structuur: De geheugenbank slaat historische videoblokken op, waarbij elk item bestaat uit een compact visuele beschrijver ($f_i$) en de corresponderende layer-wise Key-Value (KV) caches ($K_i, V_i$).
• Generatie van Beschrijvers: Visuele beschrijvers worden gemaakt door latente frames te decoderen naar pixelruimte, ze te coderen via een bevroren visuele encoder, en features te aggregeren via mean pooling en L2-normalisatie.
• Novelty-Aware Update: Om redundantie te voorkomen, wordt een kandidaat-blok alleen toegelaten als de gelijkenis met bestaande items onder een drempelwaarde ($\tau_{dedup}$) ligt. Als bijna-duplicaten optreden, worden eerdere items behouden omdat deze minder aangetast zijn door foutaccumulatie.

B. Adaptieve Retrieval en Injectie

• Retrieval Mechanisme: Voor het huidige generatieblok aggregeert DySink beschrijvers uit het lokale schuivende venster om een query te vormen. Het berekent de cosinus-gelijkenis met de geheugenbank om de top-$k$ meest relevante historische blokken op te halen.
• Context Injectie: De KV caches van de opgehaalde blokken worden geconcateneerd met de lokale schuivende-venster KV caches om de attentiecontext te vormen. Dit stelt het model in staat om toegang te krijgen tot langeafstands structurele aanwijzingen zonder permanent afhankelijk te zijn van vaste vroege frames.

C. Sink Anomalie Poort

Om sink collapse te mitigeren zonder de RoPE-frequentiestructuur te wijzigen (zoals eerder werk deed via RoPE-jitter), introduceert DySink een lichtgewicht per-layer sink anomalie poort:

• Detectielogica: De poort bewaakt inter-head consensus. Het berekent het fraction van attentie-heads die een hogere affiniteit toekennen aan de opgehaalde context dan aan het lokale venster.
• Suppressie: Als het fraction van heads dat overmatig aandacht besteedt aan de opgehaalde context een consensusdrempel ($\tau_{gate}$) overschrijdt, onderdrukt de poort de opgehaalde KV-staten voor die laag, waardoor het model terugvalt naar het lokale schuivende venster. Dit voorkomt de "homogenisatie" van attentie die leidt tot collapse.

3. Trainingsparadigma

DySink volgt een tweestaps streaming-tuningparadigma gebaseerd op de Wan2.1-architectuur:

1. Short-Horizon Distillatie: Een studentmodel (1,3B) wordt gedistilleerd vanuit een leraar (14B) met behulp van Distribution Matching Distillation (DMD) om een causale generator met enkele stappen te creëren.
2. Long-Horizon Fine-Tuning: Het model wordt gefine-tuned op 60-seconden streaming-rollouts met LoRA. De volledige DySink-pijplijn (retrieval + gating) is actief tijdens training om consistentie tussen training en inferentie te waarborgen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op video-generatie van minutenlange duur (50s, 75s en 100s) met de Wan2.1-T2V-1.3B backbone.

• Dynamische Graad: DySink presteert significant beter dan sterke autoregressieve baselines (bijv. Self-Forcing++, LongLive). Op 50s video's verbetert het de Dynamische Graad met 8,16 punten ten opzichte van Self-Forcing++ en met 21,12 punten ten opzichte van LongLive. Deze trend geldt ook voor 75s en 100s generaties.
• Temporele Kwaliteit: Ondanks de verhoogde dynamische evolutie bereikt DySink hogere Temporele Kwaliteitsscores dan baselines, wat aangeeft dat de dynamische sinks coherentie behouden terwijl ze scèneverandering toelaten.
• Ablatiestudies:
  • Het verwijderen van de Sink Anomalie Poort leidt tot een drastische daling in Dynamische Graad (van 60,45 naar 37,98) en Temporele Kwaliteit, wat bevestigt dat het model zonder de poort terugvalt naar sink-collapse-gedrag (cyclische beweging, herhaalde structuren).
  • Het vergelijken van Statische Sinks versus DySink toont aan dat statische sinks weliswaar enige stabiliteit bieden, maar dat dynamische retrieval superieure aanpassingsvermogen biedt aan evoluerende visuele staten.

5. Betekenis en Claims

Het artikel beweert dat DySink de fundamentele rigiditeit van statische geheugentoewijzing in autoregressieve video-generatie aanpakt. Door over te stappen van vaste ankers naar content-adaptieve retrieval, vermindert de methode conditioning mismatch en mitigeert het de specifieke faalmodus van sink collapse.

Belangrijke claims zijn:

• Aanpasbaarheid: Dynamische sinks stellen het model in staat langeafstands consistentie te behouden zonder bevooroordeeld te zijn ten opzichte van verouderde vroege-frame attributen.
• Collapse Preventie: De Sink Anomalie Poort onderdrukt effectief collapse-gevoelige attentiepatronen door excessieve inter-head consensus te detecteren, en biedt een oplossing die geen wijziging vereist van de onderliggende RoPE-positional encoding.
• Schaalbaarheid: De aanpak toont aan dat minutenlange video's kunnen worden gegenereerd met hogere dynamische graden en temporele kwaliteit dan huidige state-of-the-art methoden, wat suggereert dat dynamische geheugenselectie een kritiek component is voor toekomstige lange-horizon generatie.

De auteurs merken beperkingen op, en erkennen dat de huidige indexering uitsluitend op visuele basis fijne semantische of object-niveau aanwijzingen kan missen, en dat het volledige potentieel van dynamische retrieval meer uitgesproken kan zijn in scenario's met complexe, dichte gebeurtenissen of meerstaps overgangen die buiten de huidige 100-seconden evaluatiehorizon vallen.