Technische Samenvatting: AdaState – Zelf-ontwikkelende Ankers voor Streaming Video-Generatie

1. Probleemstelling

Autoregressieve video-diffusiemodellen genereren streaming video door frames sequentieel te produceren, waarbij elk nieuw fragment wordt geconditioneerd op eerder gegenereerde content. Een fundamentele structurele beperking in deze modellen is hun afhankelijkheid van een statisch anker: de key-value (KV) representatie van het eerste frame bezet een bevoorrechte positie (positie 0) in de attention cache.

Door het "attention-sink"-fenomeen, waarbij causale softmax massa concentreert op initiële posities, trekt dit statische anker gedurende het gehele generatieproces onevenredig veel attention. Hoewel dit statische consistentie garandeert, onderdrukt het video-dynamiek. Het model is effectief vergrendeld op het initiële gezichtspunt, wat natuurlijke scène-evolutie, camerabeweging en voortgang van onderwerpen verhindert. Naarmate de generatie uitdijt, worstelt het model om de evoluerende scène te verzoenen met de bevroren referentie, wat leidt tot:

1. Temporele Ondiepte: Beweging en scène-progressie worden gedempt om consistentie met het eerste frame te behouden.
2. Afdrijven en Artefacten: Als het anker wordt verwijderd of heuristisch wordt bijgewerkt, hopen fouten zich op, wat visuele instorting of verlies van onderwerpidentiteit veroorzaakt.

Bestaande oplossingen slagen er niet in om deze oorzaak aan te pakken. Methoden die statische ankers behouden (bijv. LongLive, Infinity-RoPE) bevriezen de scène. Methoden die inhouds-onafhankelijke updates gebruiken (bijv. EMA-gebaseerde benaderingen zoals Reward Forcing, MemRoPE) convergeren naar een wazig gemiddelde dat niet kan adapteren aan specifieke scène-veranderingen. Heuristische vervangingen (bijv. Rolling Sink) bevooroordeelt de generatie naar het reproduceren van vorige frames in plaats van nieuwe voortzettingen.

2. Methodologie: AdaState

De auteurs stellen AdaState voor, een raamwerk dat het statische eerste-frame-anker vervangt door een adaptieve toestand – een verborgen latente variabele die samen met de content evolueert.

Kernmechanisme

• Adaptieve Toestand als Verborgen Latente: In plaats van een bevroren eerste frame, onderhoudt het model een toestand $s$ op positie 0 in de KV cache. Deze toestand is een verborgen latente die bij elke chunk samen met de video-content wordt gedenoist, maar nooit wordt gerenderd naar de uiteindelijke video-uitvoer.
• Gecombineerde Denoising en Recurrentie: Bij elke generatiestap $n$ denoist de generator $G_\theta$ gezamenlijk de huidige contentframes $x^{(n)}_c$ en de toestandsframes $s_n$ vanuit onafhankelijke Gaussisch ruis, geconditioneerd op de KV cache $h_n$.
  • De schone content-KV komt in het schuifvenster voor korte-termijn context.
  • De schone state-KV overschrijft positie 0 in de cache en dient als scène-referentie voor het volgende fragment.
• Relatieve Tijdsformulering: In tegenstelling tot standaardgeneratie die absolute tijd encodeert, behandelt AdaState tijd als relatief. Elke generatiestap ziet dezelfde positionele structuur, ongeacht de uitrol-lengte. De toestands-overgang is identiek bij elke chunk, waardoor het sequentiële autoregressieve proces wordt omgezet in een recurrent proces waarbij:
  • Denoising fungeert als de overgangsfunctie.
  • De KV Cache fungeert als de drager voor de verborgen toestand.
  • Er zijn geen externe modules, gating-mechanismen of aparte geheugeneenheden vereist.

Horizon-Gewogen Training

Om ervoor te zorgen dat het model leert de adaptieve toestand effectief te benutten, introduceren de auteurs Horizon-Gewogen Distributie-Matching Distillatie (DMD).

• Probleem: Bij autoregressieve uitrollen hopen fouten zich op in latere frames. Standaard uniforme loss-gewichting laat de optimizer toe zich te focussen op schone, vroege frames, waardoor de kritieke latere frames worden verwaarloosd waar de adaptieve toestand moet compenseren voor het ontbreken van originele scène-content.
• Oplossing: Een lineaire opwaartse weging $w_i$ wordt toegepast op de DMD loss, die toeneemt met de frame-index $i$. Dit dwingt de optimizer om capaciteit te concentreren op de latere frames waar state-gemedieerde coherentie het meest vitaal is.
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. Belangrijkste Bijdragen

1. Identificatie van Structurele Bias: Het paper identificeert dat het statische anker in autoregressieve video-diffusie een structurele attention-bias creëert die dynamiek onderdrukt en scène-compositie vergrendelt op het initiële gezichtspunt.
2. Architectuur voor Adaptieve Toestand: De auteurs stellen voor het statische anker te vervangen door een verborgen adaptieve toestand die wordt getraind via horizon-gewogen DMD. Deze toestand evolueert met de content, waardoor het model bij elke stap zijn eigen scène-referentie kan genereren.
3. Recurrente Formulering zonder Externe Modules: Het werk toont aan dat denoising op zichzelf kan fungeren als recurrentie. De adaptieve toestand is een verborgen variabele die wordt bijgewerkt door de eigen iteratieve verfijning van het model en wordt vervoerd via de KV cache, zonder externe geheugen- of gating-mechanismen.

4. Experimentele Resultaten

De methode werd geëvalueerd op een model dat is gedistilleerd van Wan2.1-T2V-1.3B met Self-Forcing, getraind op 21-frame uitrollen en getest op 5 seconden (binnen horizon) en 30 seconden (6× trainingshorizon).

• Kwalitatieve Prestaties:
  • Statische Ankers (bijv. Infinity-RoPE, Rolling Forcing): Behouden identiteit maar bevriezen de scène, zonder camerabeweging of scène-progressie.
  • Geen Referentie (bijv. Self-Forcing, Causal Forcing): Toont aanvankelijk hoge dynamiek, maar lijdt aan kleur-afdrift en visuele artefacten naarmate de uitrol verder gaat dan de trainingshorizon.
  • AdaState: Bereikt een unieke balans, waarbij onderwerpidentiteit wordt behouden terwijl natuurlijke scène-evolutie, cameraglijden en continue beweging mogelijk zijn, zelfs bij 30 seconden.
• Kwantitatieve Prestaties:
  • Binnen Horizon (5s): AdaState behaalt de hoogste totale VBench-score en VisionReward, met een dynamische graad die significant hoger is dan statische-anker-methoden.
  • Buiten Horizon (30s): AdaState is de enige methode die niet degradeert in dynamische graad. Het bezet het "rechts-boven"-gebied van de consistentie-dynamiek trade-off curve, waarbij hoge consistentie wordt behouden terwijl de hoogste dynamische graad wordt bereikt onder alle baselines.
  • Gebruikersstudie: In een studie met 40 beoordelaars ontving AdaState de hoogste scores voor zowel "coherente progressie" als "prompt-adherentie", en presteerde het beter dan referentie-vrije, statische-referentie en EMA-referentie baselines.

5. Betekenis en Claims

Het paper claimt dat AdaState fundamenteel de consistentie-dynamiek trade-off doorbreekt die huidige streaming video-generatie teistert. Door het generatieproces te behandelen als een recurrentie waarbij de eigen denoising van het model een verborgen scène-referentie bijwerkt, maakt AdaState mogelijk:

• Rijkere Beweging: Natuurlijke camerabeweging en onderwerp-actie die in de tijd evolueren.
• Stabiliteit op Lange Horizon: Het vermogen om coherente video's te genereren ver buiten de trainingshorizon zonder dat er afdrijving optreedt of de scène bevriest.
• Architecturale Eenvoud: De oplossing vereist geen architecturale wijzigingen aan de backbone DiT, geen auxiliaire losses en geen externe geheugenmodules, en vertrouwt uitsluitend op de bestaande KV cache en attention-mechanismen.

De auteurs positioneren dit als een stap naar een adaptieve recurrente toestand in autoregressieve generatie, waarbij wordt gesuggereerd dat de formulering toepasbaar zou kunnen zijn op andere domeinen waar attention zich concentreert op vaste verleden posities. Ze merken echter bescheiden beperkingen op, zoals de heuristische instelling van de state-capaciteit (momenteel één frame) en de noodzaak van toekomstig werk aan gestructureerd extern geheugen voor zeer complexe scènes met meerdere acteurs.