Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention

Dit artikel introduceert FAST-AR, een training-vrij framework dat autoregressieve videodiffusie en wereldmodellen versnelt door temporele caches te comprimeren en aandacht te versnipperen via benaderende nearest neighbor-matching, waarmee een versnelling van 5–10x wordt bereikt met constant geheugengebruik terwijl de visuele kwaliteit behouden blijft.

De kern

Stel je voor dat je een heel lang verhaal probeert te schrijven, één zin per keer. Elke keer als je een nieuwe zin schrijft, moet je elke zin die je eerder hebt geschreven opnieuw lezen om te controleren of de nieuwe zin er perfect bij past.

In de wereld van AI-videogeneratie gebeurt dit precies. Terwijl de AI een video frame voor frame creëert, houdt het een "geheugenbank" (genaamd de KV Cache) bij van alles wat tot nu toe is gegenereerd. Om het volgende frame te maken, moet de AI deze hele groeiende geheugenbank lezen.

Het probleem? Naarmate de video langer wordt, wordt deze geheugenbank enorm. De AI moet steeds meer tekst lezen om de volgende zin te schrijven. Dit maakt het proces:

1. Steeds trager (zoals proberen een specifiek woord te vinden in een bibliotheek die elke seconde nieuwe boeken toevoegt).
2. Duurder (het raakt het computergeheugen kwijt, zoals een rugzak die steeds te zwaar wordt om te dragen).

Het paper introduceert een nieuwe methode genaamd FAST-AR om dit op te lossen. Zie dit als het geven van een set super-slimme snelkoppelingen aan de AI, zodat het lange verhalen kan schrijven zonder moe te worden of zijn geheugen te verliezen.

Hier zijn de drie "magische trucs" die FAST-AR gebruikt:

1. De "Dubbelte Zoeker" (TempCache)

Het Probleem: In een video blijven veel dingen gedurende lange tijd hetzelfde. Als een kat door een tuin loopt, zien de achtergrondbomen en de vact van de kat er in frame 100 en frame 101 bijna identiek uit. De AI verspilde tijd aan het twee keer onthouden van precies hetzelfde ding.
De Oplossing: FAST-AR werkt als een slimme bibliothecaris die opmerkt: "Hé, ik heb al een perfecte kopie van deze boom in mijn geheugen. Ik hoef hem niet nog een keer op te schrijven."
Het comprimeert het geheugen door deze "bijna-duplicaten" samen te voegen. In plaats van elk afzonderlijk frame te onthouden, onthoudt het de essentie van de scène. Dit houdt de omvang van het geheugen klein en constant, ongeacht hoe lang de video wordt.

2. De "Relevante Lezer" (AnnCA)

Het Probleem: Stel je voor dat je een verhaal schrijft op basis van een zeer lange prompt (een gedetailleerde beschrijving). De prompt kan zeggen: "Een kat loopt, een bus rijdt voorbij, dan verschijnt er een hond." Wanneer de AI op dat moment de "kat" tekent, hoeft het niet naar de woorden "bus" of "hond" in de prompt te kijken. Maar oude AI-modellen lezen de hele prompt elke keer opnieuw, wat energie verspilt.
De Oplossing: FAST-AR gebruikt een "snelle zoektool" (genaamd Approximate Nearest Neighbor) om direct te bepalen: "Welke woorden in de prompt zijn belangrijk voor dit specifieke frame?"
Het negeert de irrelevante woorden. Als de kat in beeld is, let het alleen op het woord "kat". Dit bespaart een enorme hoeveelheid rekenkracht.

3. De "Focus Filter" (AnnSA)

Het Probleem: Binnen de video zelf kijkt de AI naar elke pixel in relatie tot elke andere pixel. Het is alsoalsof je met iedereen in een stadion probeert tegelijk te praten, terwijl je eigenlijk alleen met de persoon naast je hoeft te praten.
De Oplossing: FAST-AR groepeert gelijkaardige zaken bij elkaar. Als een pixel deel uitmaakt van een "kat", praat het alleen met andere pixels die ook deel uitmaken van de "kat". Het negeert de achtergrond of andere objecten die er niet mee gerelateerd zijn. Het is alsof je mensen in kleine, gefocuste gespreksgroepjes plaatst in plaats van in één grote, luidruchtige menigte.

Het Resultaat: Een Marathonloper, Geen Sprinter

Het paper laat zien dat de AI met deze drie trucs video's 5 tot 10 keer sneller kan genereren dan voorheen.

• Oude manier: Naarmate de video langer wordt, wordt de AI steeds trager en raakt het uiteindelijk het geheugen kwijt (zoals een hardloper die moe wordt en stopt).
• FAST-AR manier: De AI loopt een constant, hoog tempo en blijft dat voor altijd. De snelheid en het geheugengebruik blijven hetzelfde, of de video nu 10 seconden of 2 minuten lang is.

Kortom: FAST-AR leert de AI om te stoppen met het steeds opnieuw lezen van dezelfde oude aantekeningen, de woorden te negeren die het niet nodig heeft, en zich alleen te concentreren op de mensen met wie het praat. Dit stelt het in staat om lange, hoogwaardige video's te maken zonder vast te lopen in zijn eigen geheugen.

Technische samenvatting

Technische Samenvatting: FAST-AR

Probleemstelling

Autoregressieve videodiffusiemodellen maken streaming-generatie mogelijk, wat langdurige synthese, video-wereldmodellen en interactieve neurale game-engines faciliteert. Echter, deze modellen kampen met een kritieke bottleneck tijdens de inferentie: de KV-cache (Key-Value cache) groeit lineair met het aantal gegenereerde frames. Deze groei leidt tot twee fundamentele problemen:

1. Toenemende Latentie: Naarmate de cache uitbreidt, schaalt de per-stap aandachtskost lineair (en de cumulatieve werklast kwadratisch, $O(T^2)$), waardoor de generatiesnelheid progressief afneemt tijdens lange rollouts.
2. Geheugenexplosie: De uitbreidende cache verbruikt steeds meer GPU-geheugen, wat vaak resulteert in korte contextvensters die de langetermijn-temporele consistentie schaden.

Bestaande oplossingen uit de NLP (KV-compressie voor LLM's) laten zich niet direct vertalen naar video-diffusie, en recente video-specifieke methoden bieden slechts bescheiden snelheidsverbeteringen, vaak ten koste van de visuele kwaliteit of door het niet kunnen stabiliseren van het geheugengebruik over tijd.

Methodologie: FAST-AR

De auteurs stellen FAST-AR (Fast AutoRegressive diffusion) voor, een verenigd, training-vrij aandachtskader dat is ontworpen om de redundantie in autoregressieve videogeneratie uit te buiten. Het kader bestaat uit drie kerncomponenten, die alle gebruikmaken van snelle Approximate Nearest Neighbor (ANN) matching om berekening en geheugen te verminderen zonder het onderliggende model opnieuw te trainen.

1. Motivatie: Bronnen van Redundantie

De auteurs identificeren drie hardnekkige bronnen van redundantie in autoregressieve videodiffusie:

• Temporele Key-Redundantie: Gecachte keys over frames heen zijn vaak bijna duplicaten, aangezien de semantische inhoud traag evolueert.
• Semantische Query/Key Evolutie: Queries en keys zijn grotendeels semantisch en evolueren traag, waardoor veel berekeningen van aandachtsscores redundant zijn.
• Cross-Attention Sparsity: In lange prompts is slechts een kleine subset van tokens relevant voor de synthese van een specifiek frame; het aandacht schenken aan alle tokens is computationeel verspillend.

2. Kerncomponenten

A. TempCache (Temporal Cache Compression)

• Doel: De KV-cache comprimeren door het identificeren en samenvoegen van temporeel corresponderende tokens.
• Mechanisme: In plaats van volledige aandachtmatrices te berekenen om correspondenties te vinden, gebruikt de methode lichtgewicht ANN (Locality-Sensitive Hashing of Kwantisatie) om de top-1 dichtstbijzijnde buur-key voor elke huidige-frame query in voorgaande frames te vinden.
• Theoretische Basis: Gebaseerd op Lemma 5.1, bewijzen de auteurs dat het samenvoegen van identieke keys geen benaderingsfout veroorzaakt als de values worden geaggregeerd (gemiddelde) en de logits worden verschoven met de groepsgrootte. In de praktijk worden keys samengevoegd op basis van een gelijkenis-drempelwaarde.
• Voordeel: Dit begrenst de groei van de KV-cache, waardoor het geheugengebruik en de latentie constant blijven, ongeacht de lengte van de generatie.

B. AnnCA (Approximate Nearest-Neighbor Cross-Attention)

• Doel: Cross-attention versnellen door alleen frame-relevante prompt-tokens te selecteren.
• Mechanisme: De methode projecteert zowel latente queries als prompt-keys naar een gedeelde embedding-ruimte (LSH of gekwantiseerd). Het identificeert prompt-tokens die een bucket delen met ten minste één huidige-frame query. Tokens zonder een overeenkomstige bucket worden voor dat frame verwijderd.
• Voordeel: Vermindert drastisch het aantal verwerkte prompt-tokens per frame zonder dichte aandacht-maps te berekenen.

C. AnnSA (Approximate Nearest-Neighbor Self-Attention)

• Doel: Self-attention verspreiden door queries te beperken tot semantisch gematchte keys.
• Mechanisme: Door de semantische buckets te hergebruiken die tijdens de cross-attention pruning fase zijn ontdekt, beperkt de methode elke token's query tot alleen aandacht te schenken aan keys binnen dezelfde semantische bucket(s).
• Voordeel: Dwingt semantische lokaliteit af en reduceert de kwadratische kosten van self-attention naar een sparse, block-sparse operatie met behulp van efficiënte kernels (bijv. FlashInfer).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op state-of-the-art autoregressieve modellen (Rolling-Forcing en LongVie2) met behulp van de LongVBench en LongVGenBench datasets.

• Snelheidsverbetering: FAST-AR bereikt 5× tot snelheden van 10,8× end-to-end vergeleken met dense FlashAttention-3 (FA3).
  • TempCache alleen zorgt voor een ~3× snelheidsverbetering.
  • Het combineren van TempCache met AnnSA en AnnCA levert de maximale winst op (tot ×10,8).
• Behoud van Kwaliteit: De methode behoudt een bijna identieke visuele kwaliteit ten opzichte van de dense baseline.
  • PSNR, SSIM en LPIPS-scores blijven vergelijkbaar met dense attention.
  • VBench-scores (perceptuele kwaliteit) blijven behouden (~84,0 vs. 84,1 voor de baseline).
  • In tegen tegenstelling hiertoe degraderen bestaande sparse attention baselines (SVG, RadialAttn) de kwaliteit aanzienlijk (VBench daalt naar ~33–61) of falen ze om de doorvoer te handhaven.
• Stabiliteit:
  • Doorvoer: Terwijl dense attention en andere baselines vertragen naarmate de context groeit (3000 frames), behoudt FAST-AR een constante FPS.
  • Geheugen: Het piek GPU-geheugengebruik blijft bijna constant over lange rollouts, terwijl baselines een lineaire geheugengroei vertonen.

Betekenis en Claims

Het artikel claimt dat FAST-AR de eerste training-vrije toepassing van ANN-gebaseerde aandacht is die specifiek gericht is op autoregressieve videodiffusiemodellen. De primaire betekenis ligt in:

1. Schaalbaarheid: Het maakt de generatie van video's van meerdere minuten (bijv. 3000 frames) mogelijk op een enkele GPU met stabiele latentie en geheugen, een capaciteit die voorheen beperkt werd door de $O(T^2)$ schaling van attention.
2. Efficiëntie zonder Her-training: In tegenstelling tot methoden die fine-tuning of complexe trainingsrecepten vereisen, werkt FAST-AR als een plug-in inferentie-framework dat compatibel is met bestaande backbones.
3. Robuustheid: Het adresseert succesvol de specifieke redundantiepatronen van video-diffusie (temporele correspondentie en semantische sparsiteit), waar generieke NLP-compressie of offline video-acceleratiemethoden niet effectief in zijn.

De auteurs benadrukken dat hun aanpak de praktische levensvatbaarheid van autoregressieve video-wereldmodellen en langdurige synthese ontsluit door de computationele en geheugentechnische barrières weg te nemen die de huidige rollout-lengte beperken.