🤖 machine learning

Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion

Dit artikel introduceert ARL2, een hybride attention-architectuur voor autoregressieve videodiffusie die kwadratische cross-frame attention vervangt door een recurrente toestand met vaste grootte om lineaire tijdschaal en constant geheugengebruik te bereiken, terwijl de temporele consistentie en de generatiekwaliteit behouden of verbeterd blijven.

Oorspronkelijke auteurs: Kunyang Li, Mubarak Shah, Yuzhang Shang

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kunyang Li, Mubarak Shah, Yuzhang Shang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Eindeloze Rugzak"

Stel je voor dat je een kunstenaar bent die probeert een zeer lange film te schilderen, frame voor frame. Om de film soepel en consistent te laten lijken, moet je onthouden wat je tot nu toe hebt geschilderd.

In huidige video-AI-modellen is de manier waarop ze "onthouden" als het dragen van een rugzak die steeds zwaarder wordt.

Voor het eerste frame leg je een klein briefje in je rugzak.
Voor het tweede frame voeg je nog een briefje toe, maar je houdt het eerste bewaard.
Bij het 100e frame is je rugzak enorm. Bij het 1000e frame is hij zo zwaar dat je niet meer kunt bewegen.

In technische termen heet dit een KV Cache. Naarmate de video langer wordt, heeft de computer steeds meer geheugen (RAM) nodig om al deze oude notities op te slaan. Uiteindelijk raakt de computer zijn ruimte kwijt en stopt de video-generatie. Dit is de "schaalbaarheidsknelpunt" dat het paper probeert op te lossen.

De Oplossing: ARL2 (Attend Locally, Remember Linearly)

De auteurs stellen een nieuwe manier voor om de film te schilderen, genaamd ARL2. In plaats van een groeiende rugzak te dragen, gebruiken ze een slim, vast formaat notitieboek.

Ze splitsen het werk van de kunstenaar op in twee verschillende taken:

1. "Attend Locally" (Het Detailwerk)

Wanneer de kunstenaar een enkel frame schildert, moet hij naar elk deel van dat specifieke plaatje kijken om ervoor te zorgen dat de details overeenkomen (bijvoorbeeld zorgen dat het linkeroog overeenkomt met het rechteroog, of dat de sjaal natuurlijk valt).

De Analogie: Dit is als kijken naar het hele doek voor je. Je moet alles tegelijk zien om de details goed te krijgen.
De Oplossing in het Paper: Ze houden de oude, krachtige "Softmax"-methode voor dit doel. Deze is uitstekend voor lokale details, dus ze veranderen deze niet.

2. "Remember Linearly" (Het Langetermijngeheugen)

Wanneer de kunstenaar naar het volgende frame gaat, moet hij onthouden wat er in de vorige frames is gebeurd om het verhaal consistent te houden (bijvoorbeeld: de kleur van de sjaal van het personage mag niet plotseling veranderen van rood naar blauw).

De Oude Manier: Een lijst bijhouden van elk frame dat ooit is gemaakt (De Zware Rugzak).
De Nieuwe Manier (ARL2): In plaats van een lijst gebruikt de kunstenaar een enkele, magische samenvattingskaart.
- Wanneer een nieuw frame klaar is, werkt de kunstenaar deze ene kaart bij met de belangrijkste informatie.
- De kaart blijft even groot, ongeacht of de film 1 minuut of 1 uur duurt.
- Dit is de "Recurrent State". Het is als een "Gated Delta Network" dat beslist wat bewaard moet worden en wat vergeten, zodat het geheugen schoon en beheersbaar blijft.

Hoe Ze Het Werkend Kregen (De Training)

Je kunt de zware rugzak niet zomaar 's nachts vervangen door een klein notitieboek; de kunstenaar zou in de war kunnen raken. Het paper beschrijft een tweestaps trainingsproces om het model deze nieuwe truc aan te leren:

Stap 1 (De Oefenronde): Ze nemen het originele model met de zware rugzak en leren het, laag voor laag, hoe het kleine notitieboek te gebruiken. Ze testen welke lagen "gevoelig" zijn (de zware rugzak nodig hebben voor perfecte details) en welke "flexibel" zijn (het kleine notitieboek kunnen gebruiken).
Stap 2 (Het Eindexamen): Ze mengen de twee samen. Ze laten het model oefenen met het kleine notitieboek voor de flexibele lagen, terwijl ze de zware rugzak behouden voor de gevoelige lagen. Ze doen dit totdat het model net zo goed is als het origineel, maar veel lichter.

De Resultaten: Sneller en Lichter

Het paper beweert dat door deze hybride aanpak:

Geheugen: Het geheugengebruik van de computer stopt met groeien naarmate de video langer wordt. Het blijft constant. Ze verlaagden het geheugengebruik met 54% voor lange video's.
Snelheid: Omdat de computer niet worstelt met het dragen van een zware rugzak, schildert het sneller. Ze zagen een 2,26x snelheidswinst (meer dan dubbel zo snel) voor zeer lange video's.
Kwaliteit: De videokwaliteit bleef even goed, en in sommige gevallen was de beweging zelfs vloeiender omdat de "samenvattingskaart" het langetermijnverhaal beter onthield dan de rommelige lijst met notities.

Samenvattende Analogie

Denk aan het oude model als een student die probeert een heel boek uit het hoofd te leren door elk enkel woord op een stuk papier te schrijven dat steeds langer en langer wordt totdat het de kamer vult.

Het nieuwe ARL2-model is als een student die:

De huidige pagina zorgvuldig leest om de details te begrijpen (Attend Locally).
Een enkele, perfecte samenvattende zin op een post-it note schrijft om het plot tot nu toe te onthouden (Remember Linearly).
Die post-it note bijwerkt naarmate hij naar de volgende pagina gaat, waardoor hij voor altijd klein en beheersbaar blijft.

Dit stelt hen in staat een boek van elke lengte te lezen (genereren) zonder hun bureau vol te krijgen.

Technische Samenvatting: Attend Locally, Remember Linearly (ARL2)

1. Probleemstelling

Autoregressieve (AR) videodiffusie is een leidende paradigma geworden voor streaming en interactieve videogeneratie vanwege de causale, chunk-gebaseerde formulering. Echter, bestaande AR-videodiffusiemodellen vertrouwen op softmax-zelfaandacht binnen Diffusion Transformers (DiTs). Deze afhankelijkheid introduceert een fundamenteel schaalbaarheidsprobleem:

Kwadratische Berekening & Lineair Geheugen: Het standaardaandachtsmechanisme leidt tot een rekencomplexiteit van $O(N^2)$ en een geheugengebruik van $O(N)$ , gerelateerd aan de sequentielengte $N$ (videoframes).
Groei van de KV-cache: Om temporale consistentie te behouden, accumuleren deze modellen een Key-Value (KV) cache die lineair groeit met elke gegenereerde blok. Voor een 5-seconden 480p-video kan de KV-cache meer dan 34 GB beslaan, wat de modelparameters zelf overtreft.
Beperkingen van Bestaande Oplossingen: Huidige oplossingen zoals sparse attention, KV-cache-quantisatie of verwijdering (eviction) verminderen de kosten per stap of begrenzen het geheugen, maar slagen er niet in om tegelijkertijd de lineaire geheugengroei te elimineren en streamingcontext effectief te beheren. Sparse attention vertrouwt nog steeds op een groeiende cache; verwijdering gooit verleden context onherroepelijk weg.

De kernuitdaging is om een voorgetraind AR-videodiffusiemodel om te zetten in een hybride architectuur die constant geheugen ( $O(1)$ ) en lineaire tijdschaalbaarheid bereikt, zonder de ruimtelijke fideliteit van intra-frame-interacties of de temporale consistentie van inter-frame-generatie te offeren.

2. Methodologie: ARL2

De auteurs stellen ARL2 (Attend Locally, Remember Linearly) voor, een hybride aandachtsmodule die zelfaandacht decomposeert in twee distincte takken om de heterogene aard van video-aandacht aan te pakken:

2.1 Hybride Decompositie van Aandacht

Het model splitst aandacht in:

Intra-Frame Tak (Attend Locally): Behoudt de oorspronkelijke bidirectionele softmax-aandacht binnen elk frame. Deze tak vangt fijnkorrelige ruimtelijke correlaties en lokale afhankelijkheden, die cruciaal zijn voor visuele fideliteit. Het hergebruikt de bevroren voorgetrainde projecties om ruimtelijke details te behouden zonder extra latentie, aangezien alle tokens in een frame gezamenlijk worden gedecodeerd.
Inter-Frame Tak (Remember Linearly): Vervangt de groeiende KV-cache door een vaste recurrente toestand ( $S$ $S$ ). Deze tak gebruikt Gated Delta Network (GDN)-mechanismen om langere temporale context te behouden.
- Adaptatie: Aangezien voorgetrainde $Q, K, V$ -projecties zijn geoptimaliseerd voor softmax, introduceert het model per-head gegroepeerde $1\times1$ -feature maps ( $\phi_q, \phi_k, \phi_v$ ) om representaties aan te passen aan het lineaire recurrente domein.
- Toestandswijziging: De toestand $S_N$ wordt bijgewerkt met een gegateerde regel: $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$ , waarbij $\alpha$ (vergetenpoort) en $\beta$ (leersnelheid) per-token projecties zijn die worden geleerd.
- Output: De inter-frame output wordt berekend als $O_{inter} = Q'_N S_{N-1}$ .

2.2 Beheer van Geheugentoestand

Om te voorkomen dat de recurrente toestand wordt aangetast door ruisachtige tussenstappen of dat intra-frame asymmetrie wordt geïntroduceerd, hanteert ARL2 twee specifieke mechanismen:

Toegang op Frame-niveau: Alle tokens binnen een enkel frame queryen dezelfde pre-update toestand ( $S_{N-1}$ ). De toestand wordt pas bijgewerkt nadat het volledige frame is verwerkt. Dit zorgt voor consistente cross-frame context voor alle tokens in het huidige frame.
Clean-Pass Updates: Tijdens de multi-step denoising-lus queryt het model de toestand maar werkt deze niet bij. De toestand wordt pas bijgewerkt nadat de laatste "schone" pass van het frame is geproduceerd. Dit voorkomt dat ruisachtige intermediaire stappen de langere geheugen vervuilen en reduceert de schrijfbewerkingen van één per denoising-stap naar één per frame.

2.3 Trainingspijplijn: Twee-staps Distillatie

In plaats van van scratch te trainen, stellen de auteurs een efficiënte twee-staps distillatiepijplijn voor om een voorgetraind Causal Forcing-model om te zetten:

Fase 1 (Per-Laag Distillatie & Selectie): Elke van de 30 aandachtlagen wordt onafhankelijk gedistilleerd. De auteurs introduceren een Attention Recovery Rate (ARR)-analyse om lagen te classificeren in "Hybrid-Recoverable" (HR) en "Hybrid-Sensitive" (HS).
- HR-dimensies: Subjectconsistentie, achtergrondconsistentie, bewegingsgladheid en esthetische kwaliteit (herstelbaar >85%).
- HS-dimensies: Beeldkwaliteit (gevoelig, slechts ~25% herstelbaar).
- Lageselectie: Een scoremechanisme ( $p_\ell$ ) prioriteert het vervangen van lagen die minder gevoelig zijn voor de HS-dimensie, zodat kritieke lagen voor beeldkwaliteit softmax-aandacht behouden.
Fase 2 (Gecombineerde Distillatie): Het hybride model (met geselecteerde lagen vervangen) wordt gezamenlijk end-to-end fijnge tuned tegen de bevroren leraar, waarbij het voorspelde snelheidsveld wordt gematcht om coherente werking over alle lagen te garanderen.

3. Belangrijkste Bijdragen

Eerste Hybride AR-Videodiffusie: Dit is het eerste werk dat een voorgetraind AR-videodiffusiemodel omzet in een hybride lineaire aandachtsarchitectuur, waardoor streaminggeneratie met constant geheugen mogelijk wordt zonder opnieuw te trainen van scratch.
Rolbewuste Decompositie: Het ontwerp respecteert expliciet de heterogeniteit van video-aandacht, waarbij bidirectionele softmax wordt behouden voor ruimtelijke details terwijl lineaire recurrentie wordt gebruikt voor temporale geheugen.
Stabiel Toestandbeheer: De introductie van toegang op frame-niveau en clean-pass updates lost de specifieke uitdagingen op van het toepassen van recurrente lineaire aandacht op iteratieve diffusie-denoising, waardoor contextasymmetrie en geheugenvervuiling worden voorkomen.
Efficiënte Distillatiestrategie: Een gevoeligheidsgestuurde, twee-staps distillatiepijplijn die prestatiedegradatie minimaliseert terwijl winst in efficiëntie wordt gemaximaliseerd.

4. Experimentele Resultaten

De auteurs hebben ARL2 geëvalueerd op de VBench-benchmark voor verschillende videolengtes (81 tot 921 frames) met een model van 1,3 miljard parameters.

Efficiëntie:
- Geheugen: Bereikte tot 54% geheugenreductie (bijv. 40,5 GB versus 87,9 GB voor 921 frames) en behield constant geheugengebruik ongeacht de videolengte, terwijl baselines faalden bij 1005 frames door OOM (Out Of Memory).
- Snelheid: Bereikte tot 2,26× versnelling in wandkloktijd bij 921 frames. De versnelling schaalt met de videolengte naarmate de KV-cache-overhead dominant wordt.
Kwaliteit:
- ARL2 (50% vervanging): Matchte of overtrof de softmax-leraar in algehele kwaliteit, met specifieke verbeteringen in Temporale Flikkering (+0,99) en Bewegingsgladheid (+1,35).
- ARL2 (75% vervanging): Behield concurrerende kwaliteit (binnen ~1% van de baseline voor Beeldkwaliteit) terwijl maximale winst in efficiëntie werd bereikt.
- Vergelijking: ARL2 (50%) presteerde beter dan andere gedistilleerde modellen en matchte het veel grotere MAGI-1 (4,5B) met 3,5× minder parameters.
Ablaties:
- Het verwijderen van de hybride tak of het gebruik van toegang op token-niveau degradeerde de prestaties, wat de noodzaak bevestigt van beide takken en het delen van toestand op frame-niveau.
- Gating per head bood de beste afweging tussen prestaties en parameter-efficiëntie.

5. Betekenis en Claims

Het artikel claimt dat ARL2 fundamenteel het schaalbaarheidsprobleem van autoregressieve videodiffusie aanpakt. Door ruimtelijke en temporale modellering te ontkoppelen, maakt het langdurige videosynthese mogelijk die eerder onhaalbaar was vanwege geheugenbeperkingen. De auteurs benadrukken dat hun aanpak streamingvideogeneratie met constant geheugen mogelijk maakt, waardoor het geschikt is voor interactieve en real-time toepassingen.

Het werk toont aan dat het mogelijk is om de hoogwaardige ruimtelijke modellering van softmax-aandacht te behouden terwijl het geheugen-intensieve temporale mechanisme wordt vervangen door een lineaire, recurrente toestand. De voorgestelde twee-staps distillatie bewijst dat dergelijke architecturale wijzigingen efficiënt kunnen worden overgebracht naar voorgetrainde modellen met minimale trainbare parameters (<2%) en rekentijd (~156 H100 GPU-uren), wat een praktische weg biedt naar schaalbare videogeneratie.