LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een video wilt maken met een kunstmatige intelligentie. Vroeger was dit als het bouwen van een enorme, complexe stad: elke nieuwe straat (elk frame van de video) moest handmatig worden verbonden met elke andere straat. Dit maakte het proces extreem traag en duur, alsof je een hele stad in één dag moest bouwen door elke weg met elke andere weg te verbinden. Dit is wat er gebeurt bij de huidige "video-diffusiemodellen": ze zijn fantastisch in kwaliteit, maar ze zijn traag omdat ze een rekenmethode gebruiken die exponentieel langzamer wordt naarmate de video langer wordt.

LINVIDEO is een nieuwe, slimme manier om dit probleem op te lossen zonder de kwaliteit te verliezen. Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Alles-verbindt-Alles" Methode

Stel je voor dat je een regisseur bent die een film maakt. In de huidige modellen moet de regisseur voor elk shot (elk moment in de video) kijken naar elk ander shot om te beslissen wat er moet gebeuren. Als je een korte video maakt, is dat nog te doen. Maar bij een lange video met duizenden shots, moet de regisseur miljoenen combinaties controleren. Het is alsof je een telefoonboek moet lezen om te weten wie je moet bellen voor een klein gesprek. Het kost enorm veel tijd en energie.

2. De Oplossing: LINVIDEO (De Slimme Regisseur)

LINVIDEO is een nieuwe techniek die bestaande, hoogwaardige videomodellen "opfrist" zonder dat je ze opnieuw hoeft te leren (een proces dat normaal maanden duurt en enorme rekenkracht vereist). Het doet dit door twee slimme trucjes te gebruiken:

Truc 1: De "Selectieve Verwisseling" (Niet alles vervangen)

Sommige delen van de regisseur (de lagen in het computermodel) zijn heel goed in het begrijpen van complexe details, terwijl andere delen gewoon routine werk doen.

De oude aanpak: Probeer de hele regisseur te vervangen door iemand die sneller is maar minder slim. Dat werkt niet; de film wordt slecht.
De LINVIDEO-aanpak: De onderzoekers hebben ontdekt dat ze alleen de routine-delen van de regisseur kunnen vervangen door een snellere, slimmere versie die niet naar alles tegelijk hoeft te kijken, maar slimme shortcuts gebruikt.
De Analogie: Stel je voor dat je een orkest hebt. De violisten (de diepe lagen) moeten precies luisteren naar elkaar om harmonie te creëren. Maar de percussie (de lagere lagen) volgt een vast ritme. LINVIDEO zegt: "Laat de violisten hun complexe muziek spelen, maar vervang de percussie door een automatische drumcomputer die net zo goed klinkt maar veel sneller is." Ze kiezen automatisch welke instrumenten (lagen) vervangen kunnen worden zonder dat het geluid (de video) slechter wordt.

Truc 2: De "Altijd-Mee-Draaiende" Training (Geen nieuwe film nodig)

Normaal gesproken moet je een model opnieuw trainen met duizenden uren aan films om het sneller te maken. Dat is alsof je een acteur moet laten oefenen met een nieuw script terwijl je duizenden nieuwe films moet draaien.

De LINVIDEO-aanpak: Ze gebruiken de film die het model al aan het maken is als oefenmateriaal. Ze laten het snellere model kijken naar wat het langzamere model doet op elk moment van het proces, niet alleen aan het einde.
De Analogie: Stel je voor dat je een leerling wilt leren fietsen. De oude methode was: "Kijk naar de meester op het einde van de rit en probeer dat na te bootsen." De LINVIDEO-methode is: "Kijk naar de meester op elk moment van de rit. Als hij links afslaat, draai jij ook links. Als hij remt, rem jij ook." Zo leert de leerling (het snelle model) precies hoe de meester (het originele model) denkt, zonder dat ze ooit een nieuwe fietsles (nieuwe data) nodig hebben.

Het Resultaat: Sneller, maar net zo mooi

Door deze twee technieken te combineren, kan LINVIDEO:

De video 1,5 tot 1,7 keer sneller maken zonder dat je merkt dat er iets anders is.
De video zelfs 16 tot 20 keer sneller maken als je het model extra "opstelt" voor zeer snelle generatie (zoals een versnelling voor een raceauto), met slechts een heel klein beetje kwaliteitsverlies.

Samenvattend

LINVIDEO is als het geven van een turbo aan een luxe auto zonder de motor te vervangen. Ze kijken precies welke onderdelen je kunt upgraden naar een snellere versie en trainen die onderdelen door naar te kijken hoe de originele auto rijdt, in plaats van de hele auto opnieuw te bouwen. Het resultaat? Je krijgt dezelfde luxe rit, maar je komt veel sneller op je bestemming.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Video-diffusiemodellen (DM's) hebben hoge kwaliteit videosynthese mogelijk gemaakt, maar ze lijden onder een fundamenteel schaalprobleem. De zelf-attention (self-attention) mechanismen in deze modellen hebben een rekencomplexiteit van $O(n^2)$ , waarbij $n$ de sequentielengte is (aantal tokens, inclusief tijd- en ruimtelijke dimensies). Voor het genereren van lange video's (bijv. 10 seconden) kan dit leiden tot duizenden tokens, waardoor de inferentiekosten prohibitief hoog worden.

Hoewel lineaire attention (complexiteit $O(n)$ ) een efficiënter alternatief biedt, is het vervangen van alle kwadratische attention-lagen door lineaire lagen in een reeds getraind model zeer moeilijk. Eerdere pogingen vereisten kostbare pre-training van het hele model, omdat lineaire attention vaak onvoldoende expressiviteit heeft om de complexe spatiotemporele dynamiek van video's te modelleren. Bestaande post-training methoden (na pre-training) falen vaak omdat ze leiden tot kwaliteitsverlies of inefficiënt zijn.

2. Methodologie: LINVIDEO

Het paper introduceert LINVIDEO, een data-vrij post-training framework dat een vooraf getraind video-diffusiemodel selectief en efficiënt omzet naar een model met lineaire attention, zonder de noodzaak van nieuwe trainingsdata.

De aanpak bestaat uit twee kerncomponenten:

A. Selectieve Transfer (Selective Transfer)

In plaats van handmatig of heuristisch te kiezen welke lagen vervangen moeten worden, stelt LINVIDEO dit probleem op als een binair classificatieprobleem.

Learnable Scores: Voor elke attention-laag wordt een leerbare parameter $r$ geïntroduceerd. Deze parameter bepaalt de mix tussen kwadratische attention (softmax) en lineaire attention.
Progressieve Conversie: Tijdens het trainingstraject wordt $r$ geleidelijk naar 0 of 1 gedwongen. Als $r \approx 1$ blijft de laag kwadratisch; als $r \approx 0$ wordt de laag lineair.
Verliesfuncties:
- Constraint Loss ( $L_{con}$ ): Zorgt ervoor dat het totale aantal vervangen lagen overeenkomt met een vooraf bepaald doel (target).
- Regularisatie ( $L_{reg}$ ): Dwingt de scores $r$ naar de waarden 0 of 1 (in plaats van rond de 0.5 te fluctueren) om afrondingsfouten tijdens inferentie te minimaliseren.
Resultaat: Het model selecteert automatisch welke lagen het minst gevoelig zijn voor vervanging, waardoor de prestaties behouden blijven.

B. Anytime Distribution Matching (ADM)

Om het model te optimaliseren tijdens dit conversieproces, introduceert LINVIDEO een nieuw trainingsdoel: Anytime Distribution Matching.

Het probleem met bestaande methoden: Eenvoudige output-matching (MSE) veroorzaakt tijdsartefacten (flikkering). Bestaande distillatiemethoden matchen alleen de verdeling van het uiteindelijke resultaat, wat de tussenliggende tijdstappen (timesteps) negeert en leidt tot prestatieverlies.
De ADM-oplossing: In plaats van alleen het eindresultaat te matchen, matcht ADM de verdeling van de samples op elk willekeurig tijdstip ( $t \in [0, 1]$ ) langs het bemonsteringstraject.
Efficiëntie: Het schat de scorefunctie (score function) niet met een extra model, maar gebruikt het model dat op dat moment wordt getraind zelf. Dit elimineert de noodzaak voor zware, extra training en verbetert de stabiliteit.

3. Belangrijkste Bijdragen

Eerste Data-Vrije Post-Training Framework: LINVIDEO is het eerste framework dat kwadratische attention in een vooraf getraind video-DM vervangt door lineaire attention zonder gebruik te maken van externe, hoogwaardige videodatasets.
Automatische Laagselectie: De "Selective Transfer" methode bepaalt automatisch en progressief welke lagen vervangen kunnen worden met minimale kwaliteitsdaling, in plaats van handmatige keuzes.
Anytime Distribution Matching (ADM): Een nieuwe objectieve functie die de verdeling van samples over het hele bemonsteringstraject matcht, wat leidt tot snellere training en betere kwaliteit dan eerdere distillatie-methoden.
Record Snelheid: Het is de eerste toepassing van "few-step distillation" (bijv. 4 stappen) op een video-DM met lineaire attention, wat leidt tot extreme versnelling.

4. Resultaten

De auteurs hebben LINVIDEO getest op de Wan 1.3B en Wan 14B modellen (rectified flow text-to-video modellen).

Snelheidswinst:
- LINVIDEO alleen (50 stappen) bereikt een 1.43x tot 1.71x versnelling ten opzichte van de originele modellen, met behoud van beeldkwaliteit.
- In combinatie met 4-staps distillatie (DMD2) wordt een versnelling van 15.9x tot 20.9x bereikt.
Kwaliteit:
- Op de VBench-benchmark (8 dimensies) presteert LINVIDEO beter dan bestaande sparse-attention methoden (zoals SVG, XAttention) en behoudt het de kwaliteit van de originele dense attention (FlashAttention2).
- Zelfs na 4-staps distillatie is de daling in visuele kwaliteit minimaal (bijv. <1% daling op sommige metrics voor het 1.3B model).
Ablatie Studies:
- Het tonen dat handmatige of heuristische laagselectie aanzienlijk slechter presteert dan de leerbare "selective transfer".
- Het bewijzen dat ADM superieur is aan standaard MSE-verlies of alleen eind-verdeling matching.

5. Betekenis en Impact

LINVIDEO opent de deur voor efficiënte, schaalbare video-generatie op consumerhardware of in cloud-omgevingen met lagere kosten.

Toegang: Het maakt het mogelijk om geavanceerde video-modellen (zoals Sora-achtige systemen) lokaal of in real-time te draaien door de $O(n^2)$ bottleneck te doorbreken zonder de kwaliteit van het model te offeren.
Flexibiliteit: Omdat het een post-training methode is, kan het worden toegepast op bestaande state-of-the-art modellen zonder dat deze opnieuw getraind moeten worden vanaf nul.
Toekomst: De methode is orthogonaal tot andere optimalisaties (zoals kwantisatie of sparsiteit), wat betekent dat LINVIDEO in de toekomst kan worden gecombineerd met andere technieken voor nog verdere prestatieverbeteringen.

Kortom, LINVIDEO lost het dilemma op tussen rekenkracht en kwaliteit bij video-generatie door slimme, datavrije post-training technieken toe te passen die de complexiteit van $O(n^2)$ reduceren naar $O(n)$ .