💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad is een subkwadratisch attention-distillatieframework dat vooraf getrainde Video Diffusion Transformers comprimeert om een $\mathcal{O}(n\sqrt{n})$ complexiteit te bereiken, waarbij het video-generatiekwaliteit op kwadratisch niveau levert met aanzienlijk verminderde computationele kosten en snellere inferentiesnelheden.

Oorspronkelijke auteurs: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het creëren van bewegende beelden met kunstmatige intelligentie is een van de meest opwindende grenzen geworden in de moderne computerwetenschap. Deze systemen, bekend als video-diffusiemodellen, werken door te beginnen met een chaotische wolk van statische ruis en deze vervolgens geleidelijk te verfijnen tot een coherente scène, frame voor frame, op basis van een tekstbeschrijving. Om te begrijpen hoe ze dit doen, stel je een enorm raster van kleine digitale pixels voor, waarbij elke pixel een token is die informatie draagt over kleur, vorm en tijd. De motor die deze modellen aandrijft, is een mechanisme genaamd zelf-attentie (self-attention). Dit mechanisme stelt elk afzonderlijk token in de video in staat om naar elk ander token te kijken om te beslissen hoe ze met elkaar in relatie staan. Het is deze constante, alziende verbinding die de video zijn levensechte kwaliteit geeft en ervoor zorgt dat de beweging van een personage in de eerste seconde overeenkomt met hun verschijning in de laatste seconde. Deze kracht gaat echter gepaard met een hoge prijs. Naarmate de video langer of gedetailleerder wordt, explodeert het aantal verbindingen dat het systeem moet berekenen, waardoor het proces ongelooflijk traag en duur wordt, wat makers vaak beperkt tot slechts enkele seconden aan filmmateriaal.

Onderzoekers bij Qualcomm AI Research hebben een nieuwe aanpak ontwikkeld genaamd SQuad om dit probleem op te lossen zonder de kwaliteit van de video op te offeren. In plaats van te proberen de complexe verbindingen te vereenvoudigen of de kern van het mechanisme te vervangen door een goedkoper, zwakker alternatief, vonden zij een manier om de manier waarop het systeem naar de gegevens kijkt te reorganiseren. Bij de standaardmethode moet elk token contact opnemen met elk ander token, een proces dat onbeheersbaar wordt naarmate de omvang van de video toeneemt. Het team realiseerde zich dat bij het genereren van video de meeste van deze verbindingen eigenlijk heel zwak zijn; slechts een kleine, kritieke groep tokens hoeft op elk gegeven moment echt nauwlettend op elkaar te letten. Gebaseerd op deze observatie ontwierpen zij een tweestaps-proces. Eerst groepeert het systeem nabijgelegen tokens in kleine vensters en laat deze lokaal informatie mengen. Vervolgens volgt een tweede ronde waarbij deze vensters met elkaar communiceren over de gehele video heen. Deze structuur stelt het model in staat om een volledig beeld van de scène te behouden, terwijl het aantal benodigde berekeningen drastisch wordt verminderd.

De resultaten van het toepassen van deze methode op een groot videogeneratiemodel genaamd Wan 2.2 zijn opmerkelijk. De onderzoekers namen een krachtig, vooraf getraind model en leerden het dit nieuwe, gestroomlijnde attentiemethode te gebruiken via een proces van distillatie, waarbij het nieuwe systeem leert het gedrag van het origineel na te bootsen. De uitkomst is een model dat video's produceert met een bijna identieke visuele kwaliteit als het origineel, waarbij het bijna dezelfde scores haalt op strikte kwaliteitsmetingen, maar met een enorme reductie in kosten. Waar het originele model 100 stappen nodig had om een video te genereren, bereikt de nieuwe versie vergelijkbare resultaten in slechts zes stappen. Wat betreft snelheid daalde de tijd die nodig is om een enkele stap van de videogeneratie te verwerken van ongeveer 47 milliseconden naar slechts 4 milliseconden. De hoeveelheid rekenkracht die nodig is voor deze stappen daalde met een factor van bijna 67.

Deze efficiëntiewinst is niet alleen een theoretische verbetering; het vertaalt zich direct naar de ervaring van de gebruiker. Bij tests op een standaard taak voor het genereren van hoogwaardige video, genereerde de nieuwe methode een video in ongeveer de helft van de totale tijd van het oorspronkelijke systeem, zelfs wanneer rekening wordt gehouden met de gehele generatiepipeline. De onderzoekers vergeleken hun methode met andere pogingen om de videogeneratie te versnellen, waarvan sommige vertrouwen op complexe, hybride architecturen die miljoenen extra parameters aan het model toevoegen. In tegen af contrast vereist de SQuad-aanpak geen extra geheugen of gespecialiseerde hardware en past het naadloos in bestaande systemen. Gebruikersstudies bevestigden dat mensen niet betrouwbaar het verschil konden zien tussen video's gemaakt door het originele, zware model en die van de nieuwe, efficiënte versie. Sterker nog, in een directe vergelijking gaf een aanzienlijk deel van de menselijke kijkers zelfs de voorkeur aan de video's die door de nieuwe methode werden gegenereerd.

De betekenis van dit werk ligt in de balans. Eerdere pogingen om deze modellen sneller te maken, gingen vaak gepaard met het vervangen van het krachtige aandachtsmethode door eenvoudigere, lineaire benaderingen, wat regelmatig resulteerde in een merkbare daling van de videokwaliteit. De SQuad-methode vermijdt deze valkuil door de kern van de wiskundige operatie intact te houden, maar de volgorde waarin deze wordt toegepast te veranderen. Het bewijst dat de volledige, kwadratische complexiteit van het controleren van elk token tegenover elk ander token niet strikt noodzakelijk is om resultaten met een hoge getrouwheid te bereiken. Door de informatiestroom zorgvuldig te structureren, hebben de onderzoekers aangetoond dat het mogelijk is om lange, hoogwaardige video's te genereren met een fractie van de computationele kosten. Dit opent de deur naar het genereren van langere, complexere scènes op standaard hardware, waarmee het veld dichter bij het doel komt om onbeperkte, hoogwaardige video-inhoud te creëren zonder de huidige knelpunten van tijd en energie.

Technische Samenvatting: SQuad: Sub-kwadratische Attention Distillatie voor Efficiënte Videogeneratie

Probleemstelling

Videogeneratie met Diffusion Transformers (DiTs) wordt momenteel beperkt door de computationele kosten van het Softmax Self-Attention mechanisme. In standaard DiTs schaalt de attention-complexiteit kwadratisch, $O(n^2)$ , met het aantal latente tokens $n$ . Voor videogeneratie, waarbij $n$ een spatio-temporeel volume vertegenwoordigt (vaak reikend tot tienduizenden tokens), domineert deze kwadratische term zowel de runtime als het geheugen, wat de haalbare resolutie, duur en doorvoer beperkt.

Bestaande oplossingen proberen dit te verzachten door Softmax Self-Attention te vervangen door lineaire $O(n)$ of low-rank $O(nk)$ benaderingen, of door gebruik te maken van sparse masks en hybride architecturen. Deze benaderingen lijden echter vaak aan een "hardnekkige kwaliteitskloof" omdat ze de niet-lineariteit en de scherpe, input-afhankelijke selectiviteit van de volledige Softmax opofferen. Bovendien introduceren hybride ontwerpen die dure kwadratische blokken afwisselen met efficiënte blokken een architecturale complexiteit en behouden ze vaak een afhankelijkheid van precies die kwadratische operaties die ze trachten te verminderen.

Methodologie: SQuad

De auteurs stellen SQuad (Sub-Quadratic Attention Distillation) voor, een framework dat de attention-complexiteit vermindert naar $O(n\sqrt{n})$ terwijl de genuante Softmax-operatie behouden blijft. In plaats van een nieuwe Video DiT vanaf nul te trainen, distilleert SQuad een vooraf getrainde full-softmax DiT (specifiek de Wan 2.2 5B en Wan 2.1 1.3B modellen) naar een aangepaste architectuur.

1. SQuad-Attention Operator

De kerninnovatie is een tweefasige attention-mechanisme dat de volledige $O(n^2)$ attention factoriseert in een Local Pass en een Global Pass:

Local Pass ( $Attn_L$ ): Tokens mengen binnen vaste vensters van grootte $w$ .
Global Pass ( $Attn_G$ ): Tokens op dezelfde relatieve positie binnen elk venster mengen over alle vensters heen.
Compositie: De output van de lokale pass wordt ingevoerd in de value-stream van de globale pass. Deze nesting zorgt ervoor dat de globale pass kan opereren op tokens die al lokaal zijn gemengd, waardoor een volledig receptief veld wordt hersteld.
Complexiteit: Door de venstergrootte $w = \sqrt{n}$ in te stellen, bereikt de methode een complexiteit van $O(n\sqrt{n})$ . Cruciaal is dat beide passes de standaard Softmax gebruiken, wat de expressiviteit behoudt die verloren gaat bij lineaire benaderingen.

2. Distillatiestrategie

Omdat het vervangen van de attention-operator de functie verandert die door het netwerk wordt berekend, zijn de vooraf getrainde gewichten niet langer optimaal. De auteurs hanteren een tweefasig distillatieproces:

Flow-Matching Supervised Fine-Tuning (SFT): Het netwerk wordt gefinetuned op videodata (VIPE 1M dataset) om de gewichten opnieuw te positioneren onder de nieuwe SQuad-Attention architectuur.
Distribution Matching Distillation (DMD2): Een verbeterde step-distillatiemethode wordt toegepast om de generatiekwaliteit te herstellen die verloren is gegaan tijdens de architecturale wijziging en om het aantal Neural Functional Evaluations (NFEs) die nodig zijn voor sampling te verminderen.

Belangrijkste Bijdragen

Sub-kwadratische Complexiteit met Volledige Softmax: SQuad bereikt een $O(n\sqrt{n})$ complexiteit zonder de Softmax-operatie op te geven, waarmee de kwaliteitskloof wordt aangepakt die inherent is aan lineaire of low-rank benaderingen.
Distillatieframework: De paper demonstreert dat een vooraf getrainde kwadratische DiT effectief in een sub-kwadratische architectuur kan worden geplaatst via een tweefasig distillatieproces (SFT + DMD2), waardoor de prohibitieve kosten van training vanaf nul worden vermeden.
Hardware-efficiëntie: De methode is ontworpen om hardware-vriendelijk te zijn; het vereist geen gespecialiseerde gefuseerde kernels of on-device optimalisaties, maar vertrouwt op standaard tensor-reshaping en standaard attention-blokken.

Experimentele Resultaten

De methode werd geëvalueerd op de Wan 2.2 5B en Wan 2.1 1.3B text-to-video modellen.

Behoud van Kwaliteit: Op Wan 2.2 5B bereikt SQuad een VBench Total score van 83.20, wat effectief overeenkomt met de originele full-softmax baseline (83.08). In gebruikersvoorkeurstudies gaf 35% van de gebruikers de voorkeur aan SQuad-generaties boven de baseline, terwijl 31% ze als ononderscheidbaar beschouwde.
Efficiëntiewinst:
- Latency: SQuad vermindert de per-block attention latency met ongeveer 11× (van 47.10ms naar 4.27ms) en de end-to-end DiT latency met 2× (van 667ms naar 314ms in gecompileerde modus).
- Compute: Attention TFLOPs zijn verminderd met ~67× (van 4.205 naar 0.063).
- Sampling Snelheid: Het gedistilleerde model genereert hoogwaardige video's in 6 NFEs, vergeleken met de standaard 100 NFEs voor het originele model.
Vergelijking: SQuad presteert beter dan andere efficiënte attention-methoden (zoals VSA, Jenga, Radial Attention en Attention Surgery) op het gebied van latency en TFLOPs, terwijl het een vergelijkbare of superieure kwaliteit behoudt zonder extra leerbare parameters te vereisen (in tegen tegenstelling tot methoden die 72M–283M extra gewichten toevoegen).

Betekenis en Claims

De paper claimt dat SQuad de hypothese valideert dat de volledige $O(n^2)$ complexiteit van token-naar-token communicatie niet noodzakelijk is voor hoogwaardige videogeneratie. Door een "middenweg" voor te stellen die de expressiviteit van de Softmax behoudt via een gestructureerde, sub-kwadratische factorisatie, biedt SQuad een praktisch pad voor het genereren van langere, hogere resolutie video's op huidige hardware.

De auteurs positioneren SQuad niet alleen als een doelwit voor attention-distillatie van bestaande modellen, maar ook als een kandidaat voor attention-mechanismen bij het pretrainen van grote modellen vanaf nul. Ze erkennen dat hun huidige strategie de koppeling van attention-distillatie aan step-distillatie (DMD2) gebruikt en suggereren dat toekomstig werk de aandacht-wijziging van de sampling-snelheid kan isoleren of het componeren van meer dan twee passes kan verkennen om verder de diepte tegenover efficiëntie af te wegen.