💻 computer science

Veda: Scalable Video Diffusion via Distilled Sparse Attention

Veda is een gedistilleerd framework voor sparse attention dat schaalbare video-diffusie versnelt door tegelselectie af te stemmen op de geometrie van volledige attention via statistiekbewuste scoring en hoofd-bewust tegelen, waarmee aanzienlijke snelheidswinst wordt behaald zonder de generatiekwaliteit te compromitteren.

Oorspronkelijke auteurs: Shihao Han, Hao Yang, Xinting Hu, Xiaofeng Mei, Yi Jiang, Xiaojuan Qi

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shihao Han, Hao Yang, Xinting Hu, Xiaofeng Mei, Yi Jiang, Xiaojuan Qi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, ultra-hoge-definitie muurschildering te schilderen die 10 seconden duurt. Om dit te doen, heb je een team van 12 miljard kleine kunstenaars (de "tokens") die met elkaar moeten praten om ervoor te zorgen dat de kleuren perfect mengen en de beweging er vloeiend uitziet.

In de huidige staat van de kunst moet elke enkele kunstenaar stoppen en een geheim fluisteren naar elke andere kunstenaar om uit te vinden wat ze als volgende moeten schilderen. Dit heet "Full Attention" (Volledige Aandacht). Hoewel dit prachtige resultaten oplevert, is het ongelooflijk traag en duur. Als je de grootte van de muurschildering verdubbelt, verdubbelt de tijd die nodig is voor coördinatie niet alleen; het verviervoudigt. Het is alsof je een feest probeert te organiseren waarbij iedereen met elkaar moet schudden voordat de muziek begint.

Het probleem met "afkorten"
Onderzoekers hebben geprobeerd dit te versnellen door de kunstenaars te vertellen dat ze alleen met een paar buren moeten praten (Sparse Attention). Echter, eerdere methoden waren als een onhandige manager die de kunstenaars simpelweg vertelde: "Praat alleen met de mensen in je directe rij." Dit zorgde ervoor dat de muurschildering vreemd eruitzag: het water in het schilderij zou vreemd rimpelen, gezichten zouden vervormen en de video zou flikkeren. De kunstenaars misten de belangrijke gesprekken die ze nodig hadden om het beeld coherent te houden.

De oplossing: Veda (De slimme voorman)
Het paper introduceert Veda, een nieuw systeem dat fungeert als een briljante, hyper-observante voorman. In plaats van te raden wie met wie moet praten, gebruikt Veda een "distillatie"-truc.

Zo werkt het, met een eenvoudige analogie:

De "Orakel"-kaart: Stel je voor dat de trage, perfecte "Full Attention"-methode een meester-architect is die een complete kaart tekent van elk gesprek dat zou moeten plaatsvinden. Deze kaart is perfect, maar het duurt eeuwen om te tekenen.
De slimme student: Veda traint een lichtgewicht "student" (een kleine, snelle AI) om naar de kaart van de meester-architect te kijken en het patroon te leren van wie met wie praat.
De "Tripool"-truc: Eerdere studenten probeerden de kaart samen te vatten door een "gemiddelde" van de gesprekken te nemen. Maar in een video is het belangrijkste vaak een enkele, luide schreeuw (een pieksignaal), niet het gemiddelde gepraat. De student van Veda is slimmer: het kijkt naar het maximum, minimum en gemiddelde van de gesprekken. Dit zorgt ervoor dat het de kritieke "luide" momenten niet mist die de video stabiel houden.
Hoofd-bewust tegelwerk: De video heeft vele verschillende "hoofden" (gespecialiseerde teams). Sommige teams geven om hoe dingen zich in de tijd bewegen (temporaal), terwijl anderen geven om hoe dingen er in de ruimte uitzien (spatiaal). Veda beseft dat een "één-maat-past-voor-iedereen"-regel niet werkt. Het geeft elk team een op maat gemaakte puzzelstuk (tegeling) dat past bij hun specifieke taak, zodat ze geen belangrijke details missen.

Het resultaat: Snelheid zonder wazigheid
Zodra Veda de kaart heeft geleerd, vertelt het de kunstenaars: "Jullie hoeven alleen met deze specifieke 5% van de mensen te praten. Negeer de rest."

Omdat Veda precies weet wie ze moeten negeren zonder de belangrijke verbindingen te verliezen, wordt de video-generatie ongelooflijk snel:

Snelheid: Het maakt het genereren van een high-definition video van 10 seconden 5,1 keer sneller.
Kwaliteit: In tegenstelling tot eerdere methoden die de video glitchy of vervormd maakten, zien de video's van Veda er net zo goed uit als de trage, perfecte versie.
Schaalbaarheid: Hoe langer en gedetailleerder de video wordt, hoe meer Veda schittert. Het verwerkt het extra werk bijna lineair, terwijl de oude methoden vast zouden komen te zitten in file.

Samenvattend
Veda is als het inhuren van een super-intelligente voorman die het perfecte plan bestudeert, precies leert welke gesprekken kritiek zijn, en vervolgens het team dirigeert om het saaie kleine praatje over te slaan. Dit stelt hen in staat om in een fractie van de tijd een enorme, hoogwaardige muurschildering te schilderen, zonder dat het beeld uit elkaar valt.

Technische Samenvatting: Veda - Schaalbare Video-diffusie via Gedistilleerde Sparse Attention

1. Probleemstelling

Het schalen van Diffusion Transformers (DiTs) voor het genereren van video's met hoge resolutie en lange duur wordt momenteel geblokkeerd door de kwadratische computatie- en geheugencomplexiteit ( $O(N^2)$ ) van self-attention-mechanismen, in verhouding tot de spatiotemporale token-sequentielengte. Hoewel sparse attention een theoretisch pad biedt om dit te verlichten, staan bestaande methoden voor een kritieke afweging:

Statische Patronen: Methoden die vooraf gedefinieerde sparse patronen gebruiken (bijvoorbeeld schuifvensters), missen aanpassingsvermogen aan de dynamische, kop-specifieke attention-structuren die door DiTs worden geleerd.
Dynamische Selectie: Methoden die dynamische maskers leren (bijvoorbeeld VSA, VMOBA) lijden vaak aan onnauwkeurige schatting. Ze vertrouwen op impliciete supervisie via het diffusiedoel en grove statistieken (bijvoorbeeld gemiddelde pooling), wat leidt tot een misalignering met de ware geometrie van volledige attention.
De Kernkwestie: Empirisch bewijs toont aan dat bij hoge sparsiteitsniveaus (≥90%) deze bestaande benaderingen de generatiekwaliteit doen verslechteren, wat resulteert in gestructureerde artefacten zoals ruimtelijke vervorming, "watergolf"-patronen en temporale flikkering. Het artikel stelt dat de verslechtering niet wordt veroorzaakt door sparsiteit op zich, maar door het falen van sparse maskers om in overeenstemming te zijn met de tegel-voor-tegel-geometrie van volledige attention.

2. Methodologie: Veda Framework

Veda is een gedistilleerd sparse attention-framework dat is ontworpen om de tegel-voor-tegel-structuur en rangschikking van volledige attention te behouden, zelfs onder extreme sparsiteit. Het behandelt tegelselectie als een expliciet reconstructieprobleem in plaats van een impliciet bijproduct van het diffusiedoel.

2.1. Gedistilleerde Tegel Scorebepaling

In plaats van te vertrouwen op de diffusieverliesfunctie om sparsiteit te vormen, maakt Veda gebruik van een lichtgewicht schatter om expliciet attention-scores op tegelniveau te leren van een backbone met volledige attention.

Doelconstructie: Een referentie "Oracle"-masker wordt geconstrueerd door max-pooling toe te passen op de volledige attention-matrix over query-key tegelregio's. Max-pooling wordt verkozen boven middeling om opvallende, hoogfrequente signaalpieken te behouden die vaak worden verdund door achtergrondruis.
Statistiek-bewuste Schatter: Om deze scores te reconstrueren, gebruikt Veda een TripPool-descriptor voor elke tegel, waarbij statistieken voor Gemiddelde, Maximum en Minimum worden samengevoegd. Dit verrijkt de tegelrepresentatie verder dan eenvoudige gemiddelde pooling.
Kop-specifieke Projecties: De schatter maakt gebruik van afzonderlijke MLP-projecties voor elke attention-kop om heterogene afhankelijkheidspatronen te vangen.
Optimalisatie: Het model wordt getraind met een rij-voor-rij KL-divergentie distillatie-doel ( $L_{distill}$ ) om de voorspelde tegel-scoreverdeling af te stemmen op de referentie met volledige attention. Cruciaal wordt een stop-gradient operatie toegepast op de backbone-features die de schatter voeden. Dit ontkoppelt maskerlearning van featurelearning, waardoor de verstoring van het voorgeöorde generatieve manifold wordt voorkomen.

2.2. Kop-bewuste Tegelindeling

Omdat attention-koppen aanzienlijke heterogeniteit vertonen in spatiotemporale afhankelijkheden (sommigen vangen lokale ruimtelijke interacties, anderen lange-afstand temporale afhankelijkheden), laat Veda uniforme tegelindelingsstrategieën varen.

Configuratiezoektocht: Voor elke laag en kop zoekt Veda naar een optimale tegelindelingsconfiguratie $\pi_{l,h} = (p_t, p_h, p_w)$ die de hardware-tegelgrootte factoriseert.
Offline Selectie: De optimale configuratie wordt offline geselecteerd op een kalibratieset door de benaderingsfout tussen de output van volledige attention en de output van sparse attention te minimaliseren, zodat de tegelindelingsstrategie aansluit bij de specifieke structurele behoeften van elke kop.

2.3. Hardware-efficiënte Implementatie

Om theoretische FLOP-reducties om te zetten in praktische snelheidswinsten in wandklok-tijd, implementeert Veda een aangepaste tile-skipping sparse attention-kernel met behulp van de ThunderKittens DSL.

Asynchrone Executie: De kernel maakt gebruik van Tensor Memory Access (TMA) en Warp Specialization van NVIDIA Hopper. Het ontkoppelt dataverplaatsing van berekening met een producent-consument-paradigma, waarbij producent-warps niet-aaneengesloten key/value-tegels ophalen in gedeeld geheugen terwijl consument-warps tensor core-operaties uitvoeren.
Efficiëntie: Dit ontwerp verbergt geheugenlatentie achter dichte matrixwiskunde, waardoor ongeveer 80% van het Memory FLOPs Utilization (MFU) van FlashAttention-3 wordt bereikt.
Trainings-efficiëntie: Een gespecialiseerde TileLang-kernel genereert ground-truth warmtekaarten in twee passes, wat toelaatbare sparse supervisie (willekeurige subsets van query-tegels) mogelijk maakt om de trainingskosten te verlagen zonder de prestaties te compromitteren.

3. Belangrijkste Bijdragen

Empirisch Inzicht: Het artikel toont aan dat de generatiekwaliteit in sparse video-diffusie wordt bepaald door de alignering van het sparse masker met de tegel-voor-tegel-geometrie van volledige attention, en niet door de sparsiteitsratio zelf.
Gedistilleerde Sparse Attention: Veda introduceert een framework dat tegelselectie formuleert als een expliciet reconstructieprobleem, waarbij een statistiek-bewuste schatter en kop-specifieke projecties worden gebruikt om de schattingsfout te minimaliseren.
Kop-bewuste Tegelindeling: Een nieuwe strategie die verschillende spatiotemporale tegelfactorisaties toewijst aan verschillende attention-koppen, waardoor de heterogeniteit van afhankelijkheidspatronen in Video DiTs wordt aangepakt.
Hardware-geoptimaliseerde Kernel: Een aangepaste tile-skipping kernel die een bijna lineaire schaling met sequentielengte en hoge hardwarebenutting bereikt, waardoor algoritmische sparsiteit wordt omgezet in tastbare latentiewinsten.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op grote schaal video-diffusiemodellen, waaronder Waver-T2V-12B en Wan2.1-T2V-14B, over resoluties tot 720P en sequentielengtes tot 241 frames.

Snelheidswinst: Op Waver-T2V-12B (720P, 241 frames) bereikt Veda een 5,1× end-to-end snelheidswinst (verlaging van de sample-tijd van 19,4 naar 3,8 minuten) en een 10,5× snelheidswinst voor self-attention. De attention-overhead wordt teruggebracht van 92% naar 50%.
Schalbaarheid: Snelheidswinsten nemen toe met de sequentielengte. Bij 245K tokens schaalt Veda bijna lineair (309,1ms) in vergelijking met de kwadratische groei van Full Attention (1576,5ms), wat een snelheidswinst van 5,1× oplevert.
Behoud van Kwaliteit:
- Menselijke Evaluatie: Op Waver-bench 1.0 bereikt Veda bij 90% sparsiteit perceptuele gelijkwaardigheid met Full Attention. Bij 95% sparsiteit presteert het aanzienlijk beter dan de state-of-the-art VSA-methode (zelfs wanneer VSA werkt bij lagere sparsiteit).
- Artefactreductie: In tegenstelling tot baselines die lijden aan watergolf-patronen en temporale flikkering bij hoge sparsiteit, behoudt Veda hoge visuele fideliteit en temporale coherentie.
- Kwantitatieve Metrieken: VBench-evaluaties tonen aan dat Veda onderwerpconsistentie en bewegingsgladheid behoudt die vergelijkbaar zijn met Full Attention-baselines, zelfs bij 95% sparsiteit.

5. Betekenis en Beweringen

Het artikel beweert dat Veda succesvol de schaalbaarheidsbeperking van video-generatie met hoge resolutie aanpakt zonder de structurele integriteit te compromitteren. Door sparse attention te herformuleren als een distillatieprobleem in plaats van een heuristische zoektocht of een taak voor impliciet leren, maakt Veda agressieve sparsiteit (tot 95%) mogelijk die voorheen onbereikbaar was zonder ernstige kwaliteitsverslechtering.

De auteurs benadrukken dat de winsten niet louter theoretisch zijn; de aangepaste kernel zorgt ervoor dat sparsiteit wordt omgezet in praktische snelheidswinsten in wandklok-tijd. Het framework wordt gepresenteerd als een modulaire, hardware-bewuste oplossing die gunstig schaalt met spatiotemporale resolutie, waardoor het haalbaar wordt om video's met hoge fideliteit en lange duur te genereren binnen de huidige hardwarebeperkingen. Het werk suggereert dat toekomstige verbeteringen zich kunnen richten op strakkere kernel-fusie, adaptieve sparsiteitsstrategieën over tijdstappen, en temporale caching van tegelscores.