DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation

Technische Samenvatting: DFSAttn voor Efficiënte Videogeneratie

Probleemstelling
Diffusion Transformers (DiT's) hebben state-of-the-art resultaten behaald in hoogwaardige videogeneratie door het gebruik van spatiotemporale 3D-volle aandacht. De kwadratische computatiecomplexiteit van volle aandacht creëert echter een onoverkomelijke bottleneck, vooral voor video's met hoge resolutie en lange duur. Hoewel blok-sparse aandacht een weg biedt naar efficiëntie door berekeningen over minder belangrijke tokenblokken over te slaan, lijden bestaande methoden onder aanzienlijke kwaliteitsvermindering bij hoge sparsiteitsverhoudingen. De auteurs identificeren een fundamentele mismatch: DiT-aandachtskaarten vertonen dynamische en fijnkorrelige sparsiteit die varieert per laag, kop en diffusiestap. Statische of grofkorrelige blokmasks falen in het vastleggen van deze ingewikkelde patronen, waardoor kritieke afhankelijkheden worden weggegooid en nauwkeurigheidsverlies optreedt.

Methodologie: DFSAttn
Om deze beperkingen aan te pakken, stellen de auteurs DFSAttn voor, een trainingsvrij, dynamisch fijnkorrelig sparse-aandachtskader. De methode is gebaseerd op een theoretische analyse van aandachtsrecall, die drie bepalende factoren voor effectieve verspreiding identificeert: het sparsiteitsbudget, de inter-blok gelijkenisgap en de semantische diversiteit op blokniveau. DFSAttn omvat drie kernontwerpen om deze factoren te optimaliseren:

1. 3D Hilbert-curve Tokenherschikking:
   Standaard DiT's flattende 3D-videotokens tot 1D-sequenties met behulp van rij-gewijze ordening, wat de spatiotemporale localiteit verstoort. DFSAttn herschikt tokens met een globale 3D-Hilbert-curve voordat de aandachtsberekening plaatsvindt. Dit behoudt ruimtelijke en temporele buurten in de 1D-sequentie, zodat tokens binnen hetzelfde blok semantisch coherent zijn. Deze herschikking vergroot de inter-blok gelijkenisgap, waardoor blokgerichte bewerkingen fijnkorrelige sparsiteit in de oorspronkelijke spatiotemporale ruimte kunnen induceren, terwijl GPU-vriendelijke contigu geheugentoegang behouden blijft.

2. Hiërarchische Blokscoring:
   Om het probleem van semantische diversiteit binnen blokken aan te pakken (waarbij een enkel blok meerdere semantische centroiden kan bevatten), hanteert DFSAttn een hiërarchisch scoremechanisme. In plaats van te vertrouwen op grove pooling op blokniveau, partitioneert de methode blokken in kleinere sub-blokken. Het berekent aandachtscores op sub-blokniveau en aggregeert deze om de blokbelangrijkheid te schatten. Deze verfijning biedt een nauwkeurigere benadering van token-niveau-interacties, wat leidt tot een betere selectie van kritieke blokken.

3. Spare Mask Caching met Adaptieve Verhoudingen:
   De auteurs observeren dat aandachts-sparsiteit duidelijker wordt naarmate het diffusieproces vordert (d.w.z. latere denoising-stappen vertonen een hogere concentratie). DFSAttn maakt hier gebruik van door een adaptief sparsiteitsbudget in te zetten dat monotoon afneemt over diffusiestappen, waardoor meer berekening wordt toegewezen aan vroege, ruizige stappen en minder aan latere stappen. Bovendien, om de overhead van maskergeneratie te verminderen, cache en hergebruikt de methode spore masks over diffusiestappen (met updates op vaste intervallen), terwijl de aandachtsoutput bij elke stap opnieuw wordt berekend om de dynamische token-evolutie te behouden.

Belangrijkste Bijdragen

• Theoretisch Inzicht: Het artikel leidt een theoretische ondergrens voor aandachtsrecall af, waarbij de voorwaarden worden gekarakteriseerd waaronder blok-sparse aandacht slaagt. Het identificeert dat het vergroten van de inter-blok gelijkenisgap en het verminderen van semantische drift op blokniveau cruciaal zijn voor hoogwaardige verspreiding.
• DFSAttn Kader: De introductie van een trainingsvrij kader dat 3D-Hilbert-herschikking, hiërarchische scoring en adaptieve caching integreert om dynamische, fijnkorrelige verspreiding mogelijk te maken zonder de onderliggende modelgewichten te wijzigen.
• Prestaties: Aantonen dat DFSAttn hoge sparsiteitsverhoudingen kan bereiken terwijl de generatiekwaliteit vergelijkbaar blijft met volle aandacht, en dat het zowel statische als dynamische baselines overtreft.

Experimentele Resultaten
De auteurs evalueerden DFSAttn op twee state-of-the-art videodiffusiemodellen: HunyuanVideo en Wan2.1.

• Kwaliteit: Bij een sparsiteitsverhouding van 80% behaalde DFSAttn een PSNR van 29,38 op HunyuanVideo en 22,37 op Wan2.1, wat aanzienlijk beter is dan baselines zoals SVG, RadialAttention en SVG2, die bij vergelijkbare sparsiteitsniveaus zware kwaliteitsvermindering leden.
• Efficiëntie: De methode leverde een end-to-end versnelling van 2,1× op HunyuanVideo en 1,8× op Wan2.1.
• Ablatiestudies: Experimenten bevestigden dat 3D-Hilbert-herschikking (Hilbert3D) beter presteert dan raster scans en 2D-Hilbert-curves. Bovendien verbeterde hiërarchische scoring met kleinere sub-blokken de reconstructiekwaliteit met verwaarloosbare latentie-overhead.

Betekenis
Het artikel beweert dat DFSAttn de afweging tussen efficiëntie en kwaliteit in videogeneratie oplost door sparse aandachtsmechanismen af te stemmen op de intrinsieke dynamische en fijnkorrelige aard van DiT-aandachtskaarten. Door hoge sparsiteitsverhoudingen mogelijk te maken zonder de kwaliteitsinval die bij eerdere methoden werd gezien, faciliteert DFSAttn de praktische implementatie van hoogwaardige videogeneratiemodellen op standaardhardware, met aanzienlijke versnelling (tot 2,1×) terwijl de visuele fideliteit behouden blijft. Het werk wordt gepresenteerd als een kernel-vrije aanpak die gebruikmaakt van tokenherschikking en bloksgewijze uitvoering om efficiënt fijnkorrelige sparsiteit te bereiken.