Technische Samenvatting: Kaleido

Probleemstelling

Video Diffusion Transformers (vDiTs) zijn uitgegroeid tot de state-of-the-art architectuur voor hoogwaardige videogeneratie, maar zij kampen met ernstige computationele knelpunten. Het inferentieproces omvat iteratieve denoising over vele tijdstappen, waarbij het self-attention mechanisme de executietijd domineert en ongeveer 68% van de totale runtime beslaat. Naarmate videoresoluties en -duur toenemen, groeit de tokensequentielengte, waardoor de complexiteit van self-attention kwadratisch schaalt ($O(N^2 \times d)$).

Bestaande versnellingsstrategieën passen grotendeels sparse attention-technieken uit Large Language Models (LLMs) aan, die vertrouwen op het wegknippen (pruning) van onbeduidende attention scores op basis van semantische sparsiteit. Deze benaderingen zijn echter fundamenteel ongeschikt voor videodata. In tegen tegenstelling tot tekst bevatten videotokens dichte, continue visuele semantiek waarbij elke token bijdraagt aan ruimtelijke coherentie en temporele consistentie. Het naïef wegknippen van attention-correlaties leidt tot bewegingsdiscontinuïteiten en flikkeringen (flickering). Bovenergens, wanneer diffusion-tijdstappen worden verminderd via distillatie, wordt self-attention de enige dominante bottleneck, waardoor technieken voor het reduceren van tijdstappen onvoldoende zijn.

Methodologie

Kaleido pakt deze uitdagingen aan via een algoritme-hardware co-design dat gebruikmaakt van kanaal-gewijze spatio-temporele correlaties binnen de latent space van vDiTs, in plaats van te vertrouwen op token-niveau sparsiteit.

1. Algoritme: Kanaal-gewijze Hergebruik (Channel-Wise Reuse)

De kerninzicht is dat vDiT-modellen gebruikmaken van Rotary Positional Embedding (RoPE), die token-kanalen verdelen in drie afzonderlijke groepen: temporeel ($t$), horizontaal ($x$) en verticaal ($y$). Deze groepen coderen positionele informatie op verschillende frequenties, wat specifieke patronen in attention scores induceert.

• Correlatie-ontdekking: De auteurs tonen aan dat aangrenzende tokens binnen een specifieke kanaalgroep een hoge gelijkenis vertonen langs dimensies die orthogonaal staan op hun coderingsrichting. Bijvoorbeeld: $t$-kanalen zijn sterk gecorreleerd over de ruimtelijke dimensies ($x$ en $y$), terwijl $x$-kanalen gecorreleerd zijn over de temporele dimensie.
• Hergebruikmechanisme: In plaats van berekeningen over te slaan (zoals bij sparse attention), hergebruikt Kaleido gedeeltelijke resultaten.
  • Gelijkeniscontrole: Voordat de berekening plaatsvindt, berekent het systeem de gelijkenis ($\Delta$) tussen aangrenzende tokens langs een vooraf gedefinieerde as.
  • Drempelwaarden: Twee drempelwaarden, $\theta_{th1}$ en $\theta_{th2}$, bepalen de hergebruikstrategie:
    • Als $\Delta < \theta_{th1}$: Volledig Hergebruik. De token hergebruikt volledig de gedeeltelijke attention score van de vorige token.
    • Als $\theta_{th1} \le \Delta < \theta_{th2}$: Gedeeltelijk Hergebruik. De token hergebruikt de meest significante bits (bijv. de top 3 bits) van het vorige resultaat en berekent alleen de resterende lagere bits.
    • Als $\Delta \ge \theta_{th2}$: Volledige Berekening.
  • Toepasbaarheid: Deze strategie wordt toegepast op self-attention, cross-attention en MLP-lagen. Voor MLPs wordt hergebruik toegepast op activaties in plaats van gewichten.

2. Hardware: Reconfigureerbare Systolische Accelerator

De onregelmatige data-access patronen geïntroduceerd door het hergebruik-algoritme zijn incompatibel met standaard systolische arrays. Kaleido introduceert een aangepaste hardware-architectuur om dit te ondersteunen:

• Reconfigureerbare Processing Elements (PEs): De PE-array is uitgebreid met extra registers en multiplexers om vier executiemodi te ondersteunen. Deze modi stellen PEs in staat om dynamisch binnen één enkele tile volledige berekening, volledig hergebruik en gedeeltelijk hergebruik (half-bit berekening) af te handelen. De PEs kunnen gedeeltelijke resultaten van vorige frames accumuleren zonder deze opnieuw uit het on-chip geheugen te laden.
• Data Dispatcher: Om de onregelmatige sparsiteit die leidt tot een lage PE-utilisatie te mitigeren, is een speciale data dispatcher geïntroduceerd. Deze bestaat uit:
  • Scheduler: Groepeert tokens met vergelijkbare hergebruikpatronen (gerepresenteerd als binaire strings) in clusters.
  • Matcher: Koppelt compatibele inputkanalen binnen een cluster om datastromen samen te voegen, waardoor opeenvolgende rijen die de PE-array in gaan simultaan verwerkt kunnen worden, wat de utilisatie maximaliseert.

Belangrijkste Bijdragen

1. Systematische Karakterisering van vDiTs: Dit paper is de eerste die de spatio-temporele correlaties in vDiT latent spaces systematisch verklaart, waarbij RoPE-gebaseerde kanaalpartitionering wordt geïdentificeerd als de bron van de afwijkende attention-patronen.
2. Kanaal-gewijs Hergebruik Algoritme: Een lichtgewicht algoritme dat redundante berekeningen overslaat door gedeeltelijke resultaten op kanaalniveau te hergebruiken. In tegenstelling tot token-level merging, behoudt dit de pixel-niveau precisie, wat resulteert in een aanzienlijk hogere generatieve kwaliteit (>17 dB PSNR verbetering ten opzichte van eerdere co-designs).
3. Co-ontworpen Accelerator Architectuur: Een reconfigureerbare systolische array met op maat gemaakte PEs en een data dispatcher die de onregelmatige sparsiteit afhandelt, waardoor de PE-utilisatie stijgt van ~69% naar ~85%.
4. Uitgebreide Evaluatie: Uitgebreide evaluatie over vier mainstream vDiT-modellen (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) tegenover state-of-the-art GPU's en versnellers.

Resultaten

Geëvalueerd op een 16nm technologie node met een 128x128 PE-array configuratie:

• Prestaties: Kaleido bereikt tot wel 5.9× versnelling ten opzichte van state-of-the-art accelerators (bijv. AdapTiV, Exion) en 6.6× versnelling ten opzichte van een Nvidia A100 GPU.
• Energie-efficiëntie: Het systeem levert tot 16.0× energiebesparing vergeleken met de A100 baseline.
• Generatieve Kwaliteit: Kaleido behoudt een superieure videokwaliteit, met PSNR-scores van 29.9 dB (HunyuanVideo) en 24.5 dB (Wan), wat >17 dB hoger is dan benaderings-gebaseerde baselines zoals Cambricon-D. Het presteert ook beter dan software-geoptimaliseerde sparse attention methoden (zoals MInference, SVG) op beeldkwaliteitsmetrieken (PSNR, SSIM, LPIPS).
• Schaalbaarheid: De prestatiekloof wordt groter naarmate de videoresolutie toeneemt van 480p naar 720p, omdat hogere resoluties de geëxploiteerde spatio-temporele correlaties versterken.

Betekenis

Dit paper positioneert Kaleido als een noodzakelijke evolutie in de versnelling van videogeneratie. Het betoogt dat het simpelweg overzetten van LLM-gebaseerde sparse attention technieken naar video ineffectief is vanwege de continue aard van visuele data. Door de focus te verschuiven van "wegknippen" naar "hergebruiken" op basis van de unieke kanaal-gewijze correlaties van vDiTs, biedt Kaleido een principiële aanpak die zowel de computationele bottleneck aanpakt als de vereisten voor hoge getrouwheid (high-fidelity) van generatieve AI waarborgt. Het werk demonstreert dat algoritme-hardware co-design essentieel is om de efficiëntie van de volgende generatie videodiffusiemodellen te ontsluiten zonder de outputkwaliteit aan te tasten.