🤖 AI

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido è un co-design algoritmo-hardware che accelera i Video Diffusion Transformer sfruttando le correlazioni spazio-temporali per canale nello spazio latente per abilitare un algoritmo di riutilizzo leggero e un acceleratore a matrice sistolica riconfigurabile, ottenendo fino a 5,9x di velocità in più e 16,0x di risparmio energetico pur mantenendo un'alta qualità generativa.

Autori originali: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Pubblicato 2026-07-16

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer possono sognare interi film da una singola frase, creando scene così reali che si potrebbe quasi toccarle. Questa magia è alimentata dai "modelli di diffusione video", un tipo di intelligenza artificiale che impara a creare video partendo da uno schermo pieno di rumore statico e pulendolo lentamente, passo dopo passo, finché non emerge un'immagine nitida. Pensatelo come uno scultore che parte da un blocco di pietra grezza e scolpisce via l'eccesso per rivelare una statua. Tuttavia, questo processo è incredibilmente lento e vorace di energia. Il computer deve eseguire milioni di piccoli calcoli per ogni singolo fotogramma, ancora e ancora, come uno chef che assaggia una zuppa centinaia di volte prima di servirla. Man mano che questi modelli di IA diventano più bravi nel creare video più lunghi e di alta qualità, il tempo e l'energia richiesti per eseguirli sono diventati un enorme collo di bottiglia, rallentando tutto, dal montaggio cinematografico alla creazione di mondi virtuali. Scienziati e ingegneri stanno correndo per trovare modi per velocizzare questo processo senza rovinare la qualità del film finale.

Entra in scena Kaleido, un'invenzione intelligente dei ricercatori della Shanghai Jiao Tong University e di Huawei che agisce come una scorciatoia super intelligente per questi computer che creano video. Il team ha scoperto che mentre l'IA è impegnata a "pulire" il video, spesso ripete gli stessi calcoli ripetutamente perché i fotogrammi del video sono molto simili tra loro in modi specifici. Invece di ricalcolare tutto da zero, l'algoritmo di Kaleido agisce come un bibliotecario brillante che ricorda: "Ehi, ho già fatto questa parte per l'ultimo fotogramma, quindi riutilizziamo quella risposta!". Ma c'è un problema: queste scorciatoie creano un modello di lavoro disordinato e irregolare che i normali chip per computer odiano, proprio come uno chef che cerca di tagliare le verdure con un coltello smussato che continua a scivolare. Per risolvere questo, i ricercatori non si sono limitati a scrivere una nuova ricetta; hanno costruito una cucina completamente nuova. Hanno progettato un chip hardware personalizzato con un "dispatcher di dati" speciale che organizza le scorciatoie disordinate in lotti ordinati ed efficienti, permettendo al computer di saltare il lavoro ridondante senza perdere nemmeno una goccia di qualità.

Il risultato è un sistema significativamente più veloce ed efficiente dal punto di vista energetico rispetto a qualsiasi cosa attualmente disponibile. Nei loro test, Kaleido ha reso la generazione di video fino a 5,9 volte più veloce e ha risparmiato 16,0 volte più energia rispetto ai migliori acceleratori esistenti e alle schede grafiche di fascia alta. Forse la cosa più impressionante è che i video prodotti non erano solo veloci; erano più nitidi e accurati di quelli prodotti da altri metodi di scorciatoia, ottenendo oltre 17 dB in più nelle metriche di qualità dell'immagine. I ricercatori hanno dimostrato che comprendendo esattamente come i dati video sono strutturati — specificamente come le diverse parti dell'immagine si relazionano al tempo e allo spazio — potevano costruire un sistema che salta le parti noiose del lavoro mantenendo perfette le parti creative. Questo non è solo un piccolo accorgimento; è un cambiamento fondamentale nel modo in cui diciamo ai computer di fare film, dimostrando che a volte il modo migliore per andare più veloci è sapere esattamente cosa non serve fare.

Sintesi Tecnica: Kaleido

Definizione del Problema

I Video Diffusion Transformer (vDiT) sono emersi come l'architettura allo stato dell'arte per la generazione di video ad alta fedeltà, tuttavia affrontano gravi colli di bottiglia computazionali. Il processo di inferenza prevede il denoising iterativo su molti timestep, dove il meccanismo di self-attention domina il tempo di esecuzione, occupando circa il 68% del runtime totale. Man mano che le risoluzioni e le durate dei video aumentano, la lunghezza della sequenza di token cresce, causando una complessità della self-attention che scala quadraticamente ( $O(N^2 \times d)$ ).

Le strategie di accelerazione esistenti adattano ampiamente le tecniche di attenzione sparsa dai Large Language Models (LLM), che si basano sulla rimozione di punteggi di attenzione insignificanti basata sulla sparsità semantica. Tuttavia, questi approcci sono fondamentalmente incompatibili con i dati video. A differenza del testo, i token video trasportano semantiche visive dense e continue, dove ogni token contribuisce alla coerenza spaziale e alla consistenza temporale. La rimozione ingenua delle correlazioni di attenzione porta a discontinuità nel movimento e artefatti di sfarfallio (flickering). Inoltre, man mano che i timestep di diffusione vengono ridotti tramite distillazione, la self-attention diventa l'unico collo di bottiglia dominante, rendendo insufficienti le tecniche di riduzione dei timestep.

Metodologia

Kaleido affronta queste sfide attraverso un co-design algoritmo-hardware che sfrutta le correlazioni spazio-temporali per canale all'interno dello spazio latente dei vDiT, piuttosto che fare affidamento sulla sparsità a livello di token.

1. Algoritmo: Riutilizzo per Canale (Channel-Wise Reuse)

L'intuizione fondamentale è che i modelli vDiT utilizzano l'Embedding Posizionale Rotatorio (RoPE), che partiziona i canali dei token in tre gruppi distinti: temporale ( $t$ ), orizzontale ( $x$ ) e verticale ( $y$ ). Questi gruppi codificano l'informazione posizionale a diverse frequenze, inducendo pattern specifici nei punteggi di attenzione.

Scoperta della Correlazione: Gli autori dimostrano che i token adiacenti all'interno di un gruppo di canali specifico esibiscono un'alta similarità lungo le dimensioni ortogonali alla loro direzione di codifica. Ad esempio, i canali $t$ sono altamente correlati attraverso le dimensioni spaziali ( $x$ e $y$ ), mentre i canali $x$ sono correlati attraverso la dimensione temporale.
Meccanismo di Riutilizzo: Invece di saltare i calcoli (come nella sparse attention), Kaleido riutilizza i risultati parziali.
- Controllo di Similarità: Prima del calcolo, il sistema calcola la similarità ( $\Delta$ ) tra i token adiacenti lungo un asse predefinito.
- Soglia (Thresholding): Due soglie, $\theta_{th1}$ $θ_{t h 1}$ e $\theta_{th2}$ $θ_{t h 2}$ , determinano la strategia di riutilizzo:
  - Se $\Delta < \theta_{th1}$ : Riutilizzo Completo. Il token riutilizza completamente il punteggio di attenzione parziale del token precedente.
  - Se $\theta_{th1} \le \Delta < \theta_{th2}$ : Riutilizzo Parziale. Il token riutilizza i bit più significativi (ad esempio, i primi 3 bit) del risultato precedente e calcola solo i restanti bit inferiori.
  - Se $\Delta \ge \theta_{th2}$ : Calcolo Completo.
- Applicabilità: Questa strategia è applicata ai livelli di self-attention, cross-attention e MLP. Per gli MLP, il riutilizzo è applicato alle attivazioni anziché ai pesi.

2. Hardware: Acceleratore Sistolico Riconfigurabile

I pattern di accesso ai dati irregolari introdotti dall'algoritmo di riutilizzo sono incompatibili con gli array sistolici standard. Kaleido introduce un'architettura hardware personalizzata per supportarlo:

Elementi di Elaborazione (PE) Riconfigurabili: L'array di PE è aumentato con registri e multiplexer aggiuntivi per supportare quattro modalità di esecuzione. Queste modalità consentono ai PE di gestire calcoli completi, riutilizzo completo e riutilizzo parziale (calcolo a metà bit) dinamicamente all'interno di un singolo tile. I PE possono accumulare risultati parziali dai frame precedenti senza ricaricarli dalla memoria on-chip.
Dispatcher di Dati: Per mitigare la sparsità irregolare che causa una bassa utilizzazione dei PE, viene introdotto un dispatcher di dati dedicato. Esso consiste in:
- Scheduler: Raggruppa i token con pattern di riutilizzo simili (rappresentati come stringhe binarie) in cluster.
- Matcher: Accoppia canali di input compatibili all'interno di un cluster per fondere i flussi di dati, garantendo che le righe adiacenti alimentate nell'array di PE possano essere elaborate simultaneamente, massimizzando così l'utilizzazione.

Contributi Chiave

Caratterizzazione Sistematica dei vDiT: Il paper è il primo a spiegare sistematicamente le correlazioni spazio-temporali negli spazi latenti dei vDiT, identificando la partizione dei canali basata su RoPE come la causa radice di pattern di attenzione distinti.
Algoritmo di Riutilizzo per Canale: Un algoritmo leggero che salta i calcoli ridondanti riutilizzando i risultati parziali a livello di canale. A differenza del merging a livello di token, questo preserva la precisione a livello di pixel, ottenendo una qualità generativa significativamente superiore (>17 dB di miglioramento del PSNR rispetto ai precedenti co-design).
Architettura Acceleratrice Co-Progettata: Un array sistolico riconfigurabile con PE su misura e un dispatcher di dati che gestisce la sparsità irregolare, migliorando l'utilizzazione dei PE dal ~~69% all'~~85%.
Valutazione Esaustiva: Valutazione estesa su quattro modelli vDiT mainstream (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) rispetto a GPU e acceleratori all'avanguardia.

Risultati

Valutato su un nodo tecnologico a 16nm con una configurazione di array PE 128x128:

Performance: Kaleido ottiene un'accelerazione fino a 5,9× rispetto agli acceleratori allo stato dell'arte (es. AdapTiV, Exion) e 6,6× rispetto a una GPU Nvidia A100.
Efficienza Energetica: Il sistema offre fino a 16,0× risparmio energetico rispetto al baseline A100.
Qualità Generativa: Kaleido mantiene una qualità video superiore, raggiungendo punteggi PSNR di 29,9 dB (HunyuanVideo) e 24,5 dB (Wan), che sono >17 dB più alti rispetto ai baseline basati su approssimazione come Cambricon-D. Supera inoltre i metodi di sparse attention ottimizzati via software (es. MInference, SVG) nelle metriche di qualità dell'immagine (PSNR, SSIM, LPIPS).
Scalabilità: Il divario di performance si amplia all'aumentare della risoluzione del video da 480p a 720p, poiché risoluzioni più elevate rafforzano le correlazioni spazio-temporali sfruttate dall'algoritmo.

Significato

Il paper posiziona Kaleido come un'evoluzione necessaria nell'accelerazione della generazione video. Sostiene che il semplice trasferimento delle tecniche di sparse attention basate su LLM ai video sia inefficace a causa della natura continua dei dati visivi. Spostando il focus dalla "rimozione" (pruning) al "riutilizzo" basato sulle uniche correlazioni per canale dei vDiT, Kaleido offre un approccio rigoroso che affronta simultaneamente il collo di bottiglia computazionale e preserva i requisiti di alta fedeltà dell'IA generativa. Il lavoro dimostra che il co-design algoritmo-hardware è essenziale per sbloccare l'efficienza dei modelli di diffusione video di prossima generazione senza compromettere la qualità del risultato.