💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad è un framework di distillazione dell'attenzione sub-quadratico che comprime i Video Diffusion Transformer pre-addestrati per raggiungere una complessità $\mathcal{O}(n\sqrt{n})$ , offrendo una qualità di generazione video di livello quadratico con costi computazionali significativamente ridotti e velocità di inferenza superiori.

Autori originali: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La creazione di immagini in movimento con l'intelligenza artificiale è diventata una delle frontiere più entusiasmanti dell'informatica moderna. Questi sistemi, noti come modelli di diffusione video, funzionano partendo da una nuvola caotica di rumore statico e raffinandola gradualmente in una scena coerente, fotogramma per fotogramma, sulla base di una descrizione testuale. Per capire come lo facciano, immaginate una vasta griglia di minuscoli pixel digitali, dove ogni pixel è un token che trasporta informazioni su colore, forma e tempo. Il motore che guida questi modelli è un meccanismo chiamato auto-attenzione (self-attention). Questo meccanismo permette a ogni singolo token del video di guardare tutti gli altri token per decidere come debbano relazionarsi tra loro. È proprio questa costante connessione onnipresente che conferisce al video la sua qualità realistica e assicura che il movimento di un personaggio nel primo secondo corrisponda al suo aspetto nell'ultimo. Tuttavia, questo potere ha un prezzo elevato. Man mano che il video diventa più lungo o dettagliato, il numero di connessioni che il sistema deve calcolare esplode, rendendo il processo incredibilmente lento e costoso, limitando spesso i creatori a soli pochi secondi di filmato.

I ricercatori di Qualcomm AI Research hanno sviluppato un nuovo approccio chiamato SQuad per risolvere questo problema senza sacrificare la qualità del video. Invece di cercare di semplificare le connessioni complesse o sostituire il meccanismo principale con un'alternativa più economica e debole, hanno trovato un modo per riorganizzare il modo in cui il sistema analizza i dati. Nel metodo standard, ogni token deve controllare ogni altro token, un processo che diventa ingestibile all'aumentare della dimensione del video. Il team si è reso conto che nella generazione di video, la maggior parte di queste connessioni è in realtà molto debole; solo un piccolo gruppo critico di token ha davvero bisogno di prestare attenzione agli altri in un dato momento. Basandosi su questa osservazione, hanno progettato un processo in due fasi. Prima, il sistema raggruppa i token vicini in piccole finestre e permette loro di mescolare le informazioni localmente. Successivamente, effettua un secondo passaggio per permettere a queste finestre di comunicare tra loro attraverso l'intero video. Questa struttura consente al modello di mantenere una visione completa della scena pur riducendo drasticamente il numero di calcoli richiesti.

I risultati dell'applicazione di questo metodo a un grande modello di generazione video chiamato Wan 2.2 sono sorprendenti. I ricercatori hanno preso un modello potente e pre-addestrato e gli hanno insegnato a utilizzare questo nuovo metodo di attenzione snellito attraverso un processo di distillazione, in cui il nuovo sistema impara a imitare il comportamento dell'originale. Il risultato è un modello che produce video con una qualità visiva quasi identica all'originale, ottenendo punteggi quasi uguali nei rigorosi test di qualità, ma con una riduzione massiccia dei costi. Mentre il modello originale richiedeva 100 passaggi per generare un video, la nuova versione ottiene risultati simili in soli sei passaggi. In termini di velocità, il tempo necessario per elaborare un singolo passaggio della generazione del video è sceso da circa 47 millisecondi a soli 4 millisecondi. La quantità di potenza di calcolo necessaria per questi passaggi è diminuita di un fattore di quasi 67.

Questo guadagno di efficienza non è solo un miglioramento teorico; si traduce direttamente in ciò che l'utente sperimenta. Quando testato su un compito standard di generazione di video in alta definizione, il nuovo metodo ha generato un video in circa la metà del tempo totale rispetto al sistema originale, anche tenendo conto dell'intera pipeline di generazione. I ricercatori hanno confrontato il loro metodo con altri tentativi di velocizzare la generazione di video, alcuni dei quali si basano su architetture ibride complesse che aggiungono milioni di parametri extra al modello. Al contrario, l'approccio SQuad non richiede memoria aggiuntiva o hardware specializzato, inserendosi perfettamente nei sistemi esistenti. Studi sugli utenti hanno confermato che le persone non riuscivano a distinguere in modo affidabile i video realizzati dal modello originale, pesante, da quelli realizzati dalla nuova versione efficiente. Infatti, in un confronto diretto, una parte significativa di spettatori umani ha addirittura preferito i video generati dal nuovo metodo.

La significatività di questo lavoro risiede nel suo equilibrio. I tentativi precedenti di rendere questi modelli più veloci spesso consistevano nel sostituire il potente meccanismo di attenzione con approssimazioni lineari più semplici, il che portava frequentemente a un calo evidente della qualità del video. Il metodo SQuad evita questa trappola mantenendo intatta l'operazione matematica fondamentale, ma cambiandone l'ordine di applicazione. Dimostra che la piena complessità quadratica di controllare ogni token contro ogni altro non è strettamente necessaria per ottenere risultati ad alta fedeltà. Strutturando attentamente il flusso di informazioni, i ricercatori hanno dimostrato che è possibile generare video lunghi e ad alta risoluzione con una frazione del costo computazionale. Ciò apre la strada alla generazione di scene più lunghe e complesse su hardware standard, avvicinando il campo all'obiettivo di creare contenuti video illimitati e di alta qualità senza gli attuali colli di bottiglia di tempo ed energia.

Riepilogo Tecnico: SQuad: Distillazione dell'Attenzione Sub-Quadratica per la Generazione di Video Efficiente

Problema

La generazione di video tramite Diffusion Transformers (DiT) è attualmente limitata dal costo computazionale del meccanismo di Softmax Self-Attention. Nei DiT standard, la complessità dell'attenzione scala quadraticamente, $O(n^2)$ , con il numero di token latenti $n$ . Per la generazione di video, dove $n$ rappresenta un volume spazio-temporale (che spesso raggiunge decine di migliaia di token), questo termine quadratico domina sia il tempo di esecuzione che la memoria, limitando la risoluzione, la durata e il throughput raggiungibili.

Le soluzioni esistenti tentano di mitigare questo problema sostituendo la Softmax Self-Attention con approssimazioni lineari $O(n)$ o a basso rango $O(nk)$, oppure utilizzando maschere sparse e architetture ibride. Tuttavia, questi approcci soffrono spesso di un "gap di qualità ostinato" perché sacrificano la non-linearità e la selettività netta e dipendente dall'input della Softmax completa. Inoltre, i design ibridi che intercalano blocchi quadratici costosi con blocchi efficienti introducono una complessità architettonica e spesso mantengono una dipendenza proprio dalle operazioni quadratiche che mirano a ridurre.

Metodologia: SQuad

Gli autori propongono SQuad (Sub-Quadratic Attention Distillation), un framework che riduce la complessità dell'attenzione a $O(n\sqrt{n})$ mantenendo l'intera operazione di Softmax. Invece di addestrare un nuovo Video DiT da zero, SQuad distilla un DiT pre-addestrato con full-softmax (specificamente i modelli Wan 2.2 5B e Wan 2.1 1.3B) in un'architettura modificata.

1. Operatore di Attenzione SQuad

L'innovazione principale è un meccanismo di attenzione a due stadi che fattorizza la full $O(n^2)$ attention in un Passaggio Locale (Local Pass) e un Passaggio Globale (Global Pass):

Passaggio Locale ( $Attn_L$ ): I token si mescolano all'interno di finestre fisse di dimensione $w$ .
Passaggio Globale ( $Attn_G$ ): I token alla stessa posizione relativa all'interno di ogni finestra si mescolano attraverso tutte le finestre.
Composizione: L'output del passaggio locale viene inserito nel flusso di valore (value stream) del passaggio globale. Questa nidificazione permette al passaggio globale di operare su token che sono già stati mescolati localmente, recuperando un campo recettivo completo.
Complessità: Impostando la dimensione della finestra $w = \sqrt{n}$ , il metodo raggiunge una complessità di $O(n\sqrt{n})$ . Fondamentalmente, entrambi i passaggi utilizzano la standard Softmax, preservando l'espressività persa nelle approssimazioni lineari.

2. Strategia di Distillazione

Poiché la sostituzione dell'operatore di attenzione cambia la funzione computata dalla rete, i pesi pre-addestrati non sono più ottimali. Gli autori impiegano un processo di distillazione in due fasi:

Fine-Tuning Supervisionato tramite Flow-Matching (SFT): La rete viene sottoposta a fine-tuning su dati video (dataset VIPE 1M) per riposizionare i pesi sotto la nuova architettura SQuad-Attention.
Distribution Matching Distillation (DMD2): Viene applicato un metodo migliorato di distillazione degli step per recuperare la qualità di generazione persa durante il cambiamento architettonico e per ridurre il numero di Valutazioni Funzionali Neurali (NFE) richieste per il campionamento.

Contributi Chiave

Complessità Sub-Quadratica con Full Softmax: SQuad raggiunge una complessità di $O(n\sqrt{n})$ senza abbandonare l'operazione di Softmax, affrontando il gap di qualità inerente alle approssimazioni lineari o a basso rango.
Framework di Distillazione: Il documento dimostra che un DiT quadratico pre-addestrato può essere efficacementmente adattato a un'architettura sub-quadratica tramite un processo di distillazione in due fasi (SFT + DMD2), evitando il costo proibitivo dell'addestramento da zero.
Efficienza Hardware: Il metodo è progettato per essere hardware-friendly, non richiedendo kernel fusi specializzati o ottimizzazioni on-device, basandosi invece su standard reshaping di tensori e blocchi di attenzione standard.

Risultati Sperimentali

Il metodo è stato valutato sui modelli di testo-video Wan 2.2 5B e Wan 2.1 1.3B.

Preservazione della Qualità: Su Wan 2.2 5B, SQuad raggiunge un punteggio VBench Totale di 83.20, eguagliando efficacemente la baseline originale full-softmax (83.08). Negli studi di preferenza degli utenti, il 35% degli utenti ha preferito le generazioni di SQuad rispetto alla baseline, mentre il 31% le ha trovate indistinguibili.
Guadagni di Efficienza:
- Latenza: SQuad riduce la latenza dell'attenzione per blocco di circa 11× (da 47.10ms a 4.27ms) e la latenza end-to-end del DiT di 2× (da 667ms a 314ms in modalità compilata).
- Calcolo: I TFLOP dell'attenzione sono ridotti di ~67× (da 4.205 a 0.063).
- Velocità di Campionamento: Il modello distillato genera video di alta qualità in 6 NFE, rispetto ai 100 NFE predefiniti per il modello originale.
Confronto: SQuad supera altri metodi di attenzione efficiente (come VSA, Jenga, Radial Attention e Attention Surgery) in termini di latenza e TFLOP pur mantenendo una qualità comparabile o superiore, senza richiedere parametri aggiuntivi apprendibili (a differenza dei metodi che aggiungono 72M–283M di pesi).

Significato e Rivendicazioni

Il documento afferma che SQuad valida l'ipotesi secondo cui la complessità full $O(n^2)$ della comunicazione token-to-token potrebbe non essere necessaria per la generazione di video ad alta fedeltà. Proponendo un "punto di incontro" che mantiene l'espressività della Softmax attraverso una fattorizzazione sub-quadratica strutturata, SQuad offre una via pratica per generare video più lunghi e ad alta risoluzione sull'hardware attuale.

Gli autori posizionano SQuad non solo come un target di distillazione per modelli esistenti, ma anche come un candidato meccanismo di attenzione per il pre-addestramento di grandi modelli da zero. Riconoscono che la loro strategia attuale accoppia la distillazione dell'attenzione con la distillazione degli step (DMD2) e suggeriscono che i lavori futuri potrebbero isolare il cambiamento dell'attenzione dai miglioramenti della velocità di campionamento o esplorare la composizione di più di due passaggi per scambiare ulteriormente profondità con efficienza.