Riepilogo Tecnico: Allocazione Eterogenea dei Passi (HSA) per la Generazione Efficiente di Video

1. Enunciato del Problema

I Transformer di Diffusione (DiT) hanno stabilito prestazioni all'avanguardia nella generazione di video, ma soffrono di costi computazionali enormi. I protocolli di inferenza standard applicano un numero uniforme di passi di denoising ($T$) a ogni token spazio-temporale nella sequenza. Questo approccio monolitico ignora l'asimmetria intrinseca dei dati visivi: le regioni di sfondo, le patch statiche e le strutture grezze sono percettivamente più semplici e richiedono meno passi di denoising rispetto agli oggetti in primo piano ricchi di dettagli o alle regioni ad alto movimento. Inoltre, la visione umana è meno sensibile al degrado della qualità nei componenti altamente dinamici rispetto a quelli statici. Di conseguenza, applicare un budget di denoising completo in modo uniforme a tutti i token è computazionalmente sprecone e non si allinea con le priorità percettive.

I metodi di accelerazione esistenti, come la memorizzazione nella cache delle feature a livello di passo (ad esempio, TeaCache), tipicamente prendono decisioni globali: a qualsiasi iterazione data, o tutti i token vengono calcolati o tutti i token riutilizzano le uscite memorizzate nella cache. Questi metodi non sfruttano l'eterogeneità spaziale o a livello di token, trattando la sequenza come un blocco monolitico piuttosto che come una collezione di token con requisiti dinamici variabili.

2. Metodologia: Allocazione Eterogenea dei Passi (HSA)

Gli autori propongono l'Allocazione Eterogenea dei Passi (HSA), un algoritmo di inferenza senza addestramento e agnostico rispetto al modello che assegna traiettorie di denoising specifiche per token all'interno di un DiT preaddestrato. L'idea centrale è partizionare la sequenza di token in gruppi basati sulle loro dinamiche di velocità, assegnando meno passi ai token che evolvono più lentamente, mantenendo al contempo un programma completo per un gruppo di base.

2.1 Partizionamento e Programmazione dei Token

L'insieme di $N$ token è partizionato in $K$ gruppi disgiunti ($G_1, \dots, G_K$). A ogni gruppo $G_k$ viene assegnato un budget di passi $s_k$, che deve essere un divisore del totale dei passi $T$.

• Gruppo di Base ($G_1$): Assegnato il budget completo $s_1 = T$. Questi token sono attivi a ogni iterazione.
• Gruppi Ridotti: Assegnati budget più piccoli (ad esempio, $T/2, T/4$). Questi token sono attivi solo quando l'iterazione globale $i$ soddisfa $i \pmod{T/s_k} = 0$.
• Selezione Dinamica: Il documento valuta quattro strategie per assegnare i token ai gruppi. La strategia di Selezione Dinamica dei Token, che assegna i token in base alla variazione relativa L1 per-token delle previsioni di velocità (identificando regioni a evoluzione lenta come gli sfondi), produce costantemente le migliori prestazioni.

2.2 Sincronizzazione della KV-Cache

Una sfida primaria nella programmazione eterogenea è che i token con diversi conteggi di passi esistono a diversi livelli di rumore ($\sigma$) a qualsiasi iterazione di tempo reale. L'attenzione self richiede che tutti i token si riferiscano l'uno all'altro, creando un disallineamento di sincronizzazione. HSA risolve questo tramite un meccanismo di sincronizzazione della KV-cache:

1. Token Attivi: Solo il sottoinsieme di token attivi ($A_i$) esegue un passaggio in avanti attraverso le proiezioni QKV.
2. Aggiornamento della Cache: Le proiezioni Chiave ($K$) e Valore ($V$) fresche per i token attivi vengono scritte in una cache per livello, sovrascrivendo le voci obsolete.
3. Attenzione a Contesto Completo: I token attivi calcolano le query rispetto alle matrici $K, V$ cache complete (contenenti sia voci fresche per i token attivi che voci obsolete ma valide per i token saltati).
4. Riduzione della Complessità: Questo riduce la complessità dell'attenzione self da $O(N^2)$ a $O(|A_i| \cdot N)$, dove $|A_i|$ è il numero di token attivi al passo $i$. I token saltati non sostengono alcun calcolo di query, attenzione incrociata o operazioni feed-forward durante le iterazioni inattive.

2.3 Aggiornamento Euleriano in Cache

Per avanzare gli stati latenti dei token saltati senza valutazioni aggiuntive del modello, HSA impiega un aggiornamento euleriano in cache.

• Ogni token memorizza la velocità ($\hat{v}_n$) prevista al suo passo attivo più recente.
• A ogni iterazione globale, tutti i token (attivi e saltati) vengono avanzati dello stesso passo euleriano incrementale $(\sigma_{i+1} - \sigma_i)$.
• I token attivi utilizzano la loro velocità appena calcolata; i token saltati riutilizzano la loro velocità memorizzata nella cache.
• Questo aggiornamento è formulato come una singola operazione tensoriale su tutti i $N$ token, evitando diramazioni e mantenendo l'efficienza della GPU.

2.4 Finestra di Memorizzazione in Cache Consapevole della Fase

Riconoscendo che le fasi iniziali e finali del denoising sono critiche rispettivamente per la struttura globale e i dettagli fini, HSA limita la memorizzazione nella cache alla porzione centrale della traiettoria. Il primo e l'ultimo $m$ passi eseguono passaggi in avanti completi e non memorizzati nella cache per tutti i token, garantendo che l'integrità strutturale e la raffinazione dei dettagli non siano compromesse da approssimazioni obsolete.

3. Contributi Chiave

1. Algoritmo HSA: Un paradigma di inferenza completamente privo di addestramento, plug-and-play, che assegna traiettorie di denoising eterogenee a gruppi di token spazio-temporali basati sulle dinamiche di velocità.
2. Sincronizzazione della KV-Cache: Un meccanismo che preserva il contesto di attenzione completo a $N$ token per i token attivi, bypassando interamente i token inattivi, riducendo il costo di attenzione per iterazione a $O(|A_i| \cdot N)$.
3. Aggiornamento Euleriano in Cache: Una semplice operazione tensoriale che avanza i token saltati utilizzando velocità memorizzate nella cache, mantenendo la qualità della generazione senza valutazioni aggiuntive del modello.
4. Valutazione Completa: Un'analisi di quattro strategie di raggruppamento dei token e quattro preset di budget, che dimostra la robustezza attraverso diversi budget di inferenza.

4. Risultati Sperimentali

Gli autori hanno valutato HSA su Wan-2.1-1.3B e Wan-2.2-A14B (Text-to-Video e Image-to-Video) e LTX-2 (Audio-Video).

• Compromesso Qualità-Tempo di Esecuzione: HSA raggiunge un fronte di Pareto superiore rispetto al Flow Matching (FM) uniforme e ai metodi di memorizzazione nella cache all'avanguardia come TeaCache.
• Accelerazione Aggressiva: I vantaggi sono più pronunciati in regimi di accelerazione aggressiva (50% e 25% del tempo di esecuzione). Al 25% del tempo di esecuzione, HSA supera significativamente le linee di base sul benchmark VBench (Punteggio Totale: 79,87% contro 75,68% per FM e 78,33% per TeaCache).
• Robustezza Dimensionale: Mentre i metodi di base soffrono di un "collasso dimensionale catastrofico" (degrado severo in dimensioni specifiche di VBench come la fluidità del movimento o la coerenza temporale) sotto budget stretti, HSA traccia robustamente il riferimento a budget completo attraverso tutte le 16 dimensioni di valutazione.
• Image-to-Video (I2V): HSA preserva con successo l'allineamento della condizionamento dall'immagine e la fedeltà visiva nei compiti I2V, mentre le linee di base FM uniformi a passi ridotti ($T=10$) mostrano un collasso strutturale severo.
• Nessun Profiling Offline: A differenza di TeaCache, che richiede un costoso profiling offline per stimare le fluttuazioni dell'output del modello, HSA opera senza alcun tuning o fine-tuning offline.

5. Significato e Affermazioni

Il documento afferma che HSA affronta un'inefficienza fondamentale nell'inferenza DiT allineando le risorse computazionali con la complessità percettiva e dinamica dei dati visivi. Trattando i token individualmente piuttosto che globalmente, HSA raggiunge significativi aumenti di velocità senza il degrado della qualità tipicamente associato all'accelerazione aggressiva.

Gli autori sottolineano che HSA è un framework flessibile che può essere istanziato con varie strategie di raggruppamento dei token. Sebbene la selezione dinamica produca attualmente i risultati più forti, il framework prevede ulteriori miglioramenti con strategie di raggruppamento più sofisticate. Il lavoro getta le basi per una nuova classe di algoritmi di inferenza che sfruttano l'eterogeneità intrinseca dei dati spazio-temporali per democratizzare la generazione di video ad alta fedeltà.