VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Riepilogo Tecnico: VideoMLA

Enunciato del Problema
I modelli di diffusione video causali a rollout prolungato sono diventati l'approccio dominante per la generazione di video in streaming su scala di minuti. Questi modelli si basano tipicamente su una cache Key-Value (KV) a finestra scorrevole di dimensione fissa per mantenere la generazione autoregressiva. Sebbene lavori recenti abbiano innovato all'interno di questa architettura modificando la selezione dei token, la codifica posizionale (ad es. Infinity-RoPE) o le strategie di addestramento (ad es. Self-Forcing), essi preservano in larga misura il layout KV per testa. Nell'attenzione densa standard, ogni token memorizzato conserva chiavi e valori completi per tutte le teste di attenzione. Per un modello come Wan-1.3B, ciò si traduce in un ingombro di memoria massiccio (circa 6,0 GB per una cache di 21 frame latenti), che limita le dimensioni del batch, il throughput e la lunghezza fattibile dei rollout video. I metodi efficienti esistenti modificano l'intero meccanismo di attenzione (ad es. attenzione lineare) o memorizzano solo livelli specifici, ma pochi affrontano il costo di memoria dello stato KV per-token e per-testa attraverso tutti i livelli memorizzati.

Metodologia: VideoMLA
Il paper introduce VideoMLA, la prima applicazione dell'Attenzione Latente Multi-Testa (MLA) alla diffusione video autoregressiva. VideoMLA ristruttura fondamentalmente la cache KV sostituendo chiavi e valori densi per-testa con una rappresentazione latente a basso rango condivisa.

1. Latente di Contenuto a Basso Rango Condiviso: Invece di memorizzare chiavi ($K$) e valori ($V$) separati per ciascuna delle $n_h$ teste, VideoMLA comprime il contenuto di un token $x_t$ in un singolo vettore latente condiviso $c^{KV}_t$ tramite una matrice di proiezione in basso $W^{KV}_\downarrow$. Questo latente ha dimensione $d_c \ll n_h d_h$.
2. Ricostruzione Su Richiesta: Durante il calcolo dell'attenzione, le chiavi di contenuto per-testa ($k^{nope}_{t,h}$) e i valori ($v_{t,h}$) vengono ricostruiti dal latente condiviso utilizzando matrici di proiezione in alto specifiche per testa ($W^K_\uparrow, W^V_\uparrow$).
3. 3D-RoPE Disaccoppiata: Per gestire le informazioni posizionali senza incorporarle nel latente condiviso (il che impedirebbe la condivisione tra teste), il metodo divide la dimensione per-testa in un sottospazio di contenuto ($d^{nope}_h$) e un sottospazio posizionale ($d^{rope}_h$). Viene calcolato e ruotato un singolo chiave posizionale condivisa tra le teste $k^R_t$ utilizzando 3D-RoPE. La cache memorizza la coppia $(c^{KV}_t, k^R_t)$ invece degli stati densi per-testa.
4. Riduzione della Memoria: Questo design riduce lo stato memorizzato per-token da $2n_h d_h$ scalari a $d_c + d^{rope}_h$. Nella configurazione predefinita ($d_c=192, d^{rope}_h=32$), ciò produce una riduzione del 92,7% della memoria della cache KV per livello.

Risultati Chiave e Analisi Spettrale
Un contributo centrale del paper è la risoluzione di un enigma teorico riguardante il motivo per cui MLA funziona nella diffusione video.

• L'Enigma: Nei modelli linguistici, MLA è spesso motivata dall'assunzione che le matrici $W^K$ e $W^V$ pre-addestrate siano intrinsecamente a basso rango. Tuttavia, l'analisi spettrale del backbone video Wan-1.3B rivela che l'operatore congiunto $[W^K; W^V]$ non è a basso rango; il suo rango effettivo al 99% di energia supera 1300, ben al di sopra delle dimensioni latenti pratiche ($d_c=192$).
• La Risoluzione: Gli autori dimostrano che il rango effettivo dell'operatore composto appreso in VideoMLA è determinato dal collo di bottiglia architetturale ($d_c$), e non dallo spettro pre-addestrato. Sia l'inizializzazione SVD che quella casuale saturano il budget di rango imposto fin dall'inizio, e l'addestramento preserva questo budget adattandosi al suo interno. Pertanto, VideoMLA ha successo non recuperando una struttura latente a basso rango nascosta, ma imponendo un budget di rango che il modello impara a sfruttare efficacemente.

Risultati

• Qualità: Su VBench, VideoMLA eguaglia le baseline di streaming a orizzonte breve e ottiene il punteggio complessivo migliore a orizzonti lunghi (60s) tra i metodi valutati. Mantiene l'identità del soggetto, la struttura della scena e la dinamica del movimento, evitando il degrado statico osservato in altri metodi di compressione.
• Efficienza: Il metodo migliora il throughput di inferenza di 1,23× su una singola GPU B200 rispetto alle baseline.
• Scalabilità: Con un budget di memoria fisso (B200), VideoMLA consente dimensioni del batch 8,0× maggiori rispetto all'Attenzione Multi-Testa (MHA) densa alla configurazione predefinita $d_c=192$, e fino a 11,4× maggiori con impostazioni di $d_c$ inferiori, senza errori di esaurimento della memoria (OOM).

Significato e Affermazioni
Il paper afferma che VideoMLA identifica il layout KV per-token come una leva diretta ed efficace per scalare la diffusione video efficiente a orizzonti lunghi, ortogonale ai metodi esistenti che si concentrano sulla selezione dei token o sulla riparametrizzazione posizionale. Riducendo la memoria KV per-token del 92,7% preservando al contempo la fedeltà visiva e la coerenza del movimento, VideoMLA abilita la generazione di video su scala di minuti con latenza significativamente inferiore e throughput più elevato. Il lavoro sposta la domanda progettuale da "qual è il rango intrinseco dell'attenzione video?" a "quale budget latente preserva la qualità video?", dimostrando che i vincoli architetturali possono guidare con successo l'apprendimento anche quando lo spettro pre-addestrato è ad alto rango.