Riepilogo Tecnico: MILLIVID

Problematica

I modelli generativi video hanno raggiunto significativi progressi in termini di realismo e scala, tuttavia faticano con la coerenza a lungo raggio. Generare video che rimangano coerenti dall'inizio alla fine è difficile perché mantenere un contesto temporale prolungato richiede lunghezze di sequenza dei transformer impraticabili. Gli attuali approcci autoregressivi generano i video a blocchi (chunk), dove il blocco più recente funge da contesto per quello successivo. Man mano che i blocchi più vecchi escono dalla finestra di contesto, il loro contenuto viene dimenticato, portando a incoerenze nella geometria e nella permanenza degli oggetti.

Aumentare la lunghezza del contesto è computazionalmente proibitivo a causa della scalabilità quadratica dei costi dei transformer rispetto alla lunghezza della sequenza. Sebbene metodi recenti come FramePack tentino di mitigare questo problema allocando meno token ai frame di contesto distanti, gli autori osservano che questo approccio da solo non riesce a richiamare il contenuto che esce dall'inquadratura della telecamera, anche se tale contenuto rimane all'interno della finestra di contesto compressa.

Metodologia

Il paper presenta MILLIVID, un modello generativo video basato su diffusione progettato per massimizzare la coerenza a lungo raggio sotto un vincolo di lunghezza fissa della sequenza. L'approccio si compone di due componenti primarie:

1. Autoencoding Gerarchico

Gli autori addestrano un autoencoder che comprime ogni frame video in una gerarchia di token latenti anziché in una singola rappresentazione piatta.

• Struttura: L'encoder elabora una piramide di immagini multi-risoluzione. A ogni livello $\ell$, l'immagine viene suddivisa in patch in $N_\ell$ token, dove la risoluzione si dimezza a ogni livello più grossolano ($N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$).
• Distribuzione dell'informazione: I livelli più grossolani (con meno token) catturano la struttura globale e la semantica della scena, mentre i livelli più fini aggiungono l'aspetto e la texture ad alta frequenza.
• Addestramento: L'autoencoder è addestrato per ricostruire l'intera piramide di risoluzione partendo da un singolo livello campionato casualmente. Il decoder deve ricostruire l'intera cascata di risoluzioni basandosi sui token di quel livello specifico.
• Vantaggio: A differenza del semplice downsampling o del mean-pooling utilizzati nei modelli a cascata, questo tokenizer gerarchico appreso preserva i dettagli strutturali rilevanti anche ad alti livelli di compressione, evitando ricostruzioni sfocate.

2. Generazione Coarse-to-Fine Rollout

Un modello di diffusione video viene addestrato all'interno di questo spazio latente gerarchico utilizzando una nuova strategia di rollout coarse-to-fine (dal grossolano al fine).

• Vincolo: Il modello opera sotto una lunghezza di sequenza del transformer $S$ fissa.
• Strategia: Invece di generare frame a piena risoluzione in modo autoregressivo (il che limiterebbe il numero di frame di contesto), il modello genera prima una lunga sequenza di frame altamente compressi (grossolani). Successivamente, affina progressivamente questi frame verso scale più fini.
• Gestione del contesto: Fondamentalmente, il processo di generazione assicura che il contesto includa sempre il frame più recente ad alta risoluzione e i frame futuri generati solo fino ai livelli più grossolani. Ciò previene le incoerenze (ad esempio, un cartello che riporta "stop" in una vista grossolana ma "go" in una versione raffinata) assicurando che il modello risolva l'incertezza simultaneamente attraverso la risoluzione e il tempo.
• Addestramento: Il modello è addestrato per denoisare i token condizionati su token di contesto puliti attraverso diversi livelli della gerarchia. Le codifiche posizionali per livello, frame, riga e colonna permettono a un singolo modello di gestire tutti i passaggi di rollout.

Contributi Chiave

1. Autoencoding Gerarchico per il Video: Gli autori dimostrano che l'addestramento di un autoencoder con uno spazio latente gerarchico produce una compressione che preserva meglio i dettagli rilevanti rispetto allo standard downsampling o alla patchificazione.
2. Rollout Coarse-to-Fine: Introducono una strategia di generazione che sfrutta lo spazio gerarchico per scambiare il dettaglio con l'orizzonte temporale. Generando molti frame grossolani all'inizio, il modello può coprire un contesto temporale molto più lungo entro un budget fisso di token.
3. Coerenza a Lungo Raggio Superiore: Il paper mostra che questo approccio produce rollout a lungo termine significativamente più coerenti rispetto ai baseline allo stato dell'arte come FramePack e il rollout autoregressivo a piena risoluzione, senza sacrificare la qualità del singolo frame.

Risultati

Il metodo è stato valutato su LOOPCRAFT, un dataset personalizzato di 1024 frame di gameplay di Minecraft progettato per testare la memoria (contenuto che esce e rientra nell'inquadratura).

• Metriche di Coerenza: MILLIVID ha superato significativamente i baseline (FramePack e Full-Resolution Rollout) su orizzonti brevi, medi e lunghi (frame 1–768).
  • PSNR: 16.69 (lungo) vs 11.98 (FramePack) e 11.02 (Full-Res).
  • LPIPS: 0.335 (lungo) vs 0.533 (FramePack) e 0.630 (Full-Res).
  • LightGlue Matches: 62.4 (lungo) vs 7.0 (FramePack) e 5.0 (Full-Res).
• Metriche di Qualità: Il metodo ha mantenuto una qualità comparabile (FVD e FID) rispetto ai baseline, dimostrando che i guadagni in coerenza non sono avvenuti a scapito della fedeltà visiva.
• Studi di Ablazione:
  • Sostituire il tokenizer gerarchico appreso con un approccio a cascata (mean-pooled) ha portato a una coerenza e qualità inferiori.
  • Applicare lo spazio latente gerarchico all'architettura FramePack non ha migliorato le prestazioni, suggerendo che il beneficio derivi dall'interazione specifica tra la gerarchia appresa e la strategia di rollout coarse-to-fine.
  • Una variante "speculare" di FramePack (che predice target grossolani a lungo raggio) ha mostrato una coerenza migliorata, supportando l'ipotesi che i modelli costretti a predire più lontano nel futuro imparino a utilizzare meglio il contesto distante.

Significato e Claim

Il paper sostiene che la coerenza a lungo raggio nella generazione video richieda un compromesso fondamentale: dato un numero fisso di sequenza, bisogna decidere quale informazione conservare. MILLIVID propone che la struttura grossolana (layout della scena, semantica) debba essere preservata su lunghi periodi di tempo, mentre i dettagli fini (texture) possono essere dimenticati o generati successivamente.

Apprendendo una gerarchia coarse-to-fine e allocando esplicitamente il budget di token del transformer per dare priorità a molti frame grossolani passati rispetto a pochi frame fini recenti, il modello ottiene guadagni drammatici nel richiamare la struttura della scena 3D su centinaia di frame. Gli autori affermano che questo è un passo significativo verso applicazioni che richiedono coerenza temporale prolungata, come la modellazione del mondo e la robotica, senza fare affidamento su meccanismi di recupero esterni o mappe 3D esplicite.

Gli autori notano dei limiti, specificamente che il metodo non è progettato per il fine-tuning diretto di modelli di diffusione video pre-addestrati standard e richiede circa il 33% di passaggi di rollout in più rispetto a FramePack. Tuttavia, ritengono che il compromesso per un aumento drammatico della coerenza sia vantaggioso.