Sintesi Tecnica: UniTemp

Definizione del Problema

I modelli di diffusione video autoregressivi sono emersi come un approccio promettente per la generazione efficiente di video lunghi, utilizzando la generazione block-wise e il caching key-value (KV). Tuttavia, i metodi esistenti sono limitati alla generazione temporale causale (forward), dove ogni blocco è condizionato esclusivamente sul contenuto precedentemente generato. Questa limitazione ostacola i flussi di lavoro pratici per la creazione di video che richiedono un ordine temporale flessibile, come:

• Estensione all'indietro (backward): Generare un prologo condizionato da una clip esistente.
• Generazione inbetween: Riempire lacune temporali tra due segmenti.
• Storytelling visivo: Generare prima i fotogrammi chiave e connetterli tra loro.

I tentativi di estendere ingenuamente i modelli solo forward per supportare la generazione backward risultano in un grave sfarfallio (flickering) e discontinuità tra i blocchi, specialmente in scene ad alto movimento. Il documento identifica la causa radice di questo artefatto nell'architettura Causal 3D VAE ampiamente utilizzata nei modelli di diffusione video allo stato dell'arte (ad es., CogVideoX, HunyuanVideo, Wan). Il Causal 3D VAE codifica i latent strettamente condizionati dal contesto passato. Sebbene ciò sia in linea con la generazione forward, crea un disallineamento fondamentale durante la generazione backward: il decoder si aspetta un contesto passato che non è disponibile, portando a visibili artefatti di confine. Riaddestrare un VAE non causale è impraticabile poiché romperebbe la compatibilità con i modelli teacher pre-addestrati esistenti.

Metodologia: UniTemp

Gli autori propongono UniTemp, un framework di distillazione bidirezionale unificato che addestra un singolo modello student autoregressivo capace di generare video in qualsiasi direzione temporale (forward, backward o inbetween) senza modificare il teacher o il VAE pre-addestrato.

1. Latent Anchor per Blocco (Blockwise Anchor Latents)

Per affrontare lo sfarfallio tra i blocchi causato dalla mancanza di contesto passato del VAE causale durante la generazione backward, gli autori introducono i latent anchor per blocco.

• Meccanismo: Durante la generazione backward, la dimensione del blocco viene espansa da $B$ a $(P + B)$, dove $P$ è il numero di latent anchor. Questi latent anchor rappresentano i token video precedenti.
• Funzione: Il blocco espanso viene denoised congiuntamente utilizzando l'auto-attenzione a sequenza completa. Ciò consente al blocco target di prestare attenzione a una versione proxy del contesto passato mancante (i latent anchor) anche quando la generazione avviene in ordine inverso.
• Scarto: Dopo il denoising, i latent anchor vengono scartati e non inclusi nel output finale. Servono esclusivamente a stabilizzare la generazione del blocco target fornendo il contesto necessario per il decoder causale.
• Risultato: Questo meccanismo ripristina efficacemente il contesto passato mancante ai confini dei blocchi, riducendo sostanzialmente gli artefatti visivi e lo sfarfallio tra i blocchi.

2. Distillazione Bidirezionale Unificata

UniTemp impiega un framework di distillazione asimmetrica (basato su Self-Forcing) per addestrare un singolo modello student ($G_\theta$) supervisionato da un modello di diffusione teacher congelato.

• Addestramento: Lo student è addestrato sia su compiti di generazione forward che backward utilizzando un modello condiviso e un "fake" critic condiviso ($\mu_{fake}^\phi$).
  • Forward: Segue lo standard rollout block-wise autoregressivo.
  • Backward: Utilizza i latent anchor per espandere la finestra di contesto.
• Loss: Il framework utilizza la Distribution Matching Distillation (DMD) per far corrispondere la distribuzione dell'output dello student a quella del teacher, aggiornando lo student tramite un gradiente derivato dalla differenza tra lo score del teacher e lo score del fake critic.
• Efficienza: Condividendo i modelli tra le direzioni, il framework evita i costi di memoria di generator separati e riduce il divario di performance tra la generazione forward e quella backward.

3. Condizionamento Versatile al Tempo di Test

L'architettura unificata consente un condizionamento flessibile durante l'inferenza:

• Generazione in Qualsiasi Direzione: Il modello può condizionarsi su arbitrarie cache KV passate, future o su entrambe.
• Sink Latents Guidati da Entrambe le Estremità: Il framework consente di posizionare "sink latents" (token di stabilizzazione) sia all'inizio che alla fine di una sequenza per controllare la variazione del contenuto su lunghe durate.
• Generazione Inbetween: Il modello può riempire il contenuto tra un blocco iniziale (head) e un blocco finale (tail) condizionandosi sulle rispettive cache KV, indipendentemente dalla dimensione del blocco usata durante l'addestramento (purché l'orizzonte di attenzione rientri nei limiti di addestramento).

Contributi Chiave

1. Framework UniTemp: Un framework di distillazione unificato che consente la generazione video autoregressiva in qualsiasi direzione temporale (forward, backward, inbetween) utilizzando un singolo modello.
2. Latent Anchor per Blocco: Un meccanismo innovativo per mitigare lo sfarfallio tra i blocchi nella generazione backward causato dai VAE 3D causali, ripristinando il contesto passato mancante senza riaddestrare il VAE.
3. Strategia di Addestramento Unificata: Un approccio a modello condiviso che mantiene l'efficienza dell'addestramento e supporta un condizionamento flessibile al tempo di test, superando i baseline a modelli separati.
4. Capacità Dimostrate: Il framework abilita workflow diversificati, inclusi l'estensione video bidirezionale, le transizioni di scena, la generazione di video in loop e lo storytelling visivo, il tutto senza fine-tuning specifico per il task.

Risultati

Gli esperimenti dimostrano che UniTemp raggiunge prestazioni competitive rispetto ai metodi solo forward, abilitando al contempo nuove capacità:

• Generazione di Video Brevi: Sui video di 5 secondi, UniTemp raggiunge prestazioni comparabili al baseline Self-Forcing sia in direzione forward che backward, con punteggi leggermente superiori nella generazione backward.
• Generazione di Video Lunghi: UniTemp supporta la generazione stabile di video lunghi (fino a 100s). Utilizzando i sink latents guidati da entrambe le estremità, controlla efficacemente la deriva del contenuto e mantiene un'alta coerenza del soggetto e qualità estetica, superando i baseline basati sull'addestramento nella generazione di contenuti dinamici.
• Generazione Inbetween: UniTemp supera modelli specializzati come Wan FLF2V e Generative Inbetweening (GI) per coerenza dello sfondo, qualità dell'immagine e distribuzione del video. Raggiunge una superiore coerenza di confine riutilizzando i latent dei frame di condizionamento invece di rigenerarli.
• Riduzione degli Artefatti: L'introduzione dei latent anchor riduce il rapporto di sfarfallio tra i blocchi nella generazione backward da 1.42 (baseline) a 1.07 (con $P=3$), avvicinandosi al valore ideale di 1.0.

Significato

Il documento sostiene che UniTemp colmi il divario tra l'efficienza della generazione video autoregressiva e la flessibilità richiesta dalla creazione video nel mondo reale. Risolvendo la specifica sfida tecnica dell'incompatibilità del VAE causale con la generazione backward tramite i latent anchor, UniTemp permette a un singolo modello di gestire diversi modi di condizionamento temporale. Ciò elimina la necessità di molteplici modelli specializzati o di costosi metodi di attenzione a sequenza completa, offrendo una soluzione scalabile per compiti complessi di editing video e storytelling.

Limitazioni

Gli autori riconoscono che la generazione backward comporta un calcolo per blocco aggiuntivo dovuto al denoising congiunto dei latent anchor. Inoltre, il VAE causale e il modello teacher rimangono intrinsecamente orientati al senso forward; sebbene i latent anchor mitigino tale asimmetria, non la eliminano completamente. Gli autori suggeriscono di esplorare architetture VAE bidirezionali compatibili con i teacher pre-addestrati esistenti come direzione per il lavoro futuro.