Riepilogo Tecnico: Generazione Video Composita tramite Guida al Momento dell'Inferenza (CVG)

Enunciato del Problema

I modelli di diffusione Text-to-Video (T2V) hanno raggiunto progressi significativi nella fedeltà visiva e nella coerenza temporale. Tuttavia, falliscono frequentemente su prompt che richiedono una comprensione composita fine-granulare, come relazioni spaziali specifiche (ad esempio, "dietro", "tra"), direzioni di movimento (ad esempio, "girare a sinistra"), conteggi numerici e interazioni complesse tra più entità. Sebbene la condizionalizzazione testuale standard e la guida senza classificatore forniscano segnali globali del prompt, spesso mancano della verifica esplicita necessaria per soddisfare questi vincoli fine-granulari. Le soluzioni esistenti per migliorare il controllo compositivo richiedono tipicamente il riaddestramento del generatore con input ausiliari (ad esempio, bounding box, layout), il fine-tuning tramite modelli di ricompensa o costose ricerche al momento del test, tutte operazioni che richiedono dati aggiuntivi, capacità di calcolo o controlli forniti dall'utente.

Metodologia: CVG

Gli autori propongono CVG (Compositional Video Generation), un framework di guida al momento dell'inferenza che migliora la fedeltà compositiva nei modelli T2V congelati senza modificarne l'architettura o i pesi. L'ipotesi di fondo è che le mappe di attenzione incrociata interne di un modello preaddestrato codifichino già i segnali di ancoraggio spaziotemporale necessari per valutare la correttezza compositiva.

1. Meccanismo Principale

CVG opera estraendo le mappe di attenzione incrociata token-soggetto dal generatore T2V congelato durante il processo di denoising. Queste mappe indicano dove il modello localizza entità specifiche (ad esempio, "cane", "palla") e come queste localizzazioni evolvono nel tempo. Invece di utilizzare il token di relazione stesso, il classificatore riceve solo le mappe di attenzione delle entità coinvolte nella composizione.

2. Il Classificatore Compositivo

Un classificatore leggero viene addestrato per prevedere etichette composizionali (ad esempio, "sinistra", "dietro") basandosi su queste mappe di attenzione.

• Architettura: Il classificatore è composto da un modulo di aggregazione appreso, un backbone congelato di un Modello Vision-Language (VLM) (Qwen2.5-VL-7B) e una testa di classificazione addestrabile.
• Dati di Addestramento: Il classificatore è addestrato su un mix di video reali (ottenuti tramite inversione video) e video sintetici.
• Doppia Inversione per la Prevenzione della Fuoriuscita: Per prevenire la "fuoriuscita compositiva" (dove il classificatore barando leggendo le tracce testuali della parola di relazione nelle mappe di attenzione anziché l'ancoraggio visivo), gli autori adottano una strategia di doppia inversione. Ogni video di addestramento viene invertito due volte: una volta con il prompt compositivo corretto e una volta con un prompt errato campionato dal vocabolario. Entrambe le inversioni sono supervisionate con la stessa etichetta ground-truth. Questo costringe il classificatore a fare affidamento sulla reale disposizione spaziotemporale visiva delle entità.
• Generalizzazione: Poiché il classificatore è costruito su un backbone VLM congelato, eredita ampi prior semantici, permettendogli di generalizzare a etichette composizionali semanticamente correlate oltre l'insieme specifico visto durante l'addestramento.

3. Guida al Momento dell'Inferenza

Durante la generazione del video, il classificatore agisce come un controller differenziabile:

1. A step di denoising selezionati, il sistema estrae le mappe di attenzione incrociata token-soggetto dal latente corrente.
2. Il classificatore prevede una distribuzione sulle classi composizionali.
3. Viene calcolata una perdita cross-entropy tra la previsione e l'etichetta compositiva target.
4. Il gradiente di questa perdita viene retropropagato per aggiornare la variabile latente del video, guidando la traiettoria verso la composizione desiderata.
5. Piano di Guida: Per preservare la qualità visiva e i prior di aspetto del generatore sottostante, la guida viene applicata solo durante i primi 8 step di denoising, dove vengono stabiliti il movimento grezzo e la struttura della scena.

4. Estensioni

• Guida Multi-Compositiva: CVG supporta prompt strutturati temporalmente (ad esempio, "gira a sinistra poi a destra") applicando vincoli compositivi specifici a segmenti temporali mascherati del video.
• Generazione Autoregressiva: Il metodo si estende alla generazione di video lunghi assegnando etichette composizionali target a singoli batch generati, mantenendo la continuità temporale attraverso il contesto autoregressivo.

Contributi Chiave

1. Framework di Controllo al Momento dell'Inferenza: CVG fornisce un metodo per guidare generatori T2V congelati utilizzando gradienti da un classificatore compositivo leggero, eliminando la necessità di fine-tuning, condizionalizzazione ausiliaria o layout forniti dall'utente.
2. Classificatore Basato su VLM: L'introduzione di un classificatore addestrato su mappe di attenzione incrociata token-soggetto utilizzando un backbone VLM congelato, che abilita la generalizzazione a configurazioni composizionali inedite o rare.
3. Addestramento con Doppia Inversione: Una strategia di addestramento innovativa che utilizza la doppia inversione per mitigare la fuoriuscita compositiva, assicurando che il classificatore apprenda dall'ancoraggio visivo piuttosto che da artefatti testuali.
4. Validazione Empirica: Valutazione completa che dimostra una fedeltà compositiva migliorata preservando al contempo la qualità visiva su più backbone (Wan2.2, CogVideoX) e regimi di generazione (video brevi e lunghi).

Risultati Sperimentali

Gli autori hanno valutato CVG sul benchmark T2V-CompBench e su VBench (per video brevi) e VBench-Long (per video lunghi), confrontandolo con generatori base e TTOM (una forte baseline di ottimizzazione al momento del test guidata da layout).

• Prestazioni Quantitative: CVG ha costantemente superato sia i modelli base che TTOM su tutti i backbone testati.
  • Su Wan2.2-14B, CVG ha migliorato il punteggio medio T2V-CompBench da 0.556 (base) a 0.594, superando TTOM (0.579).
  • Su VBench, CVG ha ottenuto i punteggi finali più alti per video brevi (ad esempio, 86.3% su Wan2.2-14B contro 85.0% per TTOM) e video lunghi (69.62% contro 68.08% per TTOM).
  • I guadagni sono stati più pronunciati nelle dimensioni sensibili alla composizione: Movimento, Relazioni Spaziali, Attributi di Contenuto e Attributi Dinamici.
• Miglioramenti Qualitativi: Gli esempi visivi hanno mostrato CVG che realizza correttamente vincoli complessi (ad esempio, "coniglio sopra la tartaruga", "granchio che striscia da sotto un tronco alla deriva") dove le baseline e TTOM fallivano con relazioni spaziali o direzioni di movimento errate.
• Studio con Utenti: In uno studio di preferenza umana su 100 prompt, i partecipanti hanno preferito CVG a TTOM per Compositività (39.6% contro 20.7% su Wan2.2-14B) e Allineamento al Testo, valutando la Qualità come comparabile nella maggior parte dei casi (54.6% "entrambi").

Significato e Affermazioni

Il documento afferma che i fallimenti compositivi nella generazione T2V non devono essere affrontati riaddestrando il generatore. Invece, i segnali di ancoraggio interni del modello (mappe di attenzione incrociata) possono essere sfruttati tramite un classificatore leggero basato su VLM congelato per guidare la generazione al momento dell'inferenza.

Gli autori sottolineano che CVG ottiene questi miglioramenti senza:

• Modificare l'architettura del modello.
• Effettuare fine-tuning del generatore.
• Richiedere layout, bounding box o controlli spaziali forniti dall'utente.

Il lavoro suggerisce che le rappresentazioni interne dei modelli di diffusione video possono servire come meccanismi di controllo azionabili per allineare i video generati a prompt composizionali complessi, offrendo un percorso privo di addestramento ed efficiente verso una maggiore fedeltà compositiva.

Limitazioni

Gli autori notano che l'efficacia di CVG dipende dalla qualità dei segnali di ancoraggio interni del modello. Sebbene il backbone VLM aiuti la generalizzazione, il metodo è più forte per composizioni incentrate sul soggetto (direzione di movimento, layout spaziale) e potrebbe essere meno affidabile per prompt ambigui, composizioni sottili o scene con più soggetti altamente interagenti. L'approccio guida la traiettoria di denoising piuttosto che apprendere nuove capacità generative, il che significa che non può correggere deficit generativi fondamentali nel modello base.