InTraGen: Trajectory-controlled Video Generation for Object Interactions

1. Il Problema

La generazione video basata su testo (Text-to-Video o T2V) ha fatto progressi significativi, ma soffre di due limitazioni fondamentali quando si tratta di scenari complessi con interazioni tra oggetti:

1. Ambiguità del testo: I modelli di descrizione video esistenti (come Pllava o SharedGPT4Video) spesso non riescono a catturare tutti i dettagli delle interazioni complesse (es. collisioni, incroci, cadute) e si concentrano principalmente sulla disposizione spaziale statica.
2. Carenza nel ragionamento temporale: I codificatori di testo tradizionali (come T5 o CLIP), spesso addestrati su immagini, faticano a comprendere le sequenze temporali descritte nei prompt (es. "inizialmente la macchina rossa è a sinistra, poi viene colpita dalla blu"). Questo porta a modelli che generano oggetti in posizioni errate o ignorano la cronologia degli eventi.

Sebbene esistano approcci di controllo tramite segnali aggiuntivi (come ControlNet per le immagini), estenderli al dominio video è difficile a causa della complessità del movimento. I metodi recenti basati su flussi ottici sparsi (sparse optical flow) spesso falliscono nel distinguere oggetti statici da quelli dinamici o nel mantenere l'identità unica degli oggetti durante le interazioni, portando a deformazioni o cambi di aspetto indesiderati.

2. Metodologia: InTraGen

Il paper propone InTraGen, una pipeline innovativa per la generazione video controllata da traiettorie, progettata specificamente per gestire interazioni realistiche tra oggetti.

Architettura del Modello

• Backbone: Il modello si basa sull'architettura Diffusion Transformer (DiT), che ha dimostrato superiorità rispetto alle tradizionali U-Net per la generazione video a lungo termine grazie alla sua capacità di gestire sequenze temporali complesse.
• Codifica Multi-Modale delle Interazioni: Il cuore dell'innovazione è un nuovo meccanismo di codifica che trasforma le traiettorie di input in condizioni ricche per il generatore. Questo processo divide le informazioni in tre componenti:
  1. Informazione Dinamica (Sparse Pose): Le traiettorie degli oggetti in movimento vengono convertite in un flusso ottico sparso. La direzione e la velocità sono codificate in RGB utilizzando una ruota cromatica.
  2. Informazione Statica e Interattiva (Object ID Maps): Per risolvere l'ambiguità quando gli oggetti sono vicini o fermi, viene introdotta una mappa di ID degli oggetti. Ogni oggetto riceve un ID univoco (codificato in colore) che rimane costante nel tempo. Questo permette al modello di riconoscere oggetti statici e di distinguere oggetti diversi anche quando le loro traiettorie si sovrappongono o si avvicinano.
  3. Fusione: Un encoder di interazione multi-modale combina le rappresentazioni latenti delle pose sparse e delle ID map, allineandole con i token visivi del DiT tramite un VAE.

Dataset Proposti (ViN Dataset)

Per addestrare e valutare il modello in scenari di interazione controllata, gli autori hanno creato il Video Interaction (ViN) Dataset, composto da 50.000 video sintetici generati con Blender e Unity. Il dataset è diviso in quattro sottoinsiemi:

1. Pool Game: Simulazione di biliardo con collisioni complesse e fino a 16 oggetti.
2. Dominoes: Caduta a catena con fino a 20 oggetti.
3. Football: Interazione tra portiere, giocatore e palla in ambienti realistici.
4. MOVi-Extended: Estensione del dataset MOVi originale con video più lunghi e scenari fisici diversificati.

Ogni video include ground truth per caption, flusso ottico denso, flusso ottico sparso e traiettorie precise.

Metrica di Valutazione (MTEM)

Gli autori introducono una nuova metrica quantitativa, il Matching Trajectory Evaluation Metric (MTEM). Questa metrica confronta le traiettorie di ground truth con quelle estratte dai video generati (tramite rilevamento oggetti e tracking). Utilizza l'algoritmo di assegnazione ungherese (Hungarian algorithm) per trovare la corrispondenza ottimale tra le traiettorie generate e quelle reali, calcolando una distanza minima per valutare la fedeltà del movimento.

3. Risultati

I risultati sperimentali dimostrano l'efficacia di InTraGen rispetto allo stato dell'arte (es. Open-Sora-Plan, I2VGen-XL, LUMA, SEINE):

• Performance Quantitativa: InTraGen supera significativamente i modelli baseline su tutte le metriche standard (PSNR, SSIM, LPIPS, FID) e, soprattutto, sulla metrica MTEM.
  • L'aggiunta delle Object ID Maps ha portato a un miglioramento sostanziale rispetto all'uso della sola posa sparso (es. riduzione dell'errore MTEM dal 10.38% al 9.40% e miglioramento del FID da 36.65 a 26.37).
• Performance Qualitativa: I video generati mostrano interazioni fisiche credibili (collisioni, rimbalzi, cadute) mantenendo la coerenza temporale e l'identità degli oggetti.
• Studi con Utenti: Due studi utente hanno confermato che InTraGen è percepito come più realistico nelle interazioni tra oggetti e più fedele alle traiettorie predefinite rispetto ai modelli concorrenti.

4. Contributi Chiave

1. InTraGen: Un nuovo modello di generazione video controllato da traiettorie, specificamente progettato per scenari di interazione multi-oggetto.
2. Dataset ViN: La creazione di quattro nuovi dataset sintetici con interazioni ricche e ground truth completo, essenziali per l'addestramento e la valutazione di modelli di questo tipo.
3. Metrica MTEM: Una nuova metrica quantitativa per valutare l'accuratezza delle traiettorie generate, superando le limitazioni delle metriche puramente visive.
4. Codifica Multi-Modale: Un approccio innovativo che integra ID degli oggetti e pose sparse per risolvere ambiguità tra oggetti statici, dinamici e interagenti.

5. Significato e Impatto

InTraGen rappresenta un passo avanti cruciale verso l'uso dei generatori video come simulatori del mondo reale. Risolvendo il problema dell'ambiguità temporale e della perdita di identità degli oggetti, il metodo permette agli utenti di controllare con precisione non solo cosa appare nel video, ma come gli oggetti interagiscono fisicamente tra loro nel tempo. Questo è fondamentale per applicazioni che richiedono simulazioni fisiche accurate, dalla pianificazione robotica alla creazione di contenuti per videogiochi e cinema, colmando il divario tra la generazione video "estetica" e quella "funzionale" e controllabile.