DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

1. Il Problema: Entanglement Semantico-Fisico

I generatori di video basati sul Flow Matching (come Wan 2.1, CogVideoX) producono output ad alta fedeltà e coerenti temporalmente, ma falliscono sistematicamente nel rispettare le leggi fisiche di base (es. oggetti che si interpenetrano, gravità errata, collisioni impossibili).

Il paper identifica la causa radice di questo fallimento non solo nella mancanza di dati fisici, ma nella natura stessa dell'obiettivo di addestramento e nel modo in cui viene applicata la contrastive flow matching (CFM) in contesti condizionati dal testo:

• Entanglement Semantico-Fisico: Nelle prompt testuali, il contenuto della scena (semantica) e il comportamento fisico (dinamica) sono strettamente accoppiati.
• Conflitto dei Gradienti: Quando si applica un obiettivo contrastivo "naive" (campionando negativi casuali), se il prompt negativo è semanticamente simile a quello positivo, i loro campi di velocità (velocity fields) si sovrappongono. Invece di separare le traiettorie, il gradiente contrastivo si oppone direttamente al gradiente di ricostruzione (flow matching), degradando le prestazioni invece di migliorarle. Questo fenomeno è formalizzato matematicamente nel paper come una condizione di allineamento dei gradienti che fallisce quando la distanza tra i target di velocità è piccola.

2. Metodologia: DiReCT

Per risolvere questo conflitto, gli autori introducono DiReCT (Disentangled Regularization of Contrastive Trajectories), un framework di post-training leggero che decompone il segnale contrastivo in due scale complementari, gestendo l'entanglement in modo intelligente.

A. Apprendimento Contrastivo Macro (MaNS - Macro-Contrastive Negative Sampling)

• Obiettivo: Separazione globale delle traiettorie senza interferenze.
• Meccanismo: Lo spazio delle condizioni (prompt) viene partizionato in $K$ regioni semantiche coerenti (tramite clustering sugli embedding del testo). Per ogni prompt positivo, i campioni negativi sono estratti esclusivamente da cluster semanticamente distanti.
• Risultato: Garantisce che la differenza di velocità ($\delta$) tra positivo e negativo sia grande, assicurando che i gradienti contrastivi e di ricostruzione siano allineati (cooperativi) e non in conflitto.

B. Apprendimento Contrastivo Micro (MiNS - Micro-Contrastive Hard Negatives)

• Obiettivo: Distinzione fisica fine-granularità tra scene semanticamente simili.
• Meccanismo: Costruisce "negativi difficili" (hard negatives) che condividono la stessa semantica della scena ma violano una singola dimensione fisica controllata.
  • Vengono utilizzate 5 dimensioni fisiche: Cinematica (tempo/velocità), Forze (direzione/tipo), Materiale (viscosità/elasticità), Interazione (rimbalzo/incollamento) e Magnitudine (intensità).
  • Un LLM (Qwen2.5-7B) perturba il prompt originale modificando solo la dimensione fisica target, mantenendo invariati oggetti, scena e stile.
  • Il modello base genera un video da questo prompt perturbato per creare il negativo.
• Vantaggio: Poiché la differenza di velocità è concentrata solo nello spazio fisico rilevante, il gradiente contrastivo rimane utile anche quando la similarità semantica è alta, evitando il conflitto descritto nella sezione precedente.

C. Regularizzazione Distribuzionale (Anchoring)

Per prevenire il "catastrophic forgetting" (dimenticare la qualità visiva pre-addestrata), viene introdotta una penalità KL nello spazio delle velocità. Questo mantiene il modello fine-tunato vicino alla distribuzione del modello pre-addestrato, permettendo miglioramenti fisici mirati senza degradare la coerenza visiva.

3. Contributi Chiave

1. Formalizzazione del Conflitto dei Gradienti: Dimostrazione teorica ed empirica che il campionamento negativo naive nella CFM testuale porta a un conflitto tra l'obiettivo di separazione e quello di ricostruzione a causa dell'entanglement semantico-fisico.
2. Framework DiReCT: Introduzione di un metodo di post-training che scompone l'obiettivo contrastivo in scale macro (separazione globale) e micro (distinzione fisica fine), risolvendo il conflitto dei gradienti.
3. Generazione di Negativi "Hard" Guidata da LLM: Un approccio innovativo per creare dati di addestramento fisicamente inconsistenti ma semanticamente coerenti, permettendo al modello di imparare le leggi fisiche senza bisogno di simulatori fisici complessi o dati etichettati per fenomeno.
4. Efficienza: Il metodo non richiede tempi di addestramento aggiuntivi rispetto al Supervised Fine-Tuning (SFT) standard e non aumenta significativamente il costo computazionale rispetto alle alternative basate su DPO (Direct Preference Optimization).

4. Risultati Sperimentali

Il metodo è stato valutato sul modello Wan 2.1-1.3B e confrontato con baseline e modelli SOTA (State-of-the-Art) di dimensioni molto maggiori.

• Benchmark VideoPhy:
  • Miglioramento del 16.7% nel punteggio di "Physical Commonsense" rispetto alla baseline zero-shot.
  • Miglioramento dell'11.3% rispetto all'SFT standard.
  • Punteggio medio (AVG) di 44.71%, competitivo con modelli molto più grandi come Mochi (10B parametri).
• Benchmark WorldModelBench:
  • DiReCT ottiene il punteggio totale più alto (5.68) tra tutti i modelli confrontati.
  • Supera CogVideoX-5B (5.33) e Mochi (4.91), pur avendo 3.8 volte meno parametri di CogVideoX e 7.7 volte meno di Mochi.
• Analisi delle Dinamiche di Addestramento:
  • Mentre l'SFT standard si satura dopo 5.000 step, DiReCT continua a migliorare fino a 15.000 step, dimostrando che il segnale contrastivo fornisce un apprendimento sostenibile e non si esaurisce una volta appresa la ricostruzione.
• Qualità Visiva: Il modello mantiene la capacità di seguire le istruzioni e la qualità visiva, senza mostrare segni di catastrophic forgetting.

5. Significato e Impatto

DiReCT rappresenta un passo avanti significativo nella generazione video fisica. Dimostra che:

1. La scalabilità non è l'unica soluzione: Migliorare la comprensione fisica non richiede necessariamente modelli più grandi, ma un'architettura di addestramento più intelligente che disentangli semantica e fisica.
2. L'importanza della struttura dei dati: La qualità dei campioni negativi (hard negatives) è cruciale; un campionamento casuale può essere dannoso, mentre un campionamento strutturato (MaNS/MiNS) è essenziale.
3. Efficienza dei costi: Offre un modo economico ed efficiente per incorporare la "commonsense physics" nei generatori video, rendendo i modelli più affidabili per applicazioni che richiedono simulazioni del mondo reale (es. guida autonoma, robotica, pianificazione).

In sintesi, DiReCT risolve il paradosso per cui i modelli video moderni "sembrano" reali ma non si "comportano" come tali, fornendo un framework scalabile per allineare la generazione video alle leggi fondamentali della fisica.