Inference-time Physics Alignment of Video Generative Models with Latent World Models

Questo lavoro introduce WMReward, un metodo di allineamento a tempo di inferenza che sfrutta i modelli latenti del mondo come reward per guidare la generazione video verso una maggiore coerenza fisica, ottenendo risultati all'avanguardia nel challenge PhysicsIQ di ICCV 2025.

L'essenziale

Immagina di avere un regista di film molto talentuoso, capace di creare video incredibilmente belli e realistici. Questo regista è un'intelligenza artificiale chiamata "modello generativo video". Tuttavia, c'è un piccolo problema: anche se i suoi film sono bellissimi da vedere, spesso la fisica non funziona.

Ad esempio, nel suo film, una palla potrebbe attraversare un muro come se fosse fantasma, un oggetto potrebbe cadere verso l'alto, o l'acqua potrebbe fluire come se fosse fatta di fumo invece che di liquido. Il pubblico si accorge subito che qualcosa "non torna", anche se non sa esattamente perché.

Gli scienziati hanno scoperto che il problema non è solo nel modo in cui il regista ha imparato (durante la sua "scuola" o addestramento), ma anche nel modo in cui sceglie le scene finali.

Ecco come la nuova ricerca, chiamata WMReward, risolve il problema usando un'idea semplice ma geniale.

1. Il Problema: Il Regista che non capisce la gravità

Finora, per correggere questi errori, si pensava di dover "ri-scuolare" il regista per mesi, mostrandogli milioni di video di fisica corretta. È costoso e lento.
Gli autori del paper dicono: "Aspetta! Forse non dobbiamo cambiare il regista, ma dobbiamo solo dargli un assistente che lo controlla mentre lavora."

2. La Soluzione: Il "Fisico Esperto" (Il Modello del Mondo Latente)

Immagina che il regista (il modello generatore) stia dipingendo un quadro a colpi di pennellate (questo è il processo di "denoising", dove l'immagine passa dal rumore alla chiarezza).
Ora, introduciamo un Fisico Esperto (chiamato VJEPA-2 nella ricerca).

• Questo Fisico Esperto non guarda i dettagli estetici (i colori, la bellezza del viso).
• Guarda solo come le cose si muovono. Capisce istintivamente che un oggetto lanciato in aria deve ricadere, che un bicchiere che cade si rompe, e che l'acqua scorre verso il basso.

3. Come funziona: Il "Giudice" durante la creazione

Invece di aspettare che il film sia finito per correggerlo, il Fisico Esperto guarda il regista mentre sta lavorando.

Ecco il processo passo dopo passo, con una metafora culinaria:

• Il Cuoco (Il Modello Video): Sta preparando un piatto (il video).
• Il Critico Gastronomico (Il Fisico Esperto): Non assaggia il piatto alla fine. Assaggia ogni ingrediente mentre viene aggiunto.
• Il Sistema WMReward: È il sistema che collega i due.

Quando il Cuoco crea una scena, il Fisico Esperto dice: "Ehi, se lanci quella mela così, secondo le leggi della fisica dovrebbe cadere qui, non lì!".
Se la scena proposta dal Cuoco è "sorprendente" per il Fisico (cioè se viola le leggi della fisica), il sistema le dà un punteggio basso. Se la scena è coerente con la realtà, il punteggio è alto.

4. La Magia: Scegliere il Migliore (Best-of-N) e Guidare la Mano

Il sistema usa due trucchi per ottenere il risultato perfetto:

1. Il "Best-of-N" (Scegliere il migliore tra molti):
   Immagina che il Cuoco prepari 16 piatti diversi (16 tentativi di video) partendo dallo stesso ingrediente iniziale. Il Fisico Esperto li assaggia tutti e sceglie quello che rispetta meglio le leggi della fisica. È come dire: "Di questi 16 tentativi, questo è l'unico in cui la gravità funziona!".

2. La "Guida" (Guidance):
   Invece di aspettare la fine, il Fisico Esperto sussurra al Cuoco durante la preparazione: "Attento, stai mescolando troppo forte, l'acqua sta per uscire dalla pentola!". Questo aiuta il Cuoco a correggere la rotta mentre crea, spingendo il video verso una direzione più realistica.

5. Il Risultato: Vincitori Assoluti

Grazie a questo metodo, il team ha partecipato a una gara chiamata PhysicsIQ (una specie di Olimpiade della fisica per le intelligenze artificiali).

• Prima: I modelli migliori prendevano circa il 55% di punti.
• Con WMReward: Hanno preso il 62,64%, vincendo la gara e battendo tutti i precedenti record.

Inoltre, hanno fatto testare i video a persone vere. Gli umani hanno preferito i video corretti dal Fisico Esperto perché sembravano più naturali, più fluidi e meno "strani", anche se la qualità visiva era la stessa.

In sintesi

Questa ricerca ci insegna che non serve sempre "ri-addestrare" un'intelligenza artificiale da zero per renderla più intelligente. A volte, basta darle un bravo supervisore (un modello del mondo che capisce la fisica) che la controlla mentre lavora, facendole scegliere le opzioni migliori tra molte possibilità.

È come se avessimo un regista geniale ma distratto, e gli avessimo messo accanto un consulente di fisica esperto che gli dice: "No, non così. Prova a girare la telecamera in quel modo, la fisica sarà perfetta!". Il risultato? Film che non solo sono belli, ma che hanno senso.

Sommario tecnico

1. Il Problema

I modelli generativi video all'avanguardia (come Sora, MAGI-1, Wan) hanno dimostrato capacità notevoli nella creazione di contenuti visivamente accattivanti. Tuttavia, soffrono di una comprensione fisica insufficiente, producendo video che violano principi fisici fondamentali (es. interazioni tra solidi, comportamento dei fluidi, continuità temporale).
Mentre la ricerca precedente ha attribuito questo limite alla fase di pre-addestramento (basata sulla minimizzazione dell'errore di ricostruzione a livello di pixel o feature), gli autori identificano che una parte significativa di questa carenza deriva da strategie di inferenza subottimali. L'obiettivo è quindi migliorare la plausibilità fisica dei video generati senza ri-addestrare i modelli generativi, intervenendo direttamente durante il processo di generazione (inference-time).

2. Metodologia: WMReward

Il paper introduce WMReward, un approccio di allineamento a tempo di inferenza che sfrutta i Modelli del Mondo Latenti (Latent World Models) come funzione di ricompensa per guidare la generazione.

• Il Concetto Chiave: Utilizzano un modello del mondo latente pre-addestrato, in particolare VJEPA-2, che è stato addestrato a prevedere stati futuri in uno spazio latente compresso piuttosto che a livello di pixel. Questo permette al modello di ignorare i dettagli superficiali e focalizzarsi su dinamiche fondamentali come il movimento e la continuità degli oggetti.
• La Funzione di Ricompensa (Surprise Score):
  • Durante la generazione di un video, si applica una finestra scorrevole che divide i frame in un contesto ($C$) e un orizzonte di previsione ($M$).
  • Il modello VJEPA-2 osserva i frame di contesto e predice le rappresentazioni latenti dei frame futuri.
  • Si calcola la somiglianza coseno tra la previsione del modello del mondo e le rappresentazioni latenti dei frame effettivamente generati dal modello video.
  • La "sorpresa" (o errore di previsione) è definita come $1 - \cos(\text{previsione}, \text{realtà})$. Un video fisicamente plausibile dovrebbe avere una bassa sorpresa (alta coerenza con la previsione del modello del mondo).
• Strategie di Campionamento:
  Per campionare da una distribuzione "inclinata" (tilted distribution) che favorisce i video con alta ricompensa fisica, vengono proposte tre strategie:
  1. Guidance ($\nabla$): Utilizza il gradiente della funzione di ricompensa per modificare il processo di denoising, spingendo il modello verso regioni ad alta plausibilità fisica.
  2. Best-of-N (BoN): Genera $N$ campioni indipendenti e seleziona quello con il punteggio di ricompensa più alto.
  3. $\nabla +$ BoN: Una combinazione ibrida che utilizza la guida per generare $N$ campioni e poi seleziona il migliore. Questa strategia si è dimostrata la più efficace, offrendo un migliore scalabilità.

3. Contributi Chiave

1. Validazione dei Modelli del Mondo Latenti: Dimostrano che i modelli del mondo latenti (come VJEPA) possono fungere da eccellenti modelli di ricompensa per la plausibilità fisica, superando approcci basati su VLM (Vision-Language Models) o ricostruzioni pixel-based.
2. Allineamento a Tempo di Inferenza: Introducono un metodo che non richiede il ri-addestramento dei modelli generativi video, ma ne migliora le prestazioni sfruttando la potenza di calcolo aggiuntiva durante l'inferenza (test-time compute).
3. Scalabilità: Mostrano che le prestazioni migliorano costantemente all'aumentare dello spazio di ricerca (numero di particelle $N$) e dell'uso della guida, confermando che allocare più risorse computazionali all'inferenza porta a video fisicamente più corretti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli generativi diversi (MAGI-1, Sora2, vLDM) e su diversi setting (Text-to-Video, Image-to-Video, Video-to-Video).

• Benchmark PhysicsIQ: Il metodo ha raggiunto lo stato dell'arte (SOTA) sul benchmark PhysicsIQ, ottenendo un punteggio finale del 62,64% (nella versione challenge) e 62,0% nel paper principale, superando il precedente record di 7,42 punti percentuali.
• Miglioramenti Quantitativi:
  • Su Image-to-Video (I2V): +4,13% rispetto a Sora2.
  • Su Video-to-Video (V2V): +6,78% rispetto a MAGI-1.
  • Su Text-to-Video (VideoPhy): Miglioramenti significativi nella coerenza fisica (PC), sebbene con un lieve compromesso nell'aderenza semantica (SA) dovuto alla natura "agnostica" del testo della ricompensa VJEPA.
• Studio Umano: Uno studio di preferenza umana ha confermato i risultati quantitativi, mostrando un aumento dell'11,4% nel tasso di vittoria (win rate) per la plausibilità fisica rispetto ai baseline, senza degradare la qualità visiva generale.
• Confronto con altri Reward: WMReward ha superato segnali di ricompensa basati su VLM (come Qwen-VL) e modelli di ricostruzione pixel (VideoMAE), confermando che la "sorpresa" nello spazio latente è un proxy migliore per la fisica.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso la creazione di modelli generativi video affidabili per applicazioni critiche come la robotica e la guida autonoma, dove la comprensione della fisica è essenziale.

• Cambiamento di Paradigma: Sposta l'attenzione dal solo miglioramento del pre-training all'ottimizzazione dell'inferenza, dimostrando che la potenza di calcolo test-time può essere utilizzata efficacemente per "correggere" le allucinazioni fisiche dei modelli.
• Generalizzabilità: L'approccio non è legato a un singolo modello generativo o a VJEPA-2 specifico; è un framework generale che può essere applicato a qualsiasi modello generativo video utilizzando un modello del mondo latente come guida.
• Futuro: Apre la strada allo sviluppo di reward models più sofisticati che possano integrare anche la comprensione semantica del testo, risolvendo il trade-off attuale tra coerenza fisica e aderenza al prompt.

In sintesi, il paper dimostra che integrare la conoscenza fisica di un modello del mondo latente nel processo di generazione video, tramite un meccanismo di ricompensa e ricerca a tempo di inferenza, è una strategia efficace, scalabile e priva di costi di ri-addestramento per ottenere video fisicamente plausibili.