PhyCo: Learning Controllable Physical Priors for Generative Motion

1. Enunciato del Problema

I moderni modelli di diffusione video hanno ottenuto successi notevoli nella sintesi di texture realistiche, illuminazione e continuità del movimento. Tuttavia, faticano significativamente con la coerenza fisica. I fallimenti comuni includono:

• Oggetti che derivano o cadono a velocità irrealistiche sotto l'effetto della gravità.
• Collisioni prive di un rimbalzo realistico (restituzione).
• Oggetti morbidi che non si deformano secondo le proprietà del materiale.
• Mancanza di Controllabilità: Sebbene i modelli fondazionali siano addestrati su vasti dataset, non possono essere manipolati in modo controllato per generare variazioni specifiche nelle proprietà fisiche (ad esempio, cambiando l'attrito o l'intensità della forza) senza riaddestramento o guida esterna complessa.

Le soluzioni esistenti rientrano in due categorie, entrambe con limitazioni:

1. Simulazione Esplicita: Metodi che accoppiano modelli di diffusione con risolutori fisici (ad esempio, dinamica dei corpi rigidi, MPM) richiedono la ricostruzione della geometria 3D o materiali predefiniti durante l'inferenza, limitando la scalabilità e la generalizzazione.
2. Priors Impliciti: Metodi che utilizzano prompt linguistici o di traiettoria migliorano la coerenza semantica ma mancano di controllo continuo e fine su attributi fisici diversificati come deformazione, restituzione e attrito.

2. Metodologia

PhyCo introduce un framework che abilita un controllo continuo, interpretabile e fondato sulla fisica sulla generazione video senza richiedere simulatori o ricostruzione geometrica durante l'inferenza. L'approccio consta di tre componenti principali:

A. Dataset su Grande Scala Fondato sulla Fisica

• Scala e Diversità: Gli autori hanno costruito un dataset di oltre 100.000 video fotorealistici di simulazione utilizzando il framework Kubric, PyBullet (fisica) e Blender (rendering).
• Scenari: Il dataset copre sei scenari controllati (ad esempio, mattoni che scivolano, palle che rimbalzano, impatti su corpi deformabili) che spaziano dalle collisioni rigide alle dinamiche deformabili.
• Annotazioni: A differenza dei dataset precedenti, PhyCo fornisce mappe di proprietà fisiche allineate ai pixel per quattro attributi chiave:
  1. Attrito ($\mu_f$)
  2. Restituzione ($e$)
  3. Deformazione (Parametri Neo-Hookeani: $\mu, \lambda, \gamma$)
  4. Forza Applicata (Intensità e direzione)
• Progettazione: Le simulazioni sono visivamente pulite ma ricche dal punto di vista fisico, permettendo al modello di disaccoppiare l'aspetto visivo dalle dinamiche sottostanti.

B. Fine-Tuning Supervisionato dalla Fisica (Fase 1)

• Architettura: Gli autori effettuano il fine-tuning di un backbone di diffusione pre-addestrato (Cosmos-Predict2-2B) utilizzando un'architettura ControlNet.
• Condizionamento: Il processo di denoising è condizionato su mappe di proprietà fisiche allineate spazialmente ($p$). Queste mappe vengono tokenizzate e proiettate tramite una rete adattatrice per corrispondere al backbone DiT (Diffusion Transformer).
• Strategia di Addestramento: Solo i livelli ControlNet vengono affinati; i pesi del modello base e del tokenizzatore rimangono congelati per preservare le rappresentazioni pre-addestrate. Il modello viene addestrato su sottoinsiemi del dataset in cui specifiche proprietà fisiche si manifestano nelle dinamiche.

C. Ottimizzazione Guidata da Reward tramite VLM (Fase 2)

• Motivazione: Il fine-tuning supervisionato da solo potrebbe non garantire una forte fedeltà del controllo. Per colmare questo divario, viene utilizzato un Modello Vision-Language (VLM) come segnale di reward differenziabile.
• Processo:
  1. Rollout: Invece di valutare i passaggi intermedi rumorosi, il modello esegue un rollout di denoising a $N$ passi per generare un video previsto $\hat{x}_0$.
  2. Valutazione: Un VLM affinato (Qwen2.5-VL-3B) analizza il video generato utilizzando una "Banca di Domande di Fisica" curata. Le query sono binarie (Sì/No) o basate sulla regressione (ad esempio, "L'intensità della forza è compresa tra 0.2 e 0.4?" oppure "Il movimento rientra nel settore blu?").
  3. Segnale di Reward: I logit del VLM per risposte corrette rispetto a quelle errate vengono convertiti in una funzione di perdita di reward differenziabile ($L_{VLM}$).
  4. Ottimizzazione: Il ControlNet viene ulteriormente affinato utilizzando questa perdita di reward per allineare le dinamiche generate alle proprietà fisiche intenzionali.

3. Contributi Chiave

1. Dataset PhyCo: Un dataset nuovo e su larga scala (oltre 100K video) con annotazioni continue per attrito, restituzione, deformazione e forza, progettato per disaccoppiare l'aspetto visivo dalle dinamiche fisiche.
2. Condizionamento Fisico Controllato: Un metodo per iniettare mappe di proprietà fisiche allineate spazialmente in un modello di diffusione tramite ControlNet, abilitando il controllo continuo su molteplici attributi fisici simultaneamente.
3. Allineamento Guidato da VLM: Una nuova fase di addestramento in cui un VLM affinato fornisce feedback differenziabile sulla coerenza fisica, migliorando significativamente la fedeltà del controllo senza richiedere risolutori fisici espliciti durante l'inferenza.
4. Generalizzazione: Il framework dimostra una forte generalizzazione composizionale, generando movimenti fisicamente coerenti in scene stilizzate o reali (ad esempio, una persona che salta su un trampolino) nonostante sia stato addestrato esclusivamente su dati sintetici.

4. Risultati Sperimentali

Gli autori hanno valutato PhyCo sul benchmark Physics-IQ e attraverso studi di preferenza umana.

• Benchmark Physics-IQ:

  • PhyCo ha superato significativamente basi solide (SVD-XT, LTX-Video, CogVideoX, VLIPP) in cinque domini: Meccanica dei Solidi, Dinamica dei Fluidi, Ottica, Magnetismo e Termodinamica.
  • Punteggio: Il modello PhyCo completo (ControlNet + Perdita VLM) ha raggiunto un Punteggio IQ di 43.6 (contro 34.6 per VLIPP e 29.7 per SG-I2V).
  • Generalizzazione: Anche quando testato su sequenze di 120 fotogrammi (più lunghe dei dati di addestramento da 57 fotogrammi), il modello ha mantenuto un realismo fisico superiore.

• Studi con Utenti (2AFC):

  • Nei confronti a coppie, i valutatori umani hanno preferito PhyCo rispetto alle basi per realismo fisico e controllabilità.
  • PhyCo ha mostrato tassi di preferenza del 90.9% per l'attrito, del 93.2% per la restituzione e del 91.3% per la deformazione rispetto al modello Cosmos base.

• Studi di Ablazione:

  • Impatto del VLM: L'aggiunta dell'ottimizzazione del reward VLM ha ridotto la deviazione angolare della direzione della forza da ~38° (solo ControlNet) a 22.5°.
  • Direzione della Forza: PhyCo ha raggiunto un errore direzionale medio di 15.2°, significativamente migliore rispetto al Force-Prompting (40.5°).
  • Controllo Composizionale: Il modello ha gestito con successo combinazioni di attributi (ad esempio, Forza + Attrito) e si è generalizzato a oggetti e scenari non visti.

5. Significato

PhyCo rappresenta un percorso scalabile verso modelli generativi di mondi fisicamente coerenti. Il suo significato risiede in:

• Efficienza di Inferenza: Elimina la necessità di risolutori fisici espliciti o ricostruzione 3D durante l'inferenza, rendendolo più veloce e flessibile rispetto agli approcci ibridi di simulazione.
• Interpretabilità: Utilizzando mappe di proprietà fisiche esplicite, il controllo è interpretabile e si allinea con i parametri standard della simulazione fisica.
• Scalabilità: Il metodo generalizza dai dati di addestramento sintetici agli scenari del mondo reale e a diverse categorie di oggetti, suggerendo che l'incorporazione di priors fisici è una strategia praticabile per costruire modelli visivi intelligenti che comprendono le leggi della fisica.

In sintesi, PhyCo colma con successo il divario tra realismo visivo e plausibilità fisica, offrendo un framework controllabile per generare video che obbediscono alle leggi della fisica attraverso la manipolazione continua degli attributi.