Riepilogo Tecnico: Proprio: Autovalutazione Latente e Rifinitura al Momento dell'Inferenza per la Generazione di Video Fisicamente Plausibili

1. Enunciato del Problema

I moderni modelli generativi per video, in particolare le architetture basate sulla diffusione, hanno raggiunto una fedeltà visiva notevole. Tuttavia, violano frequentemente principi fisici di base, producendo video con collisioni irrealistiche, interazioni tra oggetti impossibili o dinamiche incoerenti. Questi fallimenti ne limitano l'utilità come modelli del mondo affidabili per applicazioni a valle come la robotica e la simulazione.

Le soluzioni esistenti a questo problema fanno tipicamente affidamento su meccanismi di feedback esterni:

• Interventi durante l'addestramento: Iniezione di prior fisici o utilizzo di dataset curati (es. [35, 24]).
• Valutatori esterni al momento dell'inferenza: Utilizzo di Modelli Linguaggio-Visivo (VLM) o modelli del mondo latenti pre-addestrati (es. V-JEPA [37, 41]) per valutare o guidare la generazione.

Gli autori identificano due limitazioni critiche nel paradigma del feedback esterno:

1. Bias e Disallineamento: I VLM spesso confondono la plausibilità fisica con l'allineamento testo-immagine o l'estetica visiva. I modelli del mondo pre-addestrati operano nei propri spazi di rappresentazione, creando un disallineamento con lo spazio latente del generatore.
2. Mancanza di Coerenza Intrinseca: I valutatori esterni sono addestrati con obiettivi diversi e non si allineano alle dinamiche specifiche di denoising del generatore, rischiando di perdere incoerenze specifiche del generatore attraverso i passaggi di campionamento.

Il paper pone una domanda centrale: Un generatore video può sfruttare le proprie dinamiche di denoising come segnale autonomo per valutare e migliorare la plausibilità fisica dei propri output?

2. Metodologia: Proprio

Gli autori propongono Proprio, un framework senza addestramento, eseguito al momento dell'inferenza, che permette a un generatore video congelato di valutare e rifinire i propri output. Ispirato dalla proprioccezione biologica (il senso del proprio movimento), il metodo tratta il residuo di flusso interno del modello, sotto perturbazioni controllate, come un segnale di autovalutazione.

2.1 Concetto Chiave: Residui di Flusso come Autovalutazione

Il metodo si basa sull'osservazione che i campioni coerenti con la distribuzione appresa dal generatore (cioè le dinamiche naturali) dovrebbero indurre residui più piccoli e stabili quando perturbati.

• Perturbazione: Per un video latente generato $z_0$, il metodo costruisce latenti perturbati $z_t$ a vari passi del scheduler $t$ utilizzando rumore controllato $\epsilon$.
• Calcolo del Residuo: Il modello predice un campo di flusso $\hat{v}_\theta(z_t, t, c)$. Il trasporto target è $v^*(z_0, \epsilon) \approx \epsilon - z_0$. Il residuo di flusso è la discrepanza:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• Valutazione: La norma quadrata di questo residuo funge da punteggio locale. Residui più bassi indicano che il modello può "spiegare" meglio il campione sotto perturbazione, implicando una maggiore plausibilità fisica.

2.2 Aggregazione del Segnale e Rifinitura

Per creare un punteggio robusto, Proprio aggrega i residui attraverso più dimensioni:

1. Multi-Perturbazione e Multi-Passo: Il punteggio è mediato su più realizzazioni di rumore e passi temporali per ridurre la sensibilità a specifiche istanze di rumore.
2. Pesatura Inversa alla Varianza: I passi temporali con alta varianza nei residui (stime instabili) vengono soppesati verso il basso, mentre i passi temporali stabili sono prioritizzati.
3. Mascheramento Dinamico Spaziotemporale: Una maschera $\mathcal{M}$ viene applicata per focalizzare il punteggio sulle regioni rilevanti per il movimento, filtrando il rumore di sfondo statico meno informativo per la plausibilità fisica. Vengono esplorate tre strategie di mascheramento:
   • Maschera di Movimento: Basata sulle differenze temporali nei frame decodificati.
   • Maschera Consapevole del Testo: Basata sui cambiamenti nell'attenzione incrociata tra token latenti e prompt.
   • Maschera Basata sull'Attenzione: Basata sui cambiamenti nelle feature di auto-attenzione.

2.3 Strategie al Momento dell'Inferenza

Proprio utilizza il punteggio calcolato $S(z_0)$ in due modalità principali:

1. Ricerca Best-of-N: Generare $N$ latenti candidati e selezionare quello con il punteggio di autovalutazione più basso.
2. Auto-Rifinitura: Invece di riaddestrare il generatore, il metodo ottimizza il rumore di campionamento iniziale. Parametrizza il rumore come $\zeta = \mu + \sigma \odot \zeta_0$ (dove $\zeta_0$ è il rumore base) e utilizza la discesa del gradiente per aggiornare $\mu$ e $\sigma$ al fine di minimizzare il punteggio Proprio. Un regolarizzatore di divergenza KL assicura che il rumore ottimizzato rimanga vicino al prior gaussiano originale.

3. Contributi Chiave

1. Autovalutazione Nativa del Generatore: Introduzione di un framework senza addestramento che riutilizza il residuo di denoising di un generatore congelato come proxy intrinseco per la plausibilità fisica, eliminando la necessità di modelli di ricompensa esterni.
2. Auto-Allineamento al Momento dell'Inferenza: Un meccanismo per trasformare questo punteggio di autovalutazione in un obiettivo di ottimizzazione, rifinendo gli output aggiornando solo i parametri del rumore iniziale mantenendo i pesi del generatore fissi.
3. Validazione Empirica: Dimostrazione di miglioramenti costanti sia sui benchmark Text-to-Video (T2V) che Image-to-Video (I2V), mostrando che un singolo generatore congelato può agire sia come campionatore che come auto-valutatore.

4. Risultati Sperimentali

Gli autori valutano Proprio su VideoPhy2 (T2V) e Physics-IQ (I2V), confrontandolo con la selezione casuale, valutatori basati su VLM (Qwen-7B) e baseline di modelli del mondo esterni (WMReward).

• Guadagni di Prestazione:

  • Su TurboWan2.2, Proprio migliora Physics-IQ da 32.2 a 37.5 (+16.5%) e il senso comune fisico hard di VideoPhy2 da 45.6 a 55.0 (+20.6%).
  • Proprio supera costantemente la valutazione basata su VLM e spesso supera WMReward, in particolare nelle metriche di senso comune fisico (PC).
  • Un approccio di valutazione ibrido (che combina punteggi globali e consapevoli del movimento) fornisce il miglior equilibrio tra adesione semantica e coerenza fisica.

• Valutazione Umana:

  • Nei confronti a coppie, i valutatori umani hanno preferito i video selezionati o rifiniti da Proprio per la plausibilità fisica in circa il 67% dei casi.
  • La qualità visiva è stata in gran parte preservata, con i valutatori che non hanno mostrato una forte preferenza contro la baseline in molti casi, indicando che i miglioramenti non avvengono a scapito dell'estetica.

• Insight dalle Ablazioni:

  • Livelli di Rumore: I segnali di valutazione più informativi derivano da rumore di livello medio (0.3–0.6 dei passi di campionamento). Il rumore basso è troppo locale, mentre il rumore alto perde la struttura specifica del campione.
  • Pesatura della Varianza: La pesatura inversa alla varianza migliora significativamente le prestazioni sui modelli non distillati prioritizzando i passi temporali stabili.
  • Ricerca vs Rifinitura: La ricerca (Best-of-N) è altamente efficace per T2V a causa dell'alta diversità delle scene. Per I2V, dove i candidati sono ancorati alla stessa immagine, la rifinitura gioca un ruolo più dominante.

5. Significato e Affermazioni

Il paper afferma che i generatori video congelati contengono segnali interni azionabili per valutare e migliorare la plausibilità fisica. Rileggendo i propri residui di flusso come segnale di preferenza di probabilità, Proprio dimostra che:

• I valutatori esterni non sono strettamente necessari per l'allineamento fisico; le dinamiche interne del generatore sono sufficienti.
• Il scaling al momento dell'inferenza (ricerca e rifinitura) può produrre guadagni sostanziali senza riaddestramento.
• Il metodo offre un cambio di prospettiva: i sistemi futuri potrebbero sfruttare sempre più segnali interni al generatore per l'autovalutazione, piuttosto che affidarsi esclusivamente alla supervisione esterna o a modelli di ricompensa ausiliari.

Limitazioni Riconosciute:

• Proprio è limitato dalla conoscenza codificata nel generatore base; non può recuperare dinamiche che il modello non ha appreso.
• Aumenta il costo dell'inferenza a causa della necessità di più passaggi di valutazione e rifinitura dei candidati.
• La rifinitura basata sul gradiente dipende attualmente da modelli distillati per la fattibilità computazionale, poiché la retropropagazione attraverso lunghe traiettorie di denoising in modelli grandi rimane costosa.