Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Sintesi Tecnica: Le proiezioni immaginate sono cinematiche, non dinamiche

Problematica
Il fallimento a lungo termine nei modelli di mondo è convenzionalmente attribuito all' "errore cumulativo", una formulazione che descrive accuratamente l'accumulo di errore ma non riesce a distinguere il tipo di errore o le specifiche dimensioni delle caratteristiche che si deteriorano. Gli autori sostengono che questa formulazione generica oscura una specifica firma strutturale: i modelli di mondo tendono a immaginare un movimento che è cinematicamente coerente (estrapolando traiettorie di posizione, velocità e accelerazione basate su regole di aggiornamento lineari) ma dinamicamente incoerente (fallendo nel considerare i vincoli fisici, come massa, attrito e contatto, che governano il movimento reale). Questo "ritorno cinematico" rappresenta uno strato distinto di fallimento accanto alle teorie esistenti di ingegneria della rappresentazione e dei limiti di accumulo dell'errore.

Metodologia
Per diagnosticare questo deficit strutturale, gli autori propongono una riformulazione della valutazione dei modelli di mondo basata sulla distinzione tra moto cinematico e dinamico.

1. Errore di Coerenza Cinematica Immaginata (iKCE):
   Gli autori definiscono una metrica diagnostica per passo, l'iKCE, che misura la deviazione di una proiezione immaginata da un nullo cinematico a forma chiusa (ad esempio, velocità costante o accelerazione costante).

   • Definizione: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interpretazione: Contrariamente all'intuizione, un iKCE basso indica che il modello sta estrapolando con successo schemi cinematici (immaginazione cinematica). Un iKCE alto, particolarmente se cresce con l'orizzonte temporale e risponde ai cambiamenti di regime fisico, è la firma dell'immaginazione dinamica.

2. Protocollo di Perturbazione del Condizionamento:
   Per distinguere tra immaginazione cinematica e dinamica, gli autori guidano l'iKCE attraverso una curva dose-risposta perturbando parametri di condizionamento fisicamente significativi (ad esempio, coefficiente di attrito $\mu$, velocità iniziale, carico utile).

   • Segnatura 1 (Invarianza di Regime): Un immaginatore cinematico produce una curva iKCE che scala fluidamente con l'entità della perturbazione indipendentemente dal regime fisico, poiché estrapola la stessa struttura lineare. Un immaginatore dinamico dovrebbe mostrare sensibilità ai confini di regime (ad esempio, il collasso dell'andatura).
   • Segnatura 2 (Coerenza Monotona): Il modello dovrebbe rispettare le monotonicità fisiche (ad esempio, maggiore attrito $\to$ minore distanza di arresto) solo quando tali relazioni sono fisicamente valide. I modelli cinematici rispettano le monotonicità lineari ma falliscono nelle monotonicità condizionali al regime.

Configurazione Sperimentale
La diagnostica è stata istanziata su un checkpoint di DreamerV3 addestrato sull'ambiente DMC walker-walk.

• Baseline: I confronti sono stati effettuati contro proiezioni con fisica reale guidate dalla policy addestrata.
• Condizioni: Lo studio ha incluso una scansione dell'attrito attraverso 13 ordini di grandezza ($\mu \in [0.1, 1.7]$), attraversando il confine empirico del collasso dell'andatura a $\mu=0.20$.
• Controlli: Gli esperimenti hanno incluso ablazioni dell'orizzonte di addestramento dell'attore e controlli di randomizzazione del dominio per escludere artefatti di out-of-distribution (OOD) della policy.

Risultati Chiave

1. Entità dell'Errore (Ipotesi 1): L'iKCE immaginato del modello di mondo DreamerV3 era significativamente più alto rispetto alle proiezioni con fisica reale corrispondenti.

   • All'orizzonte $T=16$, il rapporto era di circa $\sim 180\times$ ($7.7 \times 10^{-3}$ vs. $4.2 \times 10^{-5}$).
   • All'orizzonte $T=64$, il rapporto era di circa $\sim 30\times$, con la riduzione attribuita alla diluizione per passo nella coda fluida a lungo orizzonte del modello.
   • Ciò conferma che l'immaginazione del modello porta un residuo sostanziale rispetto a un nullo cinematico.

2. Invarianza di Regime (Ipotesi 2): Attraverso la scansione dell'attrito, la reward della policy addestrata è crollata da $\sim 650$ a $\sim 200$ quando l'attrito scendeva sotto il confine di collasso dell'andatura ($\mu=0.20$). Tuttavia, l'iKCE immaginato è rimasto statisticamente piatto attraverso l'intero intervallo.

   • L'analisi di regressione ha mostrato che la pendenza dell'iKCE del modello di mondo rispetto all'attrito conteneva lo zero ($\beta_{WM} = -0.009$, IC 95% $[-0.096, +0.082]$), mentre la pendenza della fisica reale era significativamente negativa ($\beta_{phys} = -0.220$).
   • Ciò indica che il modello di mondo è "cieco" al cambiamento di regime fisico, confermando la firma "cinematico-non-dinamico".

Significato e Rivendicazioni
Il documento sostiene che il fallimento a lungo termine dei modelli di mondo non è semplicemente un problema di varianza o di ingegneria della rappresentazione, ma un deficit strutturale dove i modelli apprendono ricche caratteristiche cinematiche ma sottorappresentano sistematicamente le caratteristiche dinamiche.

• Valore Diagnostico: Il protocollo iKCE fornisce una diagnostica di valutazione falsificabile che distingue l'immaginazione cinematica da quella dinamica ad orizzonti superiori al periodo di andatura dell'embodiment.
• Implicazioni per l'Addestramento: Gli autori suggeriscono che se le proiezioni immaginate sono strutturate cinematicamente ma non fedeli dinamicamente, i gradienti della policy propagati attraverso lunghi orizzonti ottimizzano l'attore contro una distribuzione di traiettorie che diverge dalla dinamica reale. Ciò è coerente con le osservazioni secondo cui l'addestramento dell'attore a lungo orizzonte (ad esempio, $h=64$) produce una convergenza instabile e policy distribuite più deboli rispetto agli orizzonti più brevi ($h=15$).
• Modestia: Gli autori dichiarano esplicitamente che la diagnostica è strutturale, non predittiva. Un iKCE basso identifica un modello come cinematico, ma non certifica che sia un predittore utile; viceversa, un iKCE alto con sensibilità all'attrito certifica un modello come dinamico, ma non necessariamente accurato. I risultati sono attualmente limitati a un singolo embodiment (DMC walker) e a una specifica famiglia di modelli di mondo, sebbene il protocollo sia progettato per essere generalizzabile.