Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Technische Samenvatting: Verbeelde Rollouts zijn Kinematisch, niet Dynamisch

Probleemstelling
Falen op de lange termijn in wereldmodellen wordt conventioneel toegeschreven aan "compounding error" (stapelende fouten), een formulering die weliswaar de foutaccumulatie accuraat beschrijft, maar er niet in slaagt het type fout of de specifieke feature-dimensies te onderscheiden die verslechteren. De auteurs stellen dat deze generieke formulering een specifieke structurele signatuur verbergt: wereldmodellen hebben de neiging om beweging te verbeelden die kinematisch consistent is (het extrapoleren van positie-, snelheid- en acceleratietrajecten op basis van lineaire update-regels), maar dynamisch inconsistent (het niet rekening houden met fysieke beperkingen, zoals massa, wrijving en contact, die de werkelijke beweging beheersen). Deze "kinematische terugval" vormt een afzonderlijke laag van falen naast bestaande theorieën over representation engineering en grenzen voor foutstapeling.

Methodologie
Om dit structurele tekort te diagnosticeren, stellen de auteurs een herformulering voor van de evaluatie van wereldmodellen, gebaseerd op het onderscheid tussen kinematische en dynamische beweging.

1. Imagined Kinematic-Consistency Error (iKCE):
   De auteurs definiëren een per-stap diagnostische metriek, iKCE, die de afwijking van een verbeelde rollout van een gesloten-vormige kinematische nul (bijv. constante snelheid of constante versnelling) meet.

   • Definitie: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interpretatie: Tegen de intuïtie in duidt een lage iKCE erop dat het model erin slaagt kinematische patronen te extrapoleren (kinematische verbeelding). Een hoge iKCE, met name wanneer deze groeit met de horizon en reageert op veranderingen in het fysieke regime, is het kenmerk van dynamische verbeelding.

2. Conditioning-Perturbation Protocol:
   Om het onderscheid tussen kinematische en dynamische verbeelding te maken, drijven de auteurs de iKCE door een dosis-respons-curve door fysiek betekenisvolle conditionering-parameters te verstoren (bijv. wrijvingscoëfficiënt $\mu$, initiële snelheid, lading).

   • Signatuur 1 (Regime Invariantie): Een kinematische verbeeldingskracht produceert een iKCE-curve die vloeiend schaalt met de grootte van de perturbatie, ongeacht het fysieke regime, aangezien het dezelfde lineaire structuur extrapoleert. Een dynamische verbeelding zou gevoelig moeten zijn voor regime-grenzen (bijv. het instorten van de loopgang/gait collapse).
   • Signatuur 2 (Monotone Consistentie): Het model zou fysieke monotoniciteiten moeten respecteren (bijv. hogere wrijving $\to$ kortere remweg) alleen wanneer die relaties fysiek standhouden. Kinematische modellen respecteren lineaire monotoniciteiten, maar falen bij regime-conditionele monotoniciteiten.

Experimentele Opzet
Het diagnostic werd geïnstantieerd op een vrijgegeven DreamerV3 checkpoint getraind op de DMC walker-walk omgeving.

• Baselines: Vergelijkingen werden gemaakt met real-physics rollouts gedreven door het getrainde beleid (policy).
• Condities: De studie omvatte een wrijvingssweep over 13 grootte-ordes ($\mu \in [0.1, 1.7]$), waarbij de empirisch bepaalde grens voor het instorten van de loopgang (gait-collapse boundary) bij $\mu=0.20$ werd overschreden.
• Controles: Experimenten omvatten actor-training-horizon ablaties en domain-randomization controles om artefacten door policy out-of-distribution (OOD) uit te sluiten.

Belangrijkste Resultaten

1. Grootte van de Fout (Hypothese 1): De verbeelde iKCE van het DreamerV3 wereldmodel was significant hoger dan die van overeenkomende real-physics rollouts.

   • Bij horizon $T=16$, was de ratio $\sim 180\times$ ($7.7 \times 10^{-3}$ vs. $4.2 \times 10^{-5}$).
   • Bij horizon $T=64$, was de ratio $\sim 30\times$, waarbij de vernauwing werd toegeschreven aan per-step dilatatie in de gladde lange-horizon staart van het model.
   • Dit bevestigt dat de verbeelding van het model een aanzienlijke residu draagt ten opzien van een kinematische nul.

2. Regime Invariantie (Hypothese 2): Over de gehele wrijvingssweep bleef de beloning van de getrainde policy rond de $\sim 650$ schommelen en daalde naar $\sim 200$ toen de wrijving onder de grens van de gait-collapse ($\mu=0.20$) zakte. Echter, de verbeelde iKCE bleef statistisch vlak over het gehele bereik.

   • Regressieanalyse toonde aan dat de helling van de iKCE van het wereldmodel versus wrijving de nul bevat ($\beta_{WM} = -0.009$, 95% CI $[-0.096, +0.082]$), terwijl de helling van de real-physics significant negatief was ($\beta_{phys} = -0.220$).
   • Dit geeft aan dat het wereldmodel "blind" is voor de verandering in het fysieke regime, wat de kinematische-niet-dynamische signatuur bevestigt.

Betekenis en Claims
Het artikel claimt dat falen van wereldmodellen op de lange termijn niet louter een kwestie is van variantie of representation engineering, maar een structureel tekort waarbij modellen rijke kinematische features leren maar systematisch dynamische features ondervertegenwoordigen.

• Diagnostische Waarde: Het iKCE-protocol biedt een falsifieerbare evaluatie-diagnostic die kinematische van dynamische verbeelding onderscheidt bij horizonten die langer zijn dan de loopperiode van de belichaming (embodiment).
• Implicatie voor Training: De auteurs suggereren dat als verbeelde rollouts kinematisch gestructureerd maar dynamisch ongetrouw zijn, de policy gradients die door lange horizonten worden gepropageerd, de actor optimaliseren tegen een trajectverdeling die afwijkt van de werkelijke dynamica. Dit is consistent met observaties dat training van de actor over lange horizonten (bijv. $h=64$) instabiele convergentie en zwakkere gedeployed policies oplevert vergeleken met kortere horizonten ($h=15$).
• Bescheidenheid: De auteurs stellen expliciet dat de diagnostic structureel is, niet voorspellend. Een lage iKCE identificeert een model als kinematisch, maar certificeert het niet als een nuttige voorspeller; omgekeerd certificeert een hoge iKCE met wrijvingsgevoeligheid een model als dynamisch, maar niet noodzakelijkerwijs als accuraat. De resultaten zijn momenteel beperkt tot één belichaming (DMC walker) en een specifieke familie van wereldmodellen, hoewel het protocol is ontworpen om generaliseerbaar te zijn.