Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Technisches Resümee: Imaginierte Rollouts sind kinematisch, nicht dynamisch

Problemstellung
Das Versagen von Weltmodellen über lange Horizonte wird konventionell auf „komponierende Fehler“ zurückgeführt – eine Rahmung, die zwar die Fehlerakkumulation korrekt beschreibt, aber versäumt, die Art des Fehlers oder die spezifischen Merkmalsdimensionen zu unterscheiden, die sich verschlechtern. Die Autoren argumentieren, dass diese generische Rahmung eine spezifische strukturelle Signatur verschleiert: Weltmodelle neigen dazu, Bewegungen zu imaginieren, die kinematisch konsistent sind (Extrapolation von Positions-, Geschwindigkeits- und Beschleunigungstrajektorien basierend auf linearen Aktualisierungsregeln), aber dynamisch inkonsistent (Versäumnis, physikalische Randbedingungen wie Masse, Reibung und Kontakt zu berücksichtigen, die reale Bewegungen steuern). Dieses „kinematische Zurückfallen“ stellt eine distinkte Ebene des Versagens neben bestehenden Theorien zum Representation Engineering und zu Fehlensgrenzen der Fehlerkomposition dar.

Methodik
Um dieses strukturelle Defizit zu diagnostizieren, schlagen die Autoren eine Neugestaltung der Evaluierung von Weltmodellen vor, die auf der Unterscheidung zwischen kinematischer und dynamischer Bewegung basiert.

1. Imaginierter kinematischer Konsistenzfehler (iKCE):
   Die Autoren definieren eine pro Schritt berechnete Diagnosemetrik, den iKCE, welche die Abweichung eines imaginerten Rollouts von einer geschlossenen kinematischen Null (z. B. konstante Geschwindigkeit oder konstante Beschleunigung) misst.

   • Definition: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interpretation: Entgegen der Intuition deutet ein niedriger iKCE darauf hin, dass das Modell erfolgreich kinematische Muster extrapoliert (kinematische Imagination). Ein hoher iKCE, insbesondere wenn er mit dem Horizont wächst und auf Änderungen des physikalischen Regimes reagiert, ist die Signatur dynamischer Imagination.

2. Conditioning-Perturbation-Protokoll:
   Um zwischen kinematischer und dynamischer Imagination zu unterscheiden, steuern die Autoren den iKCE durch eine Dosis-Wirkungs-Kurve, indem sie physikalisch bedeutsame Konditionierungsparameter (z. B. Reibungskoeffizient $\mu$, Anfangsgeschwindigkeit, Nutzlast) perturbieren.

   • Signatur 1 (Regime-Invarianz): Ein kinematischer Imaginierer erzeugt eine iKCE-Kurve, die glatt mit der Magnitude der Perturbation skaliert, unabhängig vom physikalischen Regime, da er dieselbe lineare Struktur extrapoliert. Ein dynamischer Imaginierer sollte eine Sensitivität gegenüber Regime-Grenzen zeigen (z. B. Gang-Kollaps).
   • Signatur 2 (Monotone Konsistenz): Das Modell sollte physikalische Monotonien respektieren (z. B. höhere Reibung $\to$ kürzere Bremsstrecke) nur dann, wenn diese Beziehungen auch physikalisch gelten. Kinematische Modelle respektieren lineare Monotonien, scheitern aber an regime-bedingten Monotonien.

Experimenteller Aufbau
Das Diagnostikum wurde auf einem veröffentlichten DreamerV3-Checkpoint angewendet, der im DMC walker-walk Environment trainiert wurde.

• Baselines: Vergleiche wurden gegen Real-Physik-Rollouts durchgeführt, die durch die trainierte Policy gesteuert wurden.
• Bedingungen: Die Studie beinhaltete einen Reibungs-Sweep über 13 Magnituden ($\mu \in [0.1, 1.7]$), wobei die empirisch bestimmte Grenze des Gang-Kollapses bei $\mu=0.20$ überschritten wurde.
• Kontrollen: Die Experimente beinhalteten Ablationen des Actor-Trainingshorizonts sowie Domain-Randomization-Kontrollen, um Artefakte durch Out-of-Distribution (OOD) der Policy auszuschließen.

Wichtigste Ergebnisse

1. Größenordnung des Fehlers (Hypothese 1): Der imaginierte iKCE des DreamerV3-Weltmodells war signifikant höher als der von passenden Real-Physik-Rollouts.

   • Bei Horizont $T=16$ betrug das Verhältnis $\sim 180\times$ ($7,7 \times 10^{-3}$ vs. $4,2 \times 10^{-5}$).
   • Bei Horizont $T=64$ lag das Verhältnis bei $\sim 30\times$, wobei die Verringerung auf eine per-Schritt-Verwässerung im glatten Langzeit-Tail des Modells zurückzuführen ist.
   • Dies bestätigt, dass die Imagination des Modells ein erhebliches Residuum gegenüber einer kinematischen Null trägt.

2. Regime-Invarianz (Hypothese 2): Über den Reibungs-Sweep hinweg kollabierte die Reward der trainierten Policy von $\sim 650$ auf $\sim 200$, als die Reibung unter die Grenze des Gang-Kollapses ($\mu=0.20$) fiel. Der imaginierte iKCE blieb jedoch über den gesamten Bereich statistisch flach.

   • Die Regressionsanalyse zeigte, dass die Steigung des iKCE des Weltmodells im Verhältnis zur Reibung die Null enthielt ($\beta_{WM} = -0,009$, 95% KI $[-0,096, +0,082]$), während die Steigung der Real-Physik signifikant negativ war ($\beta_{phys} = -0,220$).
   • Dies zeigt, dass das Weltmodell gegenüber dem Wechsel des physikalischen Regimes „blind“ ist, was die Signatur „kinematisch statt dynamisch“ bestätigt.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Versagen von Weltmodellen über lange Horizonte nicht bloß ein Problem der Varianz oder des Representation Engineerings ist, sondern ein strukturelles Defizit, bei dem Modelle zwar reichhaltige kinematische Merkmale lernen, aber systematisch dynamische Merkmale unterrepräsentieren.

• Diagnostischer Wert: Das iKCE-Protokoll bietet ein falsifizierbares Evaluierungsdiagnostikum, das zwischen kinematischer und dynamischer Imagination an Horizonten unterscheidet, die länger als die Gangperiode des Embodiments sind.
• Implikation für das Training: Die Autoren legen nahe, dass, wenn imaginierte Rollouts kinematisch strukturiert, aber dynamisch ungetreu sind, die durch lange Horizonte propagierten Policy-Gradienten den Actor gegen eine Trajektorienverteilung optimieren, die von der realen Dynamik divergiert. Dies steht im Einklang mit Beobachtungen, dass das Training des Actors über lange Horizonte (z. B. $h=64$) im Vergleich zu kürzeren Horizonten ($h=15$) zu instabiler Konvergenz und schwächeren deployed Policies führt.
• Bescheidenheit: Die Autoren betonen explizit, dass das Diagnostikum strukturell, nicht prädiktiv ist. Ein niedriger iKCE identifiziert ein Modell als kinematisch, zertifiziert es aber nicht als nützlichen Prädiktor; umgekehrt zertifiziert ein hoher iKCE mit Reibungssensitivität ein Modell als dynamisch, aber nicht zwangsläufig als akkurat. Die Ergebnisse sind derzeit auf ein einzelnes Embodiment (DMC Walker) und eine spezifische Weltmodell-Familie begrenzt, wenngleich das Protokoll auf Allgemeingültigkeit ausgelegt ist.