Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Résumé Technique : Les déploiements imaginés sont cinématiques, et non dynamiques

Énoncé du Problème
L'échec à long terme des modèles de monde est conventionnellement attribué à l'« erreur de composition », un cadrage qui décrit avec précision l'accumulation d'erreurs mais ne parvient pas à distinguer le type d'erreur ou les dimensions de caractéristiques spécifiques qui se détériorent. Les auteurs soutiennent que ce cadrage générique occulte une signature structurelle spécifique : les modèles de monde ont tendance à imaginer un mouvement qui est cinématiquement cohérent (extrapolant les trajectoires de position, de vitesse et d'accélération sur la base de règles de mise à jour linéaires) mais dynamiquement incohérent (échouant à rendre compte des contraintes physiques, telles que la masse, la friction et le contact, qui régissent le mouvement réel). Ce « repli cinématique » représente une couche de défaillance distincte aux côtés des théories existantes de l'ingénierie de représentation et des bornes de composition d'erreur.

Méthodologie
Pour diagnostiquer ce déficit structurel, les auteurs proposent un recadrage de l'évaluation des modèles de monde basé sur la distinction entre mouvement cinématique et dynamique.

1. Erreur de Cohérence Cinématique Imaginée (iKCE) :
   Les auteurs définissent une métrique de diagnostic par étape, l'iKCE, qui mesure l'écart d'un déploiement imaginé par rapport à un nul cinématique à forme fermée (par exemple, une vitesse constante ou une accélération constante).

   • Définition : $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interprétation : Contrairement à l'intuition, un iKCE faible indique que le modèle extrapole avec succès des motifs cinématiques (imagination cinématique). Un iKCE élevé, particulièrement lorsqu'il croît avec l'horizon et réagit aux changements de régime physique, est la signature de l'imagination dynamique.

2. Protocole de Perturbation de Conditionnement :
   Pour distinguer l'imagination cinématique de l'imagination dynamique, les auteurs font varier l'iKCE via une courbe dose-réponse en perturbant des paramètres de conditionnement physiquement significatifs (par exemple, le coefficient de friction $\mu$, la vitesse initiale, la charge utile).

   • Signature 1 (Invariance de Régime) : Un imagineur cinématique produit une courbe d'iKCE qui évolue de manière fluide avec l'amplitude de la perturbation, quel que soit le régime physique, car il extrapole la même structure linéaire. Un imagineur dynamique devrait montrer une sensibilité aux frontières de régime (par exemple, l'effondrement de la démarche).
   • Signature 2 (Consistance Monotone) : Le modèle doit respecter les monotonies physiques (par exemple, une friction plus élevée $\to$ une distance d'arrêt plus courte) uniquement lorsque ces relations sont physiquement valides. Les modèles cinématiques respectent les monotonies linéaires mais échouent aux monotonies conditionnelles au régime.

Configuration Expérimentale
Le diagnostic a été instancié sur un checkpoint DreamerV3 publié, entraîné sur l'environnement DMC walker-walk.

• Baselines : Des comparaisons ont été faites avec des déploiements en physique réelle pilotés par la politique entraînée.
• Conditions : L'étude comprenait un balayage de friction à travers 13 ordres de grandeur ($\mu \in [0.1, 1.7]$), traversant la frontière d'effondrement de la démarche déterminée empiriquement à $\mu=0.20$.
• Contrôles : Les expériences comprenaient des ablations de l'horizon d'entraînement de l'acteur et des contrôles de randomisation de domaine pour écarter les artefacts hors distribution (OOD) de la politique.

Résultats Clés

1. Magnitude de l'Erreur (Hypothèse 1) : L'iKCE imaginé du modèle de monde DreamV3 était significativement plus élevé que celui des déploiements en physique réelle correspondants.

   • À un horizon $T=16$, le ratio était d'environ $180\times$ ($7,7 \times 10^{-3}$ contre $4,2 \times 10^{-5}$).
   • À un horizon $T=64$, le ratio était d'environ $30\times$, cet rétrécissement étant attribué à la dilution par étape dans la queue lisse à long horizon du modèle.
   • Ceci confirme que l'imagination du modèle porte un résidu substantiel par rapport à un nul cinématique.

2. Invariance de Régime (Hypothèse 2) : À travers le balayage de friction, la récompense de la politique entraînée s'est effondrée de $\sim 650$ à $\sim 200$ lorsque la friction est descendue sous la frontière d'effondrement de la démarche ($\mu=0.20$). Cependant, l'iKCE imaginé est resté statistiquement plat sur toute la plage.

   • L'analyse de régression a montré que la pente de l'iKCE du modèle de monde par rapport à la friction contenait zéro ($\beta_{WM} = -0,009$, IC 95 % $[-0,096, +0,082]$), tandis que la pente de la physique réelle était significativement négative ($\beta_{phys} = -0,220$).
   • Cela indique que le modèle de monde est « aveugle » au changement de régime physique, confirmant la signature cinématique plutôt que dynamique.

Signification et Revendications
L'article affirme que l'échec des modèles de monde à long horizon n'est pas simplement un problème de variance ou d'ingénierie de représentation, mais un déficit structurel où les modèles apprennent des caractéristiques cinématiques riches mais sous-représentent systématiquement les caractéristiques dynamiques.

• Valeur Diagnostique : Le protocole iKCE fournit un diagnostic d'évaluation falsifiable qui distingue l'imagination cinématique de l'imagination dynamique à des horizons plus longs que la période de marche de l'incarnation.
• Implication pour l'Entraînement : Les auteurs suggèrent que si les déploiements imaginés sont structurés de manière cinématique mais dynamiquement infidèles, les gradients de politique propagés à travers de longs horizons optimisent l'acteur contre une distribution de trajectoires divergeant de la dynamique réelle. Cela est cohérent avec les observations selon lesquelles l'entraînement de l'acteur à long horizon (ex: $h=64$) produit une convergence instable et des politiques déployées plus faibles par rapport aux horizons plus courts ($h=15$).
• Modestie : Les auteurs déclarent explicitement que le diagnostic est structurel, et non prédictif. Un iKCE faible identifie un modèle comme cinématique mais ne certifie pas qu'il est un prédicteur utile ; inversement, un iKCE élevé avec sensibilité à la friction certifie un modèle comme dynamique mais pas nécessairement précis. Les résultats sont actuellement limités à une seule incarnation (DMC walker) et à une famille spécifique de modèles de monde, bien que le protocole soit conçu pour être généralisable.