🤖 AI

DWM: Separating World Effects from Actions in Latent World Models

Ce document introduit DWM (Decomposed World Model), un cadre de niveau de supervision qui sépare explicitement les transitions pilotées par l'action des effets du monde invariants par l'action dans les modèles de monde latents, améliorant ainsi le succès de la planification dans des environnements dotés de dynamiques persistantes comme la gravité et l'inertie.

Auteurs originaux : Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

Publié 2026-07-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer au billard. Vous voulez que le robot apprenne à frapper la bille blanche pour qu'elle projette la bille numéro huit dans une poche. Mais il y a un piège : la table n'est pas parfaitement plane. Elle présente une légère inclinaison, de sorte que même si le robot ne fait rien, la gravité essaie constamment de faire glisser les billes vers le bas de la pente. Pour être un bon joueur, le robot doit comprendre deux choses à la fois : comment sa propre queue de billard modifie la trajectoire de la bille, et comment l'inclinaison de la table déplace la bille par elle-même. C'est le cœur de l'« IA incarnée » (embodied AI), un domaine où les ordinateurs apprennent à agir dans le monde physique en construisant des cartes mentales de la façon dont les choses bougent.

Pour qu'un ordinateur puisse planifier à l'avance, il utilise ce qu'on appelle un « modèle de monde latent » (latent world model). Considérez cela comme une machine à rêver à l'intérieur du cerveau du robot. Au lieu d'observer le monde réel image par image, le robot crée un croquis simplifié et invisible du futur. Il se demande : « Si je pousse la bille de cette façon, que va-t-il se passer ? » Le problème est que les machines à rêver actuelles traitent chaque changement futur comme un bloc unique et confus. Elles ne savent pas quelle partie du mouvement provient de la poussée du robot et quelle partie provient de l'inclinaison de la table. Elles voient simplement la bille bouger et tentent de deviner l'ensemble d'un seul coup, ce qui devient très déroutant lorsque l'environnement possède ses propres habitudes tenaces.

Cet article, intitulé « DWM: Separating World Effects from Actions in Latent World Models », s'attaque de front à cette confusion. Les auteurs, des chercheurs de l'Université de Pékin, soutiennent que pour rendre les robots plus intelligents, nous devons apprendre à leurs machines à rêver à diviser le futur en deux ingrédients distincts : l'« Effet de l'Action » (ce que le robot provoque) et l'« Effet du Monde » (ce que l'environnement fait de lui-même, comme la gravité ou le vent). Ils introduisent une nouvelle méthode d'entraînement appelée DWM (Decomposed World Model). Au lieu de forcer le robot à deviner tout le futur en une seule fois, DWM lui donne une « Tête de Monde » spéciale qui apprend à prédire uniquement ce qui se passe même si le robot ne fait rien. Ensuite, une « Tête d'Action » séparée apprend le reste. En forçant ces deux têtes à travailler ensemble tout en restant distinctes, le robot apprend une image beaucoup plus claire de la cause et de l'effet.

Les chercheurs ont testé cette idée sur plusieurs tâches robotiques, notamment une version d'un jeu de poussée où un bloc glisse le long d'une pente à cause de la gravité, même quand le robot ne le touche pas. Ils ont constaté que leur nouvelle méthode, DWM, était bien meilleure pour la planification que l'ancienne méthode « monolithique ». Sur ces tâches délicates, influencées par la gravité, DWM a amélioré le taux de réussite du robot de 13,1 % en moyenne. Par exemple, sur une tâche appelée PushT-W, l'ancienne méthode ne réussissait que 32 % du temps, tandis que DWM a atteint 44 %. L'article suggère qu'en démêlant les actions du robot de la dérive naturelle du monde, le robot peut imaginer le futur avec plus de précision et prendre de meilleures décisions, même lorsque l'environnement essaie de déplacer les choses de son propre chef. Il est important de noter que cette amélioration n'a pas nui aux performances du robot sur des tâches faciles et planes où la gravité n'était pas un facteur ; elle a simplement rendu le robot plus intelligent lorsque le monde faisait ses propres mouvements.

Résumé Technique : DWM : Séparer les effets du monde des actions dans les modèles de monde latents

Problématique

Les modèles de monde latents sont fondamentaux pour le contrôle moderne basé sur le modèle, permettant la planification et l'apprentissage de politiques directement à partir d'observations de pixels. Cependant, les formulations conditionnées par l'action actuelles souffrent d'une limitation au niveau de la supervision : elles prédisent l'état latent suivant en utilisant une cible unique et indifférenciée. Cela force le modèle à absorber toutes les sources de changement d'état — tant celles induites par l'action de l'agent que celles provenant de la dynamique intrinsèque de l'environnement — dans un signal d'apprentissage monolithique.

Dans les systèmes physiques réels, les transitions proviennent souvent de deux sources hétérogènes :

Effets pilotés par l'action : Changements induits par le contrôle de l'agent.
Effets du monde : Changements invariants par l'action qui persistent même sous une action nulle (ex: glissement dû à la gravité, inertie, rebond de contact ou dérive persistante).

Fusionner ces éléments en une cible unique entremêle les deux composantes au sein de la transition latente. Par conséquent, le modèle ne peut pas attribuer explicitement les changements observés à leurs causes sous-jacentes. Cette limitation est souvent masquée dans les benchmarks statiques (ex: poussée sur table plate) mais devient critique dans les environnements dotés de dynamiques autonomes persistantes, menant à des déroulements multi-étapes inexacts et à une planification sous-optimale.

Méthodologie : Modèle de Monde Décomposé (DWM)

Les auteurs proposent le DWM (Decomposed World Model), un cadre d'entraînement qui opérationnalise la séparation des effets du monde et des actions sans modifier l'architecture sous-jacente ni le pipeline d'inférence.

Architecture de base

DWM conserve les composants standards d'un modèle de monde latent conditionné par l'action (encodeur $\phi$ , prédicteur conditionné par l'action $g$ , et une tête de projection) :

Tête de Prédiction ( $h_p$ ) : Conservée de la ligne de base. Elle prédit le prochain état latent complet $\hat{z}$ et est la seule tête utilisée lors de l'inférence.
Tête du Monde ( $h_w$ ) : Une tête auxiliaire, un MLP léger attaché en parallèle à l'état du prédicteur $r_t$ . Elle est entraînée pour capturer la composante invariante par l'action de la transition ( $\hat{z}_w \approx z_t + \Delta z^{world}_t$ ).
Composante Pilotée par l'Action : Définie comme le résidu $\hat{z}_a := \hat{z} - \hat{z}_w$ .

Le modèle impose l'identité $\hat{z} = \hat{z}_w + \hat{z}_a$ , décomposant explicitement la transition prédite en une composante du monde invariante par l'action et une composante complémentaire pilotée par l'action.

Objectif d'Entraînement

La fonction de perte totale combine la perte standard du modèle de monde avec deux termes auxiliaires :
$L = L_{WM} + \lambda_{wc}L_{wc} + \lambda_{orth}L_{orth}$

Perte de Contraste du Monde ( $L_{wc}$ ) : Un objectif InfoNCE appliqué à la tête du monde. Il construit des paires positives en injectant la même histoire d'état avec différentes actions actuelles (perturbations d'action) dans la tête du monde. Cela force $\hat{z}_w$ à être invariant à l'action tout en restant discriminatif entre les différents états.
Contrainte d'Orthogonalité ( $L_{orth}$ ) : Définie par $|\cos(\hat{z}_w, \hat{z}_a)|$ , cette composante encourage les composantes invariantes par l'action et pilotées par l'action à occuper des directions indépendantes dans l'espace latent, empêchant l'effet de l'action d'être absorbé dans la représentation du monde.

Crucialement, la tête du monde auxiliaire est écartée après l'entraînement, garantissant que le pipeline d'inférence reste identique à celui de la ligne de base.

Principales Contributions

Identification d'une Limitation de Supervision : L'article identifie que la supervision à cible unique dans les modèles de monde latents ne parvient pas à distinguer les changements induits par l'agent des dynamiques environnementales autonomes, entraînant des représentations entremêlées.
Nouvelle Suite de Benchmarks (W-Variants) : Les auteurs introduisent des variantes contrôlées de trois benchmarks standards — PushT-W, Reacher-W, et TwoRoom-W — qui injectent des dynamiques persistantes invariantes par l'action (glissement dû à la gravité, gravité dans un plan vertical, et dérive constante) dans les tâches standards. Ils évaluent également sur Ball-in-Cup, une tâche avec des dynamiques oscillatoires dépendantes de l'état.
Cadre DWM : Un cadre d'entraînement qui augmente les modèles de monde latents existants avec une tête du monde auxiliaire et des objectifs de séparation complémentaires, ne nécessitant aucun changement de l'architecture ou de l'inférence.
Validation Empirique : Démonstration que DWM améliore le succès de la planification et la précision de la dynamique latente spécifiquement dans les contextes avec des effets du monde, tout en maintenant les performances sur les tâches standards.

Résultats Expérimentaux

Les auteurs ont évalué DWM par rapport à la ligne de base LeWM à travers les benchmarks proposés en utilisant la méthode de l'Évolution par l'Échantillonnage de l'Espérance (CEM).

Succès de Planification : Sur les tâches W-variants, DWM a atteint une amélioration absolue moyenne de 13,1 % du succès de planification CEM :
- PushT-W : 32,0 % $\to$ 44,0 % (+12,0 pp)
- Reacher-W : 60,0 % $\to$ 70,7 % (+10,7 pp)
- TwoRoom-W : 60,0 % $\to$ 76,7 % (+16,7 pp)
- Ball-in-Cup : 36,8 % $\to$ 42,8 % (+6,0 pp)
Performance de la Ligne de Base : Sur les contreparties "plates" originales (sans effets du monde), DWM reste comparable à la ligne de base LeWM à tête unique, indiquant que les pertes auxiliaires ne dégradent pas les performances lorsque les effets du monde sont négligeables.
Diagnostics de Représentation : L'analyse a montré que la tête du monde est devenue presque invariante par l'action (la variance a été réduite de plusieurs ordres de grandeur sous perturbation d'action), tandis que la tête de prédiction a conservé sa sensibilité aux actions.
Qualité de Prédiction : DWM a considérablement réduit les erreurs de prédiction autoregressives à un pas et à un horizon de 20 (ex: -89,8 % de perte hors ligne sur PushT-W), démontant que la décomposition mène à des dynamiques latentes plus précises.
Généralisation Hors-Distribution (OOD) : Sur PushT-W avec des vecteurs de gravité décalés, DWM a maintenu un succès de planification élevé (44,0 %) comparé à la dégradation de la ligne de base (30,0 %), et la composante pilotée par l'action apprise est restée stable à travers les changements de gravité (similitude cosinus $\approx$ 0,999).

Signification et Revendications

L'article affirme que le découplage des effets du monde invariants par l'action des changements pilotés par l'action au niveau du signal d'entraînement sert de biais inductif utile pour les modèles de monde latents conditionnés par l'action dans des contextes de contrôle physiquement réalistes.

Les auteurs soulignent que leur approche traite une limitation fondamentale des stratégies de supervision actuelles sans nécessiter de refonte architecturale. En séparant explicitement "ce que le monde fait de lui-même" de "ce que l'agent change", DWM permet au modèle d'apprendre des dynamiques latentes plus précises, ce qui se traduit directement par une meilleure planification multi-étapes et une plus grande robustesse aux dynamiques environnementales qui persistent indépendamment des actions de l'agent. Les résultats suggèrent que cette décomposition est particulièrement vitale pour les tâches où l'environnement évolue de manière autonome, un scénario souvent négligé dans les benchmarks standards.