🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World introduit un modèle de monde structuré qui intègre une mémoire sélective basée sur Mamba avec un espace latent Soft-Hamiltonien décomposé pour stabiliser la planification à long horizon et améliorer significativement la robustesse face aux changements de dynamique hors distribution.

Auteurs originaux : Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment jouer à un jeu complexe, comme jongler ou équilibrer un pôle. Pour bien faire cela, le robot a besoin d'un « modèle du monde » — une simulation interne qui lui permet d'imaginer ce qui se passera s'il effectue une certaine action avant de la réaliser réellement.

L'article présente HaM-World, un nouveau type de modèle du monde conçu pour rendre ces simulations mentales plus stables et plus précises, en particulier sur de longues périodes ou lorsque les règles du jeu changent légèrement.

Voici comment cela fonctionne, décomposé en concepts et analogies simples :

1. Le Problème : Le « Rêve éveillé » devient flou

Les modèles du monde actuels sont comme un étudiant essayant de mémoriser une histoire en la lisant phrase par phrase. Si l'histoire est courte, il s'en souvient parfaitement. Mais s'il essaie d'imaginer l'histoire 100 étapes dans le futur, les détails deviennent flous et l'histoire s'effondre.

Le Problème : À mesure que le robot planifie plus loin dans le futur, ses prédictions deviennent instables. Il éprouve également des difficultés si l'environnement change (par exemple, si le sol devient glissant ou si le bras du robot devient plus lourd).
La Cause : L'article soutient que les modèles existants mélangent trop de choses dans leur « cerveau ». Ils confondent la position du robot (où il se trouve), sa quantité de mouvement (vitesse de déplacement) et le contexte (quel est l'objectif ou si le sol est mouillé). Ce mélange provoque une accumulation rapide d'erreurs.

2. La Solution : Un « Cerveau » spécialisé avec trois pièces

HaM-World résout ce problème en organisant l'état interne du robot en trois « pièces » ou compartiments distincts, plutôt qu'une seule grande pièce désordonnée :

Pièce A : Le Moteur Physique (q et p)
Cette pièce gère la physique pure : la position ( $q$ ) et la quantité de mouvement ( $p$ ). Les auteurs utilisent ici un concept mathématique appelé dynamique hamiltonienne.
- L'Analogie : Imaginez cela comme une table de billard. Sur une table de billard, l'énergie est conservée ; les boules rebondissent les unes sur les autres de manière prévisible. HaM-World tente de faire en sorte que la position et la quantité de mouvement du robot se comportent comme des boules de billard. Cela crée une « colonne vertébrale » stable pour la simulation, empêchant le robot d'imaginer une physique impossible (comme une boule qui accélère soudainement sans raison).
- La Touche « Douce » : La vie réelle n'est pas une table de billard parfaite ; il y a du frottement, et le robot possède des moteurs. Ainsi, HaM-World utilise une approche « Hamiltonienne douce ». Elle conserve la structure stable de la table de billard mais permet une couche « résiduelle » qui apprend les aspects désordonnés du monde réel, comme le frottement et le contrôle des moteurs.
Pièce B : La Pièce du Contexte (c)
Cette pièce contient des informations qui ne suivent pas les règles de la table de billard.
- L'Analogie : C'est le carnet de notes du robot. Il y écrit des choses comme « l'objectif est de faire tourner le doigt », « le sol est glissant » ou « je dois faire attention ». Ce sont des détails sémantiques qui ne s'intègrent pas dans la physique pure de la position et de la vitesse, mais qui sont cruciaux pour savoir quoi faire.
Pièce C : La Pièce de Mémoire (Mamba)
C'est la mémoire à court terme du robot.
- L'Analogie : Parfois, le robot ne peut pas tout voir (observabilité partielle), ou il y a un délai entre le moment où il décide de bouger et le moment où il bouge réellement. Un modèle standard pourrait oublier ce qui s'est passé il y a 5 secondes. HaM-World utilise un système de mémoire spécial appelé Mamba qui agit comme un filtre sélectif. Il se souvient des parties importantes du passé nécessaires pour prendre une décision à l'instant présent, assurant que le robot ne se « perde » pas dans son propre rêve éveillé.

3. Comment cela fonctionne ensemble

Lorsque le robot planifie un mouvement, il ne fait pas que deviner. Il exécute une simulation (un « déroulement ») dans sa tête :

Il observe l'état actuel.
Il utilise la Pièce de Mémoire pour combler les détails manquants du passé.
Il met à jour la Pièce Physique en utilisant les règles stables de la table de billard, ajustées par les commandes des moteurs.
Il met à jour la Pièce du Contexte avec de nouvelles informations sur l'objectif ou l'environnement.
Il répète cela sur de nombreuses étapes dans le futur pour voir quelle action conduit au meilleur résultat.

Grâce à la stabilité de la partie physique (comme la table de billard) et à la capacité de la partie mémoire à combler les lacunes, le « rêve éveillé » du robot reste clair et précis, même pour des horizons de planification longs.

4. Les Résultats : Meilleur en tout

Les auteurs ont testé HaM-World sur quatre tâches robotiques standard (comme un guépard courant ou un doigt faisant tourner un objet).

Précision : Il a commis beaucoup moins d'erreurs en imaginant le futur par rapport aux autres modèles de pointe. En fait, ses erreurs de prédiction à long terme étaient inférieures à la moitié de celles du deuxième meilleur modèle.
Robustesse : Lorsque les chercheurs ont modifié les règles du jeu (par exemple, rendu le robot plus lourd, ralenti ses actions ou caché des parties de sa vision), HaM-World a continué à bien performer. C'était le seul modèle à maintenir le score le plus élevé dans chaque condition de test difficile.
Efficacité : Il a appris à contrôler les robots plus rapidement et avec moins d'essais d'entraînement que les autres méthodes.

Résumé

HaM-World revient à donner au robot une meilleure carte interne. Au lieu d'un croquis flou et confus, il fournit une carte structurée avec une fondation physique stable (la table de billard), un endroit pour des notes importantes (le contexte) et une mémoire fiable (le filtre). Cela permet au robot de planifier des actions complexes et à long terme sans se confondre ni se perdre, même lorsque le monde qui l'entoure change.

Résumé Technique : HaM-World

1. Énoncé du Problème

Les modèles du monde permettent la planification basée sur modèle en apprenant des dynamiques latentes pour effectuer des déroulements imaginés. Cependant, à mesure que l'horizon de planification s'étend ou que les dynamiques de l'environnement évoluent, ces déroulements imaginés deviennent souvent instables. Les auteurs soutiennent que cette instabilité découle de deux composants structurels manquants dans les représentations latentes destinées au planificateur :

Complétude Markovienne Approximative : L'observabilité partielle et les délais d'action rendent les latents monocadres insuffisants en tant qu'états de Markov, pourtant les modèles existants manquent souvent de mémoire conditionnée par l'historique pour y remédier.
Organisation Géométrique : Les représentations latentes monolithiques entremêlent la configuration, la quantité de mouvement et les sémantiques de la tâche. Cet enchevêtrement provoque une croissance des erreurs de prédiction multi-étapes sans contraintes structurelles, entraînant une mauvaise extrapolation de la structure physique sous des régimes de contrôle perturbés.

Les approches actuelles capturent principalement des corrélations statistiques plutôt que la structure générative sous-jacente (par exemple, les invariances et les lois de conservation), ce qui se traduit par des planificateurs qui peinent à assurer la cohérence sur de longs horizons et la généralisation hors distribution (OOD).

2. Méthodologie : HaM-World

Les auteurs proposent HaM-World (HMW), un modèle du monde structuré qui décompose l'état latent en une interface unifiée partagée entre la prédiction des dynamiques, l'estimation de la récompense/valeur, les déroulements imaginés et la recherche d'actions par la méthode de l'Entropie Croisée (CEM). L'architecture se compose de trois composants principaux :

A. Factorisation Latente ( $q, p, c$ )

L'état latent $z_t$ est explicitement divisé en :

Sous-espace Canonique $(q, p)$ : Représente la configuration et la quantité de mouvement. Ce sous-espace est régi par une loi a priori Soft-Hamiltonienne.
Sous-espace Contextuel $c$ : Capture les facteurs sémantiques, dissipatifs et non conservatifs (par exemple, les commutations de contact, la friction, les sémantiques de la tâche) qui ne respectent pas strictement la conservation de l'énergie.

B. Dynamiques Soft-Hamiltoniennes

Au lieu d'imposer une conservation stricte de l'énergie (trop restrictive pour les systèmes contrôlés avec friction et contact), HaM-World utilise une mise à jour « Soft-Hamiltonienne » pour la paire $(q, p)$ :
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : Un champ d'énergie apprenable.
$\alpha$ : Un coefficient de mélange qui équilibre les mises à jour du réseau basées sur les données avec le champ vectoriel hamiltonien.
$G_t a_t$ : Une commande d'apprentissage explicite ajoutée à la mise à jour de la quantité de mouvement.
Mécanisme : Cette conception permet au modèle de maintenir une colonne vertébrale géométrique organisée par l'énergie pour la stabilité, tout en conservant la flexibilité nécessaire pour s'adapter aux contacts, à la friction et aux objectifs de la tâche via des dynamiques résiduelles et des commandes de contrôle.

C. Mémoire Sélective (Mamba)

Pour répondre à l'observabilité partielle et aux délais d'action, HaM-World intègre des modèles d'espace d'état sélectifs Mamba en tant qu'entrée conditionnée par l'historique ( $h_t$ ) pour les dynamiques latentes.

Contrairement aux modèles de déroulement récurrents parallèles, Mamba fournit une seule entrée conditionnée par l'historique aux mêmes dynamiques latentes utilisées par le planificateur.
Cela garantit que l'interface du planificateur reste unifiée à travers l'entraînement, les déroulements imaginés et la recherche CEM, sans nécessiter d'état récurrent séparé pour le planificateur.

D. Objectifs d'Entraînement

Le modèle est entraîné avec une fonction de perte composite incluant :

Cohérence des Déroulements Multi-étapes ( $L_{roll}$ ) : Contraint l'accumulation d'erreurs sur l'horizon de planification.
Alignement Hamiltonien ( $L_{ham}$ ) : Un biais directionnel doux alignant la branche du réseau avec le champ vectoriel hamiltonien.
Régularisation d'Énergie Sans Action ( $L_{energy}$ ) : Supprime la dérive d'énergie en l'absence d'actions.
Objectifs Standards : Alignement de représentation de type JEPA, cohérence des dynamiques à un pas, et régression de la récompense/valeur (en utilisant des cibles deux-hot symlog).

3. Contributions Clés

Dynamiques Structurées pour le Planificateur : L'introduction d'une factorisation latente $q/p/c$ qui couple la mémoire sélective Mamba avec des dynamiques Soft-Hamiltoniennes $(q, p)$ . Cela fournit une interface latente unique pour la planification CEM, l'estimation de récompense et la prédiction de dynamiques.
Évaluation Consciente du Mécanisme : Un protocole d'évaluation complet incluant les performances de contrôle standard, la cohérence des déroulements sur de longs horizons (MSE à $k \in \{3, 5, 7\}$ ), et 12 perturbations OOD (déplacements de dynamiques, délais, masquage).
Gains Empiriques : Une performance supérieure démontrée sur plusieurs métriques, spécifiquement en matière de stabilité sur de longs horizons et de robustesse OOD, étayée par des diagnostics de mécanisme montrant une dérive d'énergie bornée et un transfert d'énergie cohérent induit par le contrôle.

4. Résultats Expérimentaux

Évalué sur quatre tâches de la DeepMind Control Suite (DMC) (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) avec un budget d'échantillons de 100k étapes :

Performance de Contrôle : HaM-World a atteint la plus grande Aire Moyenne Sous la Courbe (Avg. AUC) de 117,9, surpassant TD-MPC2 (+9,5 %), SAC (+66,3 %) et DreamerV3 (+101,2 %). Il a obtenu le retour final le plus élevé sur Finger Spin et Reacher Easy.
Stabilité sur Long Horizon : HaM-World a réduit l'erreur de déroulement sur de longs horizons à 45 % de la forte baseline (TD-MPC2) et à 14,3 % de DreamerV3. Il a remporté 11 cellules MSE sur 12 pour $k \in \{3, 5, 7\}$ .
Généralisation OOD : Sous 12 perturbations OOD (incluant des changements de masse, d'amortissement, de friction, de délais d'action et de masquage d'observation), HaM-World a obtenu le retour le plus élevé dans chaque condition.
- Sur Finger Spin, il a montré un gain moyen de retour OOD de 10,2 % par rapport à TD-MPC2.
- Sur Reacher Easy, il a montré un gain moyen de retour OOD de 13,6 % par rapport à TD-MPC2.
Diagnostics de Mécanisme :
- Dérive d'Énergie : Dans les déroulements sans action, l'énergie hamiltonienne apprise est restée presque stable (dérive d'environ 1 %), confirmant la structure Soft-Hamiltonienne.
- Couplage de Contrôle : L'analyse a montré que la « poussée » d'action (projection du contrôle sur $\nabla_p H$ ) corrélait systématiquement avec le franchissement de couches d'énergie, validant la conception hamiltonienne contrôlée.
- Ablation : La suppression de la structure géométrique (A1) ou de la mémoire (A2) a dégradé significativement les performances. Notamment, la mémoire était la prérequis dominant pour l'utilisabilité sous observabilité partielle, tandis que la structure Soft-Hamiltonienne a relevé le plafond de la robustesse des déroulements.

5. Signification et Revendications

L'article revendique que HaM-World démontre que traiter la complétude markovienne (via la mémoire sélective) et la cohérence géométrique (via la structure Soft-Hamiltonienne) comme des étapes couplées de dynamiques latentes unifiées améliore significativement les performances du planificateur.

Structurel vs Statistique : Les gains sont attribués à la capacité du modèle à incorporer des régularités physiques (organisation de l'énergie) plutôt que de compter uniquement sur l'ajustement des corrélations statistiques.
Interface Unifiée : Le travail montre qu'un état latent unique, partagé par la prédiction, l'estimation de valeur et la planification, peut être rendu stable et efficace pour les tâches sur de longs horizons s'il respecte la séparation entre les dynamiques conservatrices ( $q, p$ ) et le contexte non conservateur ( $c$ ).
Robustesse : La méthode fournit une solution structurelle à l'instabilité des déroulements imaginés, permettant une meilleure extrapolation sous des décalages de distribution et des perturbations sans nécessiter d'états de planificateur récurrents séparés.

Limitations : Les auteurs notent que le travail actuel est limité aux observations basées sur l'état sur quatre tâches DMC. Le passage aux entrées pixel, à des morphologies plus larges et aux scénarios de contact discontinus reste un défi ouvert. Les diagnostics soutiennent l'interface apprise mais ne prouvent pas que les dynamiques sont globalement hamiltoniennes.