DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration

Le papier présente DreamSAC, un cadre qui améliore la généralisation extrapolaire des modèles de monde en apprenant des lois physiques sous-jacentes grâce à une stratégie d'exploration par symétrie motivée par la curiosité et un modèle hamiltonien auto-supervisé.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot comment fonctionne le monde, par exemple comment lancer une balle ou faire rouler une voiture.

La plupart des robots d'aujourd'hui apprennent comme un étudiant qui ne fait que mémoriser par cœur. Ils regardent des milliers de vidéos et disent : "Ah, quand la balle est rouge et qu'elle va vite, elle tombe ici." C'est très bien si tout reste pareil. Mais si vous changez la couleur de la balle, ou si vous mettez la voiture sur la lune (où la gravité est différente), l'robot est perdu. Il a appris des "coïncidences visuelles", pas les vraies lois de la physique.

C'est là qu'intervient DreamSAC, une nouvelle méthode proposée par des chercheurs de l'UC San Diego. Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : L'Étudiant Passif vs. L'Explorateur Curieux

• L'approche classique (Passive) : Imaginez un étudiant assis dans une salle de classe, regardant des diapositives. Il voit des images de voitures qui roulent. Il apprend à reconnaître les formes, mais il ne comprend pas pourquoi la voiture s'arrête quand on appuie sur le frein. Si on lui montre une voiture sur la glace, il ne sait pas quoi faire.
• L'approche DreamSAC (Active) : DreamSAC, c'est comme un enfant curieux qui ne se contente pas de regarder. Il veut tester les limites. Il pousse la voiture, il la fait rouler sur des pentes, il la heurte. Il cherche activement à comprendre les règles cachées du jeu.

2. La Magie : La "Curiosité Physique" (Symmetry Exploration)

Comment sait-on ce qu'il faut tester ? DreamSAC utilise un concept appelé l'Hamiltonien.

• L'Analogie de la Balance : Imaginez que chaque objet dans le monde a une "balance d'énergie" invisible. Si rien ne touche l'objet, cette balance reste stable (comme une bille qui roule sur une table sans frottement).
• Le Défi du Robot : Le robot se dit : "Je veux comprendre les règles de ce monde. Pour cela, je dois essayer de casser cette balance."
• Il cherche donc à faire des actions qui changent le plus possible cette énergie (comme lancer un objet lourd, le faire tomber, ou le faire rebondir). C'est ce qu'ils appellent la "Curiosité Symétrique". Au lieu de chercher des choses "nouvelles" au hasard (comme une télévision qui fait du bruit), il cherche des interactions qui le forcent à comprendre la physique profonde (la masse, la friction, la gravité).

3. Le Cerveau : Le "Modèle du Monde" à Symétrie

Une fois que le robot a collecté ces données intéressantes, il doit les apprendre.

• Le Problème de la Caméra : Si vous regardez une balle rouler de gauche à droite, ou de haut en bas, l'image change, mais la physique (la vitesse, l'énergie) reste la même. Les robots classiques se trompent souvent en pensant que l'image est la réalité.
• La Solution de DreamSAC : Ils ont créé un cerveau spécial qui ignore les détails inutiles (comme l'angle de la caméra ou la couleur du ciel) pour se concentrer uniquement sur l'essentiel : la position et la vitesse.
• L'Analogie du Traducteur : Imaginez un traducteur qui ne traduit pas les mots (l'image visuelle), mais le sens (la loi physique). Peu importe si vous parlez français ou anglais (vue de gauche ou de droite), le sens de la phrase (la loi de la gravité) reste identique. DreamSAC apprend à voir le monde à travers ce "sens physique" plutôt qu'à travers les pixels.

4. Le Résultat : Un Robot qui s'adapte instantanément

Grâce à cette méthode, DreamSAC est capable de faire des choses impressionnantes :

• Adaptation Rapide : Si vous changez la gravité (comme passer de la Terre à la Lune), le robot n'a pas besoin de réapprendre tout depuis zéro. Il ajuste simplement ses paramètres internes, comme un cycliste qui ajuste sa vitesse en fonction de la pente, car il comprend le principe de la pente.
• Généralisation : Il peut réussir des tâches qu'il n'a jamais vues, simplement parce qu'il a compris les règles du jeu, pas juste les mouvements.

En Résumé

Alors que les autres robots apprennent par mémorisation (comme un perroquet qui répète des phrases), DreamSAC apprend par compréhension (comme un physicien qui teste des hypothèses).

Il utilise une curiosité intelligente pour trouver les moments où la physique est la plus intéressante, et un cerveau spécial qui ignore les illusions d'optique pour ne voir que les lois fondamentales de l'univers. C'est comme passer d'un étudiant qui copie le tableau noir à un scientifique qui découvre les lois de la nature.

Résumé technique

1. Problématique

Les modèles du monde (World Models) actuels, tels que DreamerV3, excellent dans la généralisation interpolative (prédire des scénarios similaires à ceux vus pendant l'entraînement) mais échouent souvent dans la généralisation extrapolative. Lorsqu'ils sont confrontés à de nouvelles lois physiques, des paramètres inconnus (ex: gravité, friction, masses) ou des interactions complexes, leurs performances s'effondrent.

La cause fondamentale identifiée par les auteurs est que ces modèles apprennent principalement des corrélations statistiques au niveau des pixels plutôt que les règles génératives sous-jacentes (lois physiques, invariances, lois de conservation). Ils sont des "passifs" qui mémorisent des motifs visuels sans comprendre la dynamique physique intrinsèque, ce qui les rend incapables de s'adapter à des environnements physiquement nouveaux.

2. Méthodologie : DreamSAC

Pour surmonter ces limites, les auteurs proposent DreamSAC (Dream with Symmetry-Aware Curiosity), un cadre d'apprentissage par renforcement non supervisé conçu pour découvrir les invariances physiques fondamentales. L'approche repose sur deux piliers principaux :

A. Modèle du Monde Hamiltonien (Hamiltonian World Model)

Au lieu d'utiliser un prédicteur de dynamique "boîte noire" (comme un RNN standard), DreamSAC intègre une structure physique explicite :

• Représentation Latente : L'observateur (pixels) est encodé en états latents objets-centriques $Z_t = \{q_t, p_t\}$, où $q$ représente les coordonnées généralisées et $p$ les moments canoniques.
• Dynamique Contrôlée : L'évolution de l'état est régie par des équations de Hamilton contrôlées :
  $$\dot{q} = \frac{\partial H_\phi}{\partial p}, \quad \dot{p} = -\frac{\partial H_\phi}{\partial q} + g(q)a_t$$
  où $H_\phi$ est le Hamiltonien interne (énergie) et $g(q)a_t$ représente l'action externe.
• Invariance de Symétrie : Le Hamiltonien $H_\phi$ est contraint d'être invariant sous les transformations du groupe de symétrie physique pertinent (ex: $SE(3)$ pour les objets 3D), garantissant que les lois physiques apprises ne dépendent pas du point de vue de la caméra.
• Apprentissage Contrastif (Viewpoint-Robustness) : Pour résoudre le conflit entre la nécessité de reconstruire l'image (qui dépend du point de vue) et l'invariance physique, un objectif contrastif auto-supervisé ($L_{vr}$) est ajouté. Il force l'encodeur à ignorer les variations de vue tout en préservant la dynamique physique.

B. Exploration par Symétrie (Symmetry Exploration)

Pour apprendre un Hamiltonien précis, l'agent ne peut pas être passif. Il doit activement "briser" les symétries pour explorer l'espace des phases.

• Curiosité Physique : L'agent est motivé par une récompense intrinsèque basée sur le travail effectué sur le système, qui correspond au changement d'énergie (Hamiltonien) : $r_{sym} \approx |\Delta H_\phi|$.
• Stratégie : L'agent cherche à maximiser ce changement d'énergie, ce qui l'incite à effectuer des actions qui perturbent le système (ex: pousser des objets lourds, changer de trajectoire), générant ainsi des données physiquement informatives pour affiner la compréhension des lois de conservation.
• Recuit (Annealing) : Pour stabiliser l'apprentissage initial (quand le modèle est mauvais), la récompense intrinsèque est progressivement passée d'un bonus de nouveauté statistique (RND) à la récompense basée sur la physique ($r_{sym}$).

3. Contributions Clés

1. Exploration par Symétrie : Une stratégie d'exploration non supervisée qui utilise une curiosité basée sur le Hamiltonien pour collecter activement des données pertinentes physiquement, plutôt que de simples données visuellement nouvelles.
2. Modèle du Monde Hamiltonien avec Invariance : Un modèle qui apprend des dynamiques à partir de pixels bruts en imposant des contraintes de symétrie physique et en utilisant un apprentissage contrastif pour séparer les facteurs de nuisance (vue) des facteurs physiques (état dynamique).
3. Adaptation Rapide (Fine-tuning Différencié) : Une méthode d'adaptation où l'encodeur visuel est gelé, mais le Hamiltonien est finement ajusté pour identifier rapidement de nouveaux paramètres physiques (masse, friction), permettant une généralisation extrapolative efficace.

4. Résultats Expérimentaux

Les auteurs ont évalué DreamSAC sur des simulations physiques 3D (DeepMind Control Suite et GymFetch) :

• Précision Prédictive : DreamSAC obtient une erreur quadratique moyenne (MSE) de prédiction d'image nettement inférieure aux baselines (DreamerV3), souvent avec une amélioration de plus de 10x sur certaines tâches (ex: Acrobot).
• Généralisation Extrapolative (OOD) :
  • Paramètres Invisibles : Sur des tâches avec une gravité ou une friction inconnue, DreamSAC surpasse les baselines de 22% à 163%.
  • Structures Invisibles : Il réussit mieux sur des tâches avec de nouveaux points de vue, de nouveaux objets ou de nouvelles configurations d'objectifs.
  • Zero-Shot : Même sans adaptation (fine-tuning), le modèle pré-entraîné montre une capacité de généralisation supérieure grâce à l'apprentissage des invariances physiques.
• Analyse Qualitative : Les visualisations (t-SNE) confirment que le modèle apprend des représentations invariantes au point de vue et que le Hamiltonien appris respecte effectivement la conservation de l'énergie (valeur constante en l'absence d'action).

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'apprentissage par renforcement et la modélisation du monde :

• Du Statistique au Physique : Il démontre que pour une généralisation robuste, les agents doivent apprendre les lois de conservation et les symétries sous-jacentes plutôt que de simples corrélations pixeliques.
• Efficacité de l'Échantillonnage : En guidant l'exploration par la physique (curiosité basée sur le travail), l'agent apprend plus vite et avec moins de données que les méthodes basées sur la nouveauté statistique.
• Robustesse Réelle : La capacité à s'adapter rapidement à de nouveaux paramètres physiques (via le fine-tuning différencié) rend ces modèles plus prometteurs pour des applications robotiques réelles où les conditions environnementales varient constamment.

En résumé, DreamSAC transforme l'apprentissage du monde d'un processus passif d'observation statistique en un processus actif de découverte physique, permettant aux agents de comprendre et de prédire le comportement du monde au-delà de leur expérience directe.