Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots

1. Problématique

Le déplacement autonome des robots quadrupèdes sur des terrains complexes et dynamiques reste un défi majeur, principalement en raison de l'écart entre les environnements de simulation et la réalité (Sim-to-Real Gap).

• Limites des méthodes actuelles : Les approches traditionnelles de transfert reposent souvent sur la randomisation de domaine (qui peut ne pas couvrir toute la complexité réelle), l'amélioration coûteuse des simulateurs, ou l'adaptation de domaine qui souffre d'instabilité et de coûts computationnels élevés.
• Dépendance aux dynamiques : Les politiques apprises en simulation dépendent fortement des paramètres dynamiques spécifiques configurés dans le simulateur. Dès que les conditions réelles varient (bruit des capteurs, friction, masse, etc.), la performance chute drastiquement.
• Coût du fine-tuning : L'ajustement fin sur des données réelles est risqué (sécurité), coûteux en données et sujet au "catastrophic forgetting" (oubli catastrophique) ou à l'effondrement des représentations.

2. Méthodologie : Le Framework DreamTIP

Les auteurs proposent DreamTIP (Dreamer Task-Invariant Properties), un cadre d'apprentissage basé sur le modèle du monde Dreamer, enrichi par l'apprentissage de propriétés invariantes à la tâche.

A. Extraction des Propriétés Invariantes à la Tâche (TIP) via LLM

Au lieu de concevoir manuellement des caractéristiques intermédiaires (ce qui est coûteux et biaisé), l'article utilise des Modèles de Langage de Grande Taille (LLM) pour identifier et extraire des propriétés physiques fondamentales robustes.

• Rôle du LLM : Il analyse la description de la tâche et l'espace d'observation privilégié (privileged observations) pour générer une fonction d'extraction (TIP_Extractor).
• Propriétés cibles : Le LLM identifie des concepts tels que la stabilité du contact (pour éviter le glissement) et la liberté de terrain (terrain clearance, pour éviter les collisions). Ces propriétés sont robustes aux variations dynamiques et transférables entre différentes tâches.
• Intégration : Ces propriétés extraites sont utilisées comme cibles de prédiction auxiliaires dans le modèle du monde.

B. Architecture DreamTIP

Le modèle s'appuie sur l'architecture RSSM (Recurrent State-Space Model) de Dreamer :

1. Modèle du Monde : Il apprend les dynamiques latentes à partir des observations (images de profondeur, proprioception).
2. Prédicteur de Propriétés : Un nouveau module (MLP) est ajouté pour prédire les propriétés invariantes ($f_t$) à partir des états latents ($h_t, z_t$).
3. Fonction de Perte : L'objectif d'entraînement combine la perte de reconstruction standard de Dreamer et une perte de vraisemblance maximale (MLE) pour forcer le modèle à apprendre ces propriétés invariantes :
   $$L_{train} = L_D(\theta) - \mathbb{E}[\sum \ln p_\theta(f_t | h_t, z_t)]$$
   Cela encourage le modèle à apprendre des représentations insensibles aux changements de paramètres dynamiques sous-jacents.

C. Stratégie d'Adaptation Efficace (Real-World Adaptation)

Pour calibrer le modèle sur la réalité avec peu de données, une stratégie d'adaptation en deux étapes est proposée :

1. Buffer Mixte (Mix Buffer) : Utilisation d'un tampon de replay contenant à la fois des données simulées (pour préserver les connaissances générales) et des données réelles (pour l'adaptation). Cela évite l'oubli catastrophique.
2. Contraintes de Régularisation :
   • Un modèle pré-entraîné (référence) est gelé.
   • Lors de l'adaptation, une contrainte de similarité cosinus négative est appliquée entre les états stochastiques du modèle adaptatif et ceux du modèle de référence. Cela maintient la cohérence sémantique des représentations latentes sans être sensible à l'échelle des caractéristiques.
   • Le module récurrent (RNN) est gelé pendant le fine-tuning pour accélérer l'alignement sur les dynamiques réelles.

3. Contributions Clés

1. Utilisation des LLM pour l'ingénierie de caractéristiques : Première approche utilisant un LLM pour définir automatiquement des propriétés invariantes à la tâche (comme la stabilité de contact) à intégrer dans un modèle du monde, réduisant la dépendance à l'expertise humaine.
2. Apprentissage de représentations robustes : Intégration explicite de ces propriétés dans la fonction de perte de Dreamer pour créer des politiques moins dépendantes des paramètres dynamiques spécifiques.
3. Stratégie d'adaptation stable : Combinaison innovante d'un buffer mixte et de contraintes de régularisation (similarité cosinus) permettant un transfert rapide et stable avec un minimum de données réelles, tout en évitant l'effondrement des représentations.

4. Résultats Expérimentaux

Les expériences ont été menées sur le robot quadrupède Unitree Go2 dans des environnements simulés (Isaac Gym) et réels.

• Performance en Simulation :

  • Sur 8 tâches de transfert différentes (escaliers, grimper, inclinaison, ramper, etc.), DreamTIP a dépassé les méthodes de pointe (WMP, DreamTIP-DWL) avec une amélioration moyenne de 28,1 %.
  • Dans la tâche difficile "Crawl" (traverser un obstacle de 23 cm), la méthode proposée a obtenu une récompense moyenne de 25,35, contre seulement 5,66 pour la méthode de base (WMP).

• Performance dans le Monde Réel :

  • Tâche "Climb" (Grimper une marche de 52 cm) : Le taux de réussite de la méthode de base était de 10 %, tandis que DreamTIP a atteint 100 %.
  • Tâche "Crawl" (Ramper sous un obstacle de 25 cm) : La méthode de base heurtait l'obstacle avec sa tête, tandis que DreamTIP passait en toute sécurité.
  • Robustesse : La méthode a maintenu une haute performance même avec un décalage de centre de masse (ajout de 2 kg) et sur des terrains variés (escaliers, pentes).

• Études d'ablation :

  • L'utilisation des propriétés invariantes (TIP) est cruciale : sans elles, la performance chute.
  • L'adaptation avec régularisation est essentielle : sans elle, le modèle souffre d'instabilité et d'oubli.
  • L'optimisation des LLM (GPT-5 vs DeepSeekV3) montre que l'approche basée sur LLM est supérieure à la prédiction directe d'informations privilégiées.

5. Signification et Impact

Ce travail propose une solution novatrice pour le transfert Sim-to-Real en robotique quadrupède. En déplaçant le focus de l'apprentissage de paramètres dynamiques spécifiques vers l'apprentissage de principes physiques invariants (via l'assistance des LLM), les auteurs parviennent à créer des politiques de locomotion beaucoup plus robustes.
La méthode démontre qu'il est possible d'atteindre une généralisation élevée et une adaptation rapide sur des robots réels avec très peu de données de terrain, surmontant ainsi les limitations de la randomisation de domaine et des méthodes d'adaptation traditionnelles. Cela ouvre la voie à des robots plus autonomes capables de s'adapter à des environnements non structurés et dynamiques sans réentraînement coûteux.