MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning

1. Problématique : L'Apprentissage par Renforcement Hors-Dynamique (Off-Dynamics Offline RL)

Le papier aborde le problème de l'apprentissage par renforcement (RL) hors dynamique (off-dynamics) dans un contexte hors ligne (offline).

• Contexte : L'agent doit apprendre une politique optimale pour un environnement cible (réel ou déployé, noté $M_{trg}$) en utilisant uniquement des données statiques pré-collectées.
• Données disponibles :
  • Un ensemble de données source ($D_{src}$) provenant d'un simulateur ou d'un domaine source ($M_{src}$), contenant des millions de transitions.
  • Un ensemble de données cible ($D_{trg}$) très limité (quelques milliers de transitions), provenant du domaine cible.
• Le Défi : Les dynamiques de transition ($p(s'|s,a)$) diffèrent significativement entre le source et le cible (décalage de dynamique ou dynamics shift), bien que la fonction de récompense reste identique.
• Limites des méthodes existantes : Les approches actuelles (comme DARA, BOSA) utilisent soit la régularisation de récompense, soit le filtrage de données pour pénaliser les transitions source ayant un fort décalage dynamique. Cela conduit à optimiser la politique uniquement sur les régions à faible décalage, empêchant l'exploration d'états à haute récompense dans le domaine cible qui se trouvent en dehors de ces régions. Lorsque le décalage est important, ces méthodes échouent souvent.

2. Méthodologie : MOBODY

Les auteurs proposent MOBODY, un algorithme de RL hors ligne basé sur un modèle (Model-Based) conçu pour apprendre les dynamiques cibles et explorer le domaine cible, même avec peu de données.

A. Apprentissage des Dynamiques Cibles (Dynamics Learning)

L'idée centrale est d'apprendre une représentation partagée tout en capturant les différences spécifiques aux domaines via des encodeurs d'actions séparés.

1. Architecture du Modèle :

   • Encodeur d'état partagé ($\phi_E$) : Encode l'état $s$ en une représentation latente $z_s$ commune aux deux domaines.
   • Encodeurs d'action séparés ($\psi_{src}, \psi_{trg}$) : Puisque la même action $a$ peut mener à des états différents selon le domaine, ou qu'il faut des actions différentes pour atteindre le même état, MOBODY utilise deux encodeurs distincts pour mapper les actions du source et du cible vers un espace latent commun.
   • Fonction de transition unifiée ($\phi_T$) : Une seule fonction prédit l'état suivant $\hat{s}'$ à partir de la représentation latente combinée de l'état et de l'action encodée.
   • Formulation : $\hat{s}' = \phi_T(z_s + \psi(z_s, a))$, où $\psi$ est spécifique au domaine.

2. Fonctions de Perte pour l'Apprentissage :

   • Perte de Transition ($L_{dyn}$) : Minimise l'erreur quadratique entre l'état réel et prédit pour les deux domaines.
   • Perte de l'Encodeur ($L_{rep}$) : Force la représentation de l'action-état ($z_{sa}$) à être proche de la représentation du prochain état ($z_{s'}$), encourageant l'encodeur à capturer les informations dynamiques spécifiques.
   • Perte de Transition Cyclique ($L_{cycle}$) : Inspirée des VAE (Variational Autoencoders), elle assure que si aucune action n'est prise (ou si l'encodeur d'action est nul), l'état prédit reste l'état actuel. Cela améliore la qualité de la représentation de l'état et évite l'effondrement de mode.
   • Apprentissage de la Récompense : Une fonction de récompense est apprise conjointement sur les données source et cible, en utilisant à la fois les états réels et prédits pour la régularisation.

B. Optimisation de la Politique (Policy Learning)

Une fois le modèle de dynamique cible appris, MOBODY effectue un rollout (simulation) pour générer des données supplémentaires et optimiser la politique.

1. Données Enhancées : L'ensemble d'entraînement pour la politique ($D_{enhanced}$) combine :

   • Les données cibles réelles ($D_{trg}$).
   • Les données source régularisées (via DARA pour pénaliser les grands décalages).
   • Les données de rollout générées par le modèle appris ($D_{fake}$).

2. Perte de Clonage Comportemental Pondéré par Q-Target (Target Q-Weighted BC) :

   • Le clonage comportemental standard (TD3-BC) risque d'imiter les actions du domaine source qui sont sous-optimales dans le cible.
   • MOBODY introduit une perte de régularisation qui pondère les actions par leur valeur Q dans le domaine cible.
   • Formule clé : La politique est encouragée à imiter les actions ayant une haute valeur $Q_{trg}$, plutôt que de simplement imiter les actions présentes dans le dataset ou de maximiser l'avantage (comme dans IQL/AWR). Cela guide la politique vers des actions performantes sous les dynamiques cibles.

3. Contributions Clés

1. Nouveau Paradigme : Introduction du RL hors ligne basé sur un modèle pour le problème "off-dynamics", permettant l'exploration du domaine cible via un modèle appris, au lieu de se limiter aux régions à faible décalage.
2. Architecture de Dynamique Innovante : Un cadre d'apprentissage de représentation qui partage la structure de l'état et de la transition entre les domaines, tout en utilisant des encodeurs d'actions séparés pour gérer les différences dynamiques spécifiques.
3. Régularisation par Q-Target : Une perte de clonage comportemental simple et efficace qui pondère les actions par leur valeur Q cible, évitant ainsi les actions hors distribution (OOD) qui sont bonnes dans le source mais mauvaises dans le cible.
4. Validation Empirique : Démonstration de la supériorité de la méthode sur une large gamme de benchmarks (MuJoCo et Adroit) avec différents types de décalages (gravité, friction, cinématique, morphologie).

4. Résultats Expérimentaux

Les expériences ont été menées sur les environnements MuJoCo (HalfCheetah, Ant, Walker2d, Hopper) et Adroit (Pen, Door) avec des décalages de gravité, de friction, de cinématique et de morphologie.

• Performance Globale : MOBODY surpasse systématiquement les méthodes de l'état de l'art (DARA, BOSA, SRPO, REAG, MOPO, IQL, TD3-BC).
  • Amélioration moyenne de 44% par rapport à la meilleure méthode de base (REAG) sur les scénarios de gravité et de friction.
  • Amélioration de 25% sur les scénarios de décalage cinématique et morphologique.
• Robustesse aux Grands Décalages : Là où les méthodes existantes échouent (notamment lorsque le décalage est extrême, ex: gravité x0.1 ou x5.0), MOBODY maintient des performances élevées grâce à sa capacité à explorer le domaine cible via le modèle appris.
• Études d'Ablation :
  • L'apprentissage de la dynamique spécifique (avec encodeurs séparés) est crucial : remplacer le modèle par un modèle entraîné uniquement sur les données cibles ou combinées dégrade fortement les performances.
  • La perte de clonage pondérée par Q-Target est essentielle pour régulariser la politique et éviter les actions sous-optimales du domaine source.
  • Le rollout basé sur le modèle est le principal moteur de l'amélioration, tandis que la régularisation BC est un composant auxiliaire mais nécessaire.

5. Signification et Impact

Ce travail est significatif car il résout un problème fondamental du RL hors ligne : comment exploiter efficacement de grandes quantités de données de simulation (source) pour un domaine réel (cible) lorsque les lois physiques ou les dynamiques diffèrent.

• Dépassement des Limites Actuelles : Contrairement aux méthodes conservatrices qui rejettent les données source "bruyantes", MOBODY apprend à les "traduire" et à les utiliser pour explorer des régions inaccessibles autrement.
• Efficacité des Données : La méthode démontre qu'il est possible d'apprendre des dynamiques cibles précises avec très peu de données cibles (5 000 transitions) en s'appuyant sur la structure partagée avec le domaine source.
• Applications Potentielles : Cette approche est particulièrement pertinente pour le déploiement de robots dans le monde réel (où l'interaction est coûteuse ou dangereuse) en utilisant des données de simulation, même lorsque la simulation n'est pas parfaite.

En résumé, MOBODY propose une solution élégante et performante pour l'adaptation de domaine en RL hors ligne, combinant l'apprentissage de représentations partagées, la modélisation dynamique et une régularisation de politique intelligente.