Bridging Dynamics Gaps via Diffusion Schrödinger Bridge for Cross-Domain Reinforcement Learning

Ce papier propose BDGxRL, un cadre novateur utilisant le pont de Schrödinger par diffusion pour aligner les transitions d'une source avec les dynamiques d'une cible via des démonstrations offline, permettant ainsi d'apprendre des politiques transférables sans accès à l'environnement ni aux récompenses de la cible.

L'essentiel

🌉 Le Pont Invisible : Comment apprendre à conduire une voiture dans le brouillard sans jamais y aller

Imaginez que vous êtes un excellent pilote de course. Vous avez passé des milliers d'heures à vous entraîner sur un circuit virtuel parfait (le "monde source"). Vous connaissez chaque virage, chaque freinage, et vous savez exactement comment la voiture réagit.

Maintenant, on vous demande de participer à une course réelle sur un circuit différent (le "monde cible"). Ce nouveau circuit a une gravité légèrement différente, des pneus qui glissent plus, et la voiture est un peu plus lourde. Pire encore :

1. Vous n'avez pas le droit d'entrer sur ce nouveau circuit pour vous entraîner (c'est trop cher ou dangereux).
2. Vous n'avez pas de drapeau à damier (pas de récompense) pour vous dire si vous faites bien les choses.
3. Vous avez seulement quelques vidéos de champions qui ont déjà couru sur ce circuit, mais sans indication de leur score.

Si vous essayez de conduire comme sur le circuit virtuel, vous allez crasher. C'est le problème que les chercheurs appellent le "fossé dynamique".

L'article que nous allons explorer propose une solution géniale appelée BDGxRL. Voici comment ça marche, en utilisant des métaphores simples.

---

1. Le Problème : Deux mondes qui ne parlent pas la même langue

Dans le monde de l'intelligence artificielle (IA), les robots apprennent souvent dans des simulateurs (comme un jeu vidéo très réaliste) avant d'être envoyés dans la vraie vie.

• Le monde source (Simulateur) : La physique est parfaite, prévisible.
• Le monde cible (Réel) : La physique est imparfaite (vent, frottement, usure).

Si vous entraînez un robot pour marcher dans le simulateur, il va tomber dès qu'il mettra un pied dans la vraie vie, car ses "jambes" réagissent différemment.

2. La Solution Magique : Le "Pont de Schrödinger" (DSB)

Les auteurs utilisent une technique mathématique complexe appelée Diffusion Schrödinger Bridge (DSB). Pour faire simple, imaginez cela comme un traducteur de réalité.

• L'analogie du traducteur :
  Imaginez que vous avez un texte écrit en français (vos données du simulateur) et que vous voulez le comprendre en japonais (les vidéos du monde réel), mais vous ne parlez ni l'un ni l'autre.
  Au lieu d'apprendre le japonais par cœur, vous utilisez un traducteur intelligent qui regarde des milliers de phrases en français et des milliers de phrases en japonais, et qui apprend à transformer le français en japonais, phrase par phrase, sans avoir besoin de voir les deux en même temps.

• Dans le robot :
  Le "traducteur" (le modèle DSB) prend une action que le robot fait dans le simulateur (ex: "avancer de 1 mètre") et la transforme en ce que cela donnerait dans le monde réel (ex: "avancer de 0,8 mètre avec un glissement").
  Cela permet au robot de s'entraîner dans le simulateur, mais de s'imaginer qu'il est dans le monde réel. Il apprend à conduire sur le "circuit virtuel" tout en tenant compte des règles du "circuit réel".

3. Le Second Défi : Comment savoir si on a bien fait sans points ?

Même si le robot sait comment bouger dans le monde réel, il ne sait pas pourquoi il bouge. Dans le simulateur, il reçoit des points quand il avance bien. Dans le monde réel (avec les vidéos), il n'y a pas de points.

Si on donne au robot les points du simulateur pour le monde réel, il va se tromper. Par exemple, dans le simulateur, avancer vite donne 10 points. Dans le monde réel, avancer vite fait glisser la voiture et donne un accident (0 points).

La solution : Le "Modulateur de Récompense"
Les chercheurs ont créé un détective de récompense.

• Ce détective ne regarde pas l'action (le volant tourné), mais le résultat (où la voiture est arrivée).
• Il apprend dans le simulateur : "Si je finis ici, c'est bon. Si je finis là, c'est mauvais."
• Ensuite, quand le robot fait une action dans le simulateur, le traducteur (DSB) imagine où il serait réellement. Le détective regarde cette position imaginaire et dit : "Ah, si tu étais vraiment là, tu aurais eu 0 points !"
• Le robot reçoit alors cette nouvelle note imaginaire et apprend à s'adapter.

4. Le Résultat : Un champion qui n'a jamais quitté son salon

Grâce à cette méthode (BDGxRL), le robot fait tout ceci :

1. Il s'entraîne dans son simulateur (son salon).
2. Il utilise le Pont pour transformer ses mouvements en mouvements "réalistes".
3. Il utilise le Détective pour recevoir les bonnes notes basées sur la réalité.
4. Il copie aussi les vidéos des champions (apprentissage par imitation) pour bien démarrer.

Le résultat final ?
Le robot devient un expert du monde réel, même s'il n'a jamais mis un pied dans le monde réel et qu'on ne lui a jamais donné de points pour le monde réel.

En résumé

L'article explique comment combler le fossé entre la théorie (le simulateur) et la pratique (le réel) sans avoir besoin d'expérimentation coûteuse sur le terrain.

• Le problème : La réalité est différente de la simulation, et on n'a pas de guide (récompense) dans la réalité.
• L'outil : Un "pont" mathématique (DSB) qui transforme la simulation en réalité.
• L'astuce : Un système de points qui s'adapte à la réalité transformée.
• Le gain : Des robots plus intelligents, plus sûrs et plus rapides à déployer, capables de passer du virtuel au réel sans crash.

C'est comme apprendre à nager dans une piscine couverte, mais en ayant un coach qui vous dit : "Si tu fais ce mouvement ici, tu ferais exactement ça dans la mer agitée", vous permettant de devenir un champion de natation en haute mer sans jamais avoir touché l'eau salée.

Résumé technique

1. Problématique

L'apprentissage par renforcement (RL) inter-domaine vise à transférer des politiques d'un domaine source (par exemple, un simulateur) vers un domaine cible (par exemple, le monde réel). Le défi majeur réside dans le décalage de dynamique (dynamics gap) : bien que les espaces d'états et d'actions soient identiques, les lois de transition (gravité, friction, masse) diffèrent souvent entre les deux domaines.

Les contraintes spécifiques de ce travail sont :

• Absence d'interaction en ligne avec le domaine cible : L'agent ne peut pas explorer l'environnement cible.
• Absence de récompense dans le domaine cible : Les démonstrations experts disponibles dans le domaine cible sont "offline" et ne contiennent aucune annotation de récompense.
• Inadéquation des récompenses source : Réutiliser directement la fonction de récompense du domaine source est risqué car la dynamique différente peut rendre les mêmes transitions (s, a, s') associées à des récompenses différentes ou incohérentes.

L'objectif est d'apprendre une politique optimisée pour le domaine cible en n'utilisant que des données en ligne du domaine source et des démonstrations experts offline du domaine cible.

2. Méthodologie : Le cadre BDGxRL

Les auteurs proposent un nouveau cadre nommé BDGxRL (Bridging Dynamics Gaps for Cross-Domain Reinforcement Learning), qui repose sur trois composantes principales :

A. Alignement des Dynamiques via Diffusion Schrödinger Bridge (DSB)

Pour combler l'écart entre les transitions du domaine source et celles du domaine cible, l'article utilise le Diffusion Schrödinger Bridge (DSB).

• Principe : Le DSB est formulé comme un problème de transport optimal stochastique. Il apprend un processus de diffusion continu qui transforme la distribution des transitions du domaine source ($\Pi_0$) pour qu'elle corresponde à la distribution des transitions experts du domaine cible ($\Pi_1$), sans nécessiter de données appariées.
• Implémentation : En utilisant la procédure Iterative Markov Fitting (IMF), le modèle apprend deux fonctions de dérive (drift) : une pour le processus direct (source $\to$ cible) et une pour le processus inverse.
• Application : Lors de l'interaction en ligne dans le domaine source, l'état suivant observé ($s_{t+1}$) est "traduit" en un état cible simulé ($\tilde{s}_{t+1}$) via le DSB. Cela permet de générer des trajectoires qui respectent la dynamique du domaine cible tout en étant générées dans le domaine source.

B. Modulation de Récompense (Reward Modulation)

Puisque les récompenses du domaine cible sont inconnues, le cadre introduit un mécanisme de modulation pour éviter les incohérences.

• Modèle de Récompense : Un modèle de récompense est entraîné sur le domaine source, mais il est conçu pour être indépendant de l'action et dépendre uniquement de la transition d'état : $R(s_t, s_{t+1})$. Cela capture l'essence du résultat de la transition plutôt que l'action spécifique.
• Modulation : Au lieu d'utiliser la récompense réelle observée dans le source ($r_t$), le système calcule une récompense modulée $\tilde{r}_t = R(s_t, \tilde{s}_{t+1})$ en utilisant l'état cible traduit ($\tilde{s}_{t+1}$) généré par le DSB. Cela assure que la récompense attribuée est cohérente avec la dynamique du domaine cible.

C. Apprentissage de Politique Orienté Cible

L'apprentissage se déroule entièrement dans le domaine source :

1. Pré-entraînement (Offline) : Utilisation des démonstrations experts du domaine cible pour entraîner le DSB et initialiser la politique par apprentissage par imitation (Behavior Cloning).
2. Apprentissage en ligne (Online) : L'agent interagit avec le simulateur source. À chaque étape, la transition est traduite par le DSB, la récompense est modulée, et l'expérience $(s, a, \tilde{r}, \tilde{s})$ est stockée dans un tampon de rejeu pour optimiser la politique (via un algorithme comme SAC - Soft Actor-Critic).

3. Contributions Clés

• Cadre BDGxRL : Une nouvelle architecture permettant l'apprentissage de politiques orientées cible sans accès direct à l'environnement cible ni à ses récompenses.
• Première application du DSB en RL inter-domaine : Introduction du Diffusion Schrödinger Bridge pour aligner les dynamiques de transition entre deux domaines non appariés.
• Mécanisme de Modulation de Récompense : Identification du fait que les changements de dynamique induisent des incohérences dans les fonctions de récompense, et proposition d'une solution basée sur des transitions d'état pour y remédier.
• Analyse Théorique : Démonstration d'une borne théorique sur l'écart de valeur entre la politique apprise et la politique optimale dans le domaine cible, prouvant la validité de l'approche sous certaines hypothèses.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks MuJoCo (HalfCheetah, Walker2d) avec des écarts de dynamique simulés (gravité x2, friction x0.25/0.5, taille des cuisses x2) et des niveaux de démonstration variables (Medium, Medium-Replay, Medium-Expert).

• Performance : BDGxRL surpasse systématiquement les méthodes de l'état de l'art (xTED, DARA, DARC, DARAIL, GAIL) sur tous les scénarios.
  • Exemple : Sur HalfCheetah avec un écart de gravité et des experts, BDGxRL atteint 53.2, contre 47.7 pour DARC et 51.0 pour DARAIL.
  • Sur Walker2d, il atteint 89.5 (Medium-Expert, Friction), surpassant DARAIL (85.4).
• Robustesse : La méthode maintient des performances stables même avec des démonstrations de qualité inférieure (Medium-Replay), là où d'autres méthodes voient leurs performances chuter ou devenir très variables.
• Étude d'ablation :
  • Le retrait de l'alignement des transitions (w/o Alignment) entraîne la plus grande baisse de performance, confirmant l'importance cruciale du DSB.
  • Le retrait de l'apprentissage par imitation (w/o IL) dégrade également significativement les résultats, soulignant l'utilité des données experts.
  • La modulation de récompense (w/o RM) a un impact positif mais légèrement moins critique que l'alignement dynamique.

5. Signification et Impact

Ce travail est significatif car il résout un problème pratique majeur en RL : le transfert de politiques vers des environnements réels où l'exploration est coûteuse ou dangereuse et où les récompenses sont difficiles à définir.

En combinant la puissance générative des modèles de diffusion (DSB) pour l'alignement des dynamiques avec une stratégie intelligente de modulation de récompense, BDGxRL permet de simuler virtuellement l'interaction avec le domaine cible à l'intérieur du domaine source. Cela ouvre la voie à des applications de robotique et de contrôle plus sûres et plus efficaces, réduisant le besoin de coûteux ajustements "Sim-to-Real" et permettant un apprentissage robuste même avec des données de démonstration limitées et non étiquetées.