🤖 machine learning

DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning

DADiff est un cadre piloté par la diffusion pour l'adaptation de politique transdomaine en ligne qui estime le décalage de dynamique à travers des écarts de trajectoire génératifs afin de permettre une modification efficace des récompenses ou de la sélection de données, surpassant ainsi les méthodes existantes dans des environnements présentant des décalages de domaine significatifs.

Auteurs originaux : Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un chien robotique comment courir un marathon. Vous ne pouvez pas simplement le jeter dans le monde réel immédiatement ; il pourrait trébucher, se blesser ou casser quelque chose de coûteux. Alors, vous construisez un simulateur de jeu vidéo où le chien peut s'entraîner des millions de fois sans crainte. C'est le monde de l'Apprentissage par Renforcement (RL), une branche de l'intelligence artificielle où les agents apprennent par essais et erreurs pour prendre des décisions. L'objectif est d'entraîner l'agent dans ce monde "source" sûr (le simulateur) puis de transférer ses compétences vers le monde "cible" (la réalité).

Mais voici le hic : les simulateurs ne sont jamais parfaits. Dans le jeu, le sol peut être légèrement glissant, ou les pattes du robot peuvent être un tout petit peu plus longues que dans la réalité. Ces petites différences sont appelées écarts de dynamique (dynamics mismatches). Si vous prenez un robot entraîné sur une glace parfaite et que vous le déposez sur de l'herbe mouillée, il risque de glisser et d'échouer lamentablement. La grande question dans ce domaine est la suivante : comment pouvons-nous corriger le cerveau du robot pour qu'il puisse s'adapter aux particularités du monde réel sans avoir besoin de millions de nouveaux cycles d'entraînement ? Cet article s'attaque précisément à ce problème, en proposant une nouvelle façon astucieuse de mesurer exactement à quel point le monde réel diffère de la simulation et d'utiliser cette information pour rendre le robot plus intelligent.

Le Problème : La « Vallée de l'Étrange » de la Physique

Pensez à l'entraînement d'un robot comme à l'apprentissage du vélo pour un enfant. Vous pourriez lui apprendre dans un parking calme et plat (le domaine source). Mais lorsqu'il essaie enfin de rouler sur une rue accidentée et venteuse (le domaine cible), la physique est différente. Le vent le pousse, les bosses le secouent, et les pneus accrochent le sol différemment. Si l'enfant essaie d'utiliser exactement le même équilibre qu'il a appris sur le parking, il va tomber.

Dans le monde de l'IA, les chercheurs ont tenté de résoudre cela en utilisant des « classificateurs de domaine » (qui agissent comme un arbitre criant : « Hé, tu es dans le mauvais monde ! ») ou en filtrant les mauvaises données d'entraînement. Mais les auteurs de cet article, Hanyang Chen et ses collègues, ont estimé que ces méthodes étaient un peu trop brutales. Ils voulaient un moyen de voir l'intégralité du chemin d'une erreur, et pas seulement le moment où elle se produit. Ils se sont demandé : et si nous pouvions observer le « chemin fantôme » qu'un robot aurait suivi dans le monde réel par rapport au chemin qu'il a réellement suivi dans le simulateur, et les comparer étape par étape ?

La Solution : DADIFF et le Détective de la « Diffusion »

Entrez en scène DADIFF (Diffusion-Driven Cross-Domain Policy Adaptation). Pour comprendre cela, imaginez une caméra magique capable de prendre une photo du mouvement futur d'un robot, puis de transformer lentement cette photo en un bruit statique, comme une vieille télévision perdant le signal. C'est ce qu'on appelle un modèle de diffusion. Habituellement, ces modèles sont utilisés pour générer de l'art, mais ici, les chercheurs les utilisent pour générer des scénarios de type « et si ».

L'idée centrale est que lorsqu'un robot se déplace du point A au point B, il ne fait pas qu'un saut ; il suit une trajectoire cachée, étape par étape. Dans le simulateur, ce chemin est une chose. Dans le monde réel, en est une autre. DADIFF utilise le modèle de diffusion pour reconstruire ces chemins cachés. Il demande : « Si le robot avait effectué cette action dans le simulateur, à quoi le monde réel aurait-il ressemblé à chaque micro-étape du parcours ? »

En comparant le « chemin fantôme du simulateur » avec le « chemin fantôme du monde réel », DADIFF peut mesurer la déviation de la trajectoire générative. C'est comme comparer deux itinéraires différents sur un GPS. Un itinéraire passe par une autoroute fluide (le simulateur), et l'autre par une route secondaire pleine de nids-de-poule (le monde réel). DADIFF ne se contente pas de dire : « Ils sont différents. » Il calcule exactement où et à quel point les routes divergent.

Deux Façons de Réparer le Robot

Une fois que DADIFF sait exactement à quel point les mondes sont différents, il propose deux manières créatives de corriger le cerveau du robot :

L'approche « Fine » (DADIFF-modify) : Imaginez que le robot joue à un jeu vidéo où il gagne des points en courant. Si le robot fait un pas qui mènerait à un crash dans le monde réel (même si c'est sans danger dans le simulateur), DADIFF-modify appuie sur le « bouton de pénalité ». Il soustrait des points à cette action. C'est comme un entraîneur strict disant : « Ne fais pas ce mouvement ; dans le monde réel, tu tomberais, donc tu perds des points pour avoir essayé. » Cela change la motivation du robot, lui apprenant à éviter les actions qui semblent bonnes dans le simulateur mais qui sont dangereuses dans la réalité.
L'approche « Curateur » (DADIFF-select) : Parfois, punir le robot ne suffit pas. Au lieu de cela, DADIFF-select agit comme un éditeur strict. Il examine toutes les données d'entraînement collectées par le robot dans le simulateur et jette les exemples « mauvais » — spécifiquement ceux où le simulateur et le monde réel auraient suivi des chemins très différents. Il ne garde que les « bonnes » données, là où le simulateur était une copie fidèle de la réalité. Le robot apprend alors uniquement à partir de ces exemples de haute qualité et dignes de confiance.

Ce Qu'Ils Ont Découvert : Un Nouveau Champion

Les auteurs ont testé leur méthode dans une salle de sport virtuelle avec quatre types de robots animaux : une fourmi, un sauteur (hopper), un demi-guépard (half-cheetah) et un marcheur (walker). Ils ont manipulé la physique de manière extrême — en changeant la gravité, en raccourcissant les pattes des robots ou en rendant le sol hyper glissant.

Les résultats sont impressionnants. Dans la plupart de ces scénarios complexes, DADIFF a surpassé toutes les autres méthodes. Alors que d'autres techniques fonctionnaient parfois bien sur une tâche spécifique mais échouaient lamentablement sur une autre, DADIFF est resté fort et constant.

Sur la tâche du « demi-guépard avec les cuisses arrière brisées », la version de modification de récompense de DADIFF a amélioré la performance de façon massive de 42,3 % par rapport à la base de référence.
Sur l'ensemble des seize tâches testées, la méthode a amélioré la performance de 8,7 % en moyenne.

Il est intéressant de noter que les deux versions de DADIFF avaient des forces différentes. L'approche « Fine » (modification des récompenses) était excellente pour la plupart des tâches, mais l'approche « Curateur » (sélection de données) brillait dans des situations spécifiques où le système de récompense devenait confus, comme lorsque le robot n'avait « pas de cuisses » ou un « gros crâne ». Dans ces cas-là, le simple fait de filtrer les données confuses fonctionnait mieux que d'essayer de punir le robot.

Pourquoi C'est Important

L'article suggère que regarder le problème à travers le prisme des « trajectoires génératives » — voir l'intégralité du chemin caché d'un mouvement plutôt que seulement le départ et l'arrivée — nous offre un outil bien plus précis pour l'adaptation. Tandis que les méthodes précédentes tentaient de deviner la différence entre les mondes, DADIFF mesure la divergence de l'ensemble du voyage.

Les auteurs ont également démontré que leur méthode est robuste, même lorsque le monde réel est bruyant et imprévisible, un endroit où les autres méthodes trébuchent souvent. Ils n'ont pas prétendu avoir résolu le problème de l'apprentissage des robots pour toujours, mais ils ont montré qu'utiliser les modèles de diffusion pour jeter un coup d'œil derrière le rideau de la physique peut donner aux robots une bien meilleure chance de survivre au passage du simulateur au monde réel. C'est une étape vers la création de terrains d'entraînement numériques réellement utiles pour construire des machines du monde réel.

Résumé technique de DADIFF : Adaptation de politique cross-domaine pilotée par la diffusion pour l'apprentissage par renforcement

Problématique

L'article traite du défi de l'adaptation de la dynamique en ligne dans l'apprentissage par renforcement (RL). Dans de nombreux scénarios réels, l'entraînement direct dans le domaine cible (par exemple, des robots physiques) est restreint par des contraintes de sécurité, de coût et des budgets d'interaction limités. Par conséquent, les politiques sont souvent entraînées dans un domaine source (par exemple, un simulateur) puis transférées vers le domaine cible. Cependant, le décalage de dynamique (dynamics mismatch) entre les fonctions de transition du domaine source et du domaine cible ( $P_{src}$ et $P_{tar}$ ) entraîne souvent une dégradation significative des performances.

Les solutions existantes, telles que la randomisation de domaine, le méta-apprentissage ou les méthodes reposant sur des classificateurs de domaines et le filtrage guidé par la valeur, peinent souvent à capturer les écarts de dynamique de manière fine et distributionnelle, particulièrement lorsque les domaines sont complexes ou stochastiques. L'article postule que les approches actuelles manquent d'un mécanisme pour modéliser le décalage de dynamique comme une divergence de processus génératifs.

Méthodologie : DADIFF

Les auteurs proposent DADIFF, un cadre qui aborde l'adaptation de domaine sous l'angle de la modélisation générative, en utilisant spécifiquement les modèles de diffusion probabilistes (DDPM).

1. Fondement théorique : Déviation de trajectoire générative
La contribution théorique centrale est la définition d'une trajectoire générative. Au lieu de considérer une transition d'état $s' = P(s, a)$ comme une étape unique, les auteurs décomposent la dynamique de transition en une chaîne de Markov de $K$ états latents $\{s'_k\}_{k=1}^K$ , formant une trajectoire allant d'un état latent initial $s'_K$ vers l'état suivant $s'_0$ .

Le Théorème 4.2 établit une borne de performance montrant que la différence de retour attendu entre le domaine source et le domaine cible est bornée par la déviation de la trajectoire générative.
Plus précisément, l'écart de performance est contrôlé par la divergence de Kullback-Leibler (KL) entre les distributions de transition des états latents du domaine source et du domaine cible. Si les trajectoires sont similaires, la différence de performance est faible.

2. Estimation du décalage de dynamique
DADIFF exploite le processus inverse de DDPM pour estimer ce décalage.

La dynamique de transition dans un domaine $M$ est modélisée comme un processus de débruitage où les états latents transitent selon une distribution gaussienne paramétrée par un modèle de bruit $\epsilon_M$ .
Le décalage $d(s, a, s')$ est calculé comme la somme des divergences KL entre les transitions d'états latents de la source et de la cible.
Pratiquement, cela est estimé en comparant le bruit réel $\epsilon$ utilisé pour générer un état latent lors du processus direct (forward process) contre le bruit prédit par un modèle de bruit entraîné sur le domaine cible $\epsilon_{tar}^\theta$ .
La déviation est calculée comme suit :
$d(s, a, s') = \sum_{k=1}^K \frac{\beta_k}{2(1-\bar{\alpha}_{k-1})\alpha_k} \|\epsilon - \epsilon_{tar}^\theta(\sqrt{\bar{\alpha}_k}s'_0 + \sqrt{1-\bar{\alpha}_k}\epsilon, s, a, k)\|^2$

3. Variantes d'adaptation
Pour adapter la politique au domaine cible en utilisant cette métrique de déviation, les auteurs développent deux variantes complémentaires basées sur l'algorithme Soft Actor-Critic (SAC) :

DADIFF-modify (Modification de la récompense) : La déviation calculée $d(s, a, s')$ est utilisée comme terme de pénalité pour modifier la fonction de récompense du domaine source : $r_{mod} = r - \lambda d(s, a, s')$ . Cela encourage la politique à éviter les transitions qui présentent un fort décalage de dynamique.
DADIFF-select (Sélection de données) : La méthode filtre les données du domaine source, ne conservant que les transitions présentant les plus faibles déviations (en dessous d'un certain quantile $\xi\%$ ). Cela garantit que la fonction de valeur est mise à jour principalement sur des données sources qui s'alignent bien avec la dynamique cible.

Contributions clés

Perspective générative sur le décalage de dynamique : L'article introduit un nouveau point de vue où le décalage de dynamique est interprété comme une divergence de trajectoires génératives, plutôt que comme un simple problème de classificateur statique ou d'erreur de prédiction de valeur.
Borne de performance théorique : Les auteurs fournissent une analyse théorique (Théorème 4.2) prouvant que la différence de performance de la politique est bornée par la déviation de la trajectoire générative. Ils démontrent également que les travaux antérieurs (PAR) peuvent être vus comme un cas particulier de leur cadre où la longueur de la trajectoire $K=1$ .
Estimation basée sur la diffusion : La méthode utilise la nature d'échantillonnage multi-étapes des modèles de diffusion pour capturer des écarts distributionnels fins à travers l'ensemble de la trajectoire de transition, plutôt que de se fier uniquement à des comparaisons d'états locaux.
Stratégie d'adaptation double : Le développement des variantes de modification de récompense et de sélection de données permet à la méthode d'être appliquée de manière flexible selon les caractéristiques de la tâche.

Résultats expérimentaux

Les auteurs ont évalué DADIFF sur quatre environnements MuJoCo (Ant, Hopper, HalfCheetah, Walker) avec quatre types de décalages (shifts) : cinématique, morphologique, de friction et de gravité.

Performance : DADIFF a démontré des performances supérieures ou hautement compétitives par rapport aux bases de référence (DARC, VGDF, PAR, SAC-IW, SAC-tune) sur 16 tâches diverses. Il a systématiquement surpassé les méthodes existantes, particulièrement dans les tâches où les bases de référence de modification de récompense ont échoué.
Stochasticité : Dans les expériences avec des dynamiques stochastiques (ajout de bruit aux actions), DADIFF-modify a maintenu des performances robustes, tandis que la base de référence PAR a considérablement dégradé ses performances. Les auteurs attribuent cela à la dépendance de PAR vis-à-vis des hypothèses de représentation un-à-un, ce que DADIFF évite.
Efficacité : Bien que DADIFF-modify induise une légère augmentation de la mémoire GPU due à la génération d'états latents, il reste efficace sur le plan computationnel par rapport aux approches basées sur le modèle comme VGDF, qui nécessitaient beaucoup plus de temps d'entraînement.
Sensibilité aux paramètres : L'étude a montré que les hyperparamètres (coefficient de pénalité $\lambda$ , ratio de sélection de données $\xi$ , et pas de temps de diffusion $K$ ) dépendent de la tâche, les performances optimales se trouvant généralement à des valeurs modérées (par exemple, $K=100$ ).

Signification et affirmations

L'article affirme que DADIFF traite efficacement le problème du décalage de dynamique en exploitant la nature fine et distributionnelle des trajectoires génératives. En formulant le problème d'adaptation à travers le prisme des modèles de diffusion, la méthode capture la façon dont la divergence s'accumule le long d'une trajectoire, offrant une estimation plus robuste du décalage de dynamique que les méthodes précédentes.

Les auteurs soulignent que leur analyse théorique relie directement la déviation de la trajectoire générative à des garanties de performance, fournissant une motivation rigoureuse pour la conception algorithmique. Ils concluent que leur méthode offre un meilleur compromis entre le coût de calcul et l'efficacité de l'adaptation, particulièrement dans des environnements complexes ou stochastiques où les approches traditionnelles d'apprentissage de représentation ou basées sur des classificateurs peinent à fonctionner. Le code est mis à disposition pour faciliter la reproductibilité.