🤖 machine learning

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

Cet article introduit un algorithme efficace et sans simulation pour l'entraînement de politiques de diffusion dans l'apprentissage par renforcement en ligne en exploitant l'appariement adjoint afin de surmonter les limites de l'appariement de score standard et d'éliminer le besoin d'une estimation coûteuse de la vraisemblance ou de rétropropagation à travers le processus de diffusion.

Auteurs originaux : Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à marcher, à danser ou à jouer à un jeu vidéo. Le robot doit apprendre quelles actions entreprendre pour obtenir le meilleur score (les récompenses). Par le passé, les robots apprenaient souvent en devinant des actions simples de type « courbe en cloche » (comme bouger un peu à gauche ou un peu à droite). Mais la vie réelle est désordonnée ; parfois, le meilleur mouvement est une danse complexe à plusieurs étapes qui ne correspond pas à une simple courbe.

Entrez en scène les Politiques de Diffusion (Diffusion Policies). Considérez-les comme un robot qui apprend en partant d'un chaos bruyant et désordonné pour ensuite « débruiter » progressivement jusqu'à trouver le mouvement complexe et parfait. C'est comme prendre une photo floue et l'affiner étape par étape jusqu'à ce que l'image soit nette.

Cependant, enseigner cela à un robot en temps réel (Apprentissage par Renforcement en Ligne / Online Reinforcement Learning) est un cauchemar pour deux raisons principales :

Le problème de la mémoire : Pour apprendre, le robot doit généralement rejouer tout son processus de « débruitage » dans sa tête à chaque fois qu'il commet une erreur. C'est comme essayer de se souvenir de chaque image d'un film juste pour corriger une seule scène. Cela consomme tellement de mémoire que le robot plante ou apprend incroyablement lentement.
Le problème de l'absence de « vérité terrain » (Ground Truth) : Dans une salle de classe, vous avez un corrigé. En apprentissage en temps réel, le robot ne connaît pas le mouvement « parfait » à l'avance ; il sait seulement s'il a obtenu une récompense plus tard. Les méthodes d'enseignement standard qui reposent sur la comparaison de devinettes à une réponse connue ne fonctionnent pas ici.

La Solution : AMDP (Adjoint Matching Diffusion Policy)

Les auteurs de ce document ont introduit une nouvelle méthode appelée AMDP. Voici comment ils ont résolu les problèmes en utilisant quelques astuces ingénieuses :

1. L'astuce du « Film à l'envers » (Entraînement sans simulation)
Imaginez que vous essayez d'apprendre à cuisiner un gâteau. Habituellement, vous devez cuire tout le gâteau, le goûter, puis essayer de comprendre exactement à quel moment précis vous avez ajouté le sucre pour le corriger. C'est difficile.
L'AMDP est différent. Au lieu de rejouer tout le processus de cuisson, il utilise un raccourci mathématique appelé Adjoint Matching.

L'analogie : C'est comme regarder le gâteau fini (l'action finale) et savoir instantanément : « Si j'avais ajouté du sucre à ce moment précis, le gâteau serait parfait. »
Le résultat : Le robot n'a pas besoin de simuler tout le processus bruyant à l'envers pour apprendre. Il regarde simplement le mouvement final, calcule le « score » (Q-score), et met à jour son cerveau. Cela économise une quantité massive de mémoire informatique et rend l'entraînement beaucoup plus rapide.

2. La fonction « Squash » (Garder les actions sécurisées)
Les robots ont souvent des limites. Un bras robotique ne peut pas bouger vers l'infini négatif ; il a une plage physique (par exemple, entre -1 et 1).

Le problème : Les mathématiques derrière la diffusion produisent souvent des nombres trop grands ou trop petits, brisant les limites du robot.
La solution : Les auteurs ont utilisé une fonction mathématique spéciale de « compression » (basée sur la fonction d'erreur, ou erf). Imaginez un ressort qui devient de plus en plus serré à mesure que vous tirez dessus, finissant par heurter un mur rigide. Cela garantit que, peu importe la folie des calculs internes du robot, l'action finale qu'il produit est toujours sûre et reste dans ses limites physiques. Ils ont constaté que ce « squash » spécifique est bien plus stable que les anciennes méthodes.

3. La « Région de Confiance » (Ne pas surréagir)
Lors de l'apprentissage, si un robot obtient un mauvais score, il peut paniquer et changer toute sa personnalité du jour au lendemain, oubliant tout ce qu'il savait auparavant.

La solution : Les auteurs ont ajouté une règle de « Région de Confiance » (Trust Region). C'est comme une laisse de sécurité. Elle dit au robot : « Tu peux apprendre de cette nouvelle expérience, mais ne change pas ton comportement de manière trop radicale. Reste proche de ce que tu faisais auparavant. » Cela maintient le processus d'apprentissage stable et empêe le robot de devenir fou.

Qu'ont-ils découvert ?

L'équipe a testé cette nouvelle méthode sur 63 environnements différents, allant de tâches d'équilibre simples à des robots humanoïdes complexes marchant et manipulant des objets.

Vitesse : L'AMDP s'entraîne presque aussi vite que les méthodes les plus simples et les plus efficaces (comme les politiques gaussiennes), mais il peut gérer des mouvements beaucoup plus complexes.
Performance : Il a appris à marcher et à manipuler des objets mieux que de nombreuses méthodes avancées existantes. Dans certains tests complexes, il était le grand vainqueur.
Efficacité : Parce qu'il n'a pas besoin de rejouer tout le « film » du processus de pensée du robot, il utilise beaucoup moins de puissance informatique. Ils ont montré que même avec un modèle de robot immense et complexe, le temps d'entraînement n'augmentait que d'environ 10 % par rapport aux méthodes simples, alors que les anciennes méthodes complexes auraient pris 70 à 80 fois plus de temps.

En résumé

Le document présente une façon d'enseigner aux robots des mouvements complexes à plusieurs étapes sans faire planter leurs ordinateurs. Pour ce faire, ils ont inventé un raccourci mathématique qui permet au robot d'apprendre à partir du résultat final sans rejouer tout l'historique, ajouté une « laisse de sécurité » pour stabiliser l'apprentissage, et utilisé un outil de « compression » spécial pour maintenir les actions dans des limites sûres. Le résultat est un robot qui apprend des compétences complexes rapidement, efficacement et sans se perdre dans les mathématiques.

Résumé Technique : Apprentissage par Renforcement à Entropie Maximale Scalable pour les Politiques de Diffusion via l'Adjoint Matching

Énoncé du Problème

Les politiques de diffusion sont apparues comme un paradigme puissant pour représenter des distributions d'actions complexes et multimodales en Apprentissage par Renforcement (RL). Cependant, leur application au RL en ligne (online RL) reste limitée par le défi d'un entraînement scalable en l'absence de données de vérité terrain. Les objectifs d'entraînement standards, tels que le score matching ou le bridge matching, ne sont pas directement applicables car le RL en ligne manque d'un ensemble statique d'échantillons optimaux.

Les approches existantes pour entraîner des politiques de diffusion dans des contextes en ligne font face à trois limitations principales :

Divergence KL Inverse : Les méthodes minimisant la divergence KL inverse nécessitent une rétropropagation à travers l'intégralité du processus de diffusion. Cela induit une surcharge de mémoire massive et une inefficacité computationnelle, empêchant la mise à l'échelle vers des problèmes plus larges.
Importance Weighted Matching : Les approches utilisant l'échantillonnage par importance pour minimiser les erreurs entre les actions prédites et cibles peinent à passer à l'échelle dans des espaces d'actions de haute dimension.
Méthodes Q-Score : Les techniques utilisant le gradient de la fonction Q ( $\nabla_a Q$ ) reposent souvent sur une dynamique de Langevin suramortie. Ces processus nécessitent généralement une troncature après un nombre fini d'étapes, offrant peu de garanties théoriques dans le régime de temps fini, ou reposent sur des techniques d'échantillonnage heuristiques qui manquent de garanties pour générer des échantillons de la véritable distribution cible.

Méthodologie : Adjoint Matching Diffusion Policy (AMDP)

Les auteurs proposent l'Adjoint Matching Diffusion Policy (AMDP), un cadre qui formule l'optimisation de la politique de diffusion pour le MaxEnt-RL (Maximum Entropy RL) comme un problème de Contrôle Optimal Stochastique (SOC). L'innovation centrale est l'adaptation de l'Adjoint Matching (AM), spécifiquement le Reciprocal Adjoint Matching (RAM), pour permettre un entraînement sans simulation (simulation-free).

1. Fondement Théorique

La méthode cadre l'étape d'amélioration de la politique comme la recherche d'une fonction de dérive $u$ telle que la distribution marginale d'un processus de diffusion au temps terminal $\tau=1$ corresponde à la politique optimale MaxEnt $\pi^*(a|s) \propto \exp(Q^\pi(s,a)/\alpha)$ .

Pont de Schrödinger (Schrödinger Bridge) : Le problème est formulé comme un problème de pont de Schrödinger, minimisant le coût cinétique du contrôle $u$ sous des conditions aux limites.
Reciprocal Adjoint Matching : Au lieu de rétropropager à travers le chemin de diffusion (ce qui nécessite de stocker les états intermédiaires), l'AMDP utilise la projection réciproque du processus contrôlé sur un processus de référence non contrôlé. Cela permet de minimiser la perte en échantillonnant directement les états intermédiaires $X_\tau$ à partir de l'état terminal $X_1$ via un processus réciproque conditionnel $\Pi^0_{\tau|1}$ .
Entraînement Sans Simulation (Simulation-Free) : En échantillonnant $X_\tau$ à partir de l'état terminal $X_1$ (qui est stocké dans un buffer de relecture/replay buffer), l'algorithme évite de simuler l'SDE (équation différentielle stochastique) vers l'avant lors de la mise à jour du gradient. Cela contourne la nécessité d'une estimation explicite de la vraisemblance et d'une rétropropagation coûteuse à travers la chaîne de diffusion.

2. Composants Algorithmiques Clés

Adaptation de l'Espace d'Action (Error Function Squashing) :
Pour gérer les espaces d'actions bornés (ex: $A = [-1, 1]^d$ ), les auteurs introduisent une transformation différentiable $f: \mathbb{R}^d \to [-1, 1]^d$ . Contrairement au squashing $\tanh$ standard appliqué élément par élément, l'AMDP utilise un squashing par fonction d'erreur (erf) mis à l'échelle :
$f_{\text{erf}}(x) = (\text{erf}(k x_i)_{i=1}^d)$
Le facteur d'échelle $k$ est choisi de telle sorte que le déterminant du Jacobien de la transformation corresponde exactement à la densité marginale gaussienne du processus de référence. Ce choix spécifique fait en sorte que le log-ratio de la densité de référence et du déterminant du Jacobien devienne une constante, simplifiant considérablement l'objectif de régression et améliorant la stabilité numérique.
Itération de Politique :
- Évaluation : Un "soft" Bellman backup modifié est utilisé. Puisque l'entropie marginale des modèles de diffusion est intraçable, les auteurs proposent une borne inférieure d'entropie traçable dérivée du coût de contrôle, ce qui préserve les propriétés de convergence.
- Amélioration : La politique est mise à jour en minimisant la perte AMDP, qui est une itération de point fixe. Le point fixe unique de cette perte correspond au contrôle optimal $u^*$ .
Mises à jour de Type Région de Confiance (Trust-Region) :
Pour assurer la stabilité dans les contextes en ligne où la distribution cible change rapidement, une contrainte de région de confiance est ajoutée. Elle pénalise l'écart entre la nouvelle dérive $u$ et l'itération précédente $u_{\text{old}}$ , empêvant des mises à jour agressives qui pourraient mener à un effondrement de la distribution ou à une divergence de la fonction Q. Cela est résolu via un formalisme Lagrangien relaxé.

Contributions Clés

Algorithme d'Entraînement Scalable : L'AMDP introduit un algorithme hautement efficace qui optimise les politiques de diffusion sans rétropropager à travers le processus de diffusion, réduisant drastiquement les besoins en mémoire.
Optimisation Sans Simulation : En exploitant le reciprocal adjoint matching, la méthode permet l'optimisation en utilisant uniquement les actions terminales stockées dans un buffer de relecture, permettant plusieurs mises à jour de gradient par échantillon sans re-simuler l'SDE.
Squashing d'Action Numériquement Stable : La proposition du squashing par fonction d'erreur offre une alternative stable au $\tanh$ , simplifiant l'objectif d'entraînement en annulant certains termes spécifiques dans la fonction de perte.
Mises à jour de Politique Stables : L'intégration d'une perte de type région de confiance assure une itération de politique stable dans les contextes en ligne sans altérer les garanties théoriques du cadre d'adjoint matching.

Résultats Expérimentaux

Les auteurs ont évalué l'AMDP sur 63 environnements à travers MuJoCo Playground, ManiSkill et HumanoidBench en mode on-policy, et sur 7 environnements de haute dimension (dog et humanoid) de la suite DMC en mode off-policy.

Performance On-Policy :
- L'AMDP égale ou surpasse les bases Gaussiennes fortes (REPPO, PPO, SPO) et les méthodes de diffusion de pointe (DIME, DPPO, FPO).
- Dans des tâches complexes et de haute dimension (HumanoidBench), l'AMDP surpasse significativement toutes les bases, même sans échantillonnage Best-of-N (BoN).
- L'AMDP converge plus rapidement que REPPO en efficacité d'échantillonnage sur les tâches de locomotion de MuJoCo DMC et de humanoid.
- Lorsqu'il est combiné avec l'échantillonnage BoN (sélection du meilleur parmi 16 échantillons), l'AMDP atteint une performance supérieure sur tous les benchmarks.
Performance Off-Policy :
- Sur les tâches DMC dog et humanoid, l'AMDP égale la performance de DIME (qui optimise la KL inverse) et converge légèrement plus vite, démontant la compétitivité de l'objectif d'adjoint matching dans les contextes off-policy.
Efficacité Computationnelle :
- Temps de calcul (Wall-clock Time) : L'AMDP n'induit qu'un faible surcoût constant (~10%) par rapport aux méthodes Gaussiennes très efficaces comme REPPO, quel que soit le nombre d'étapes de diffusion.
- Scalabilité : En revanche, les méthodes utilisant la rétropropagation de la KL inverse sont 10x plus lentes avec 16 étapes de diffusion et jusqu'à 72-80x plus lentes avec 128 étapes.
- Mise à l'échelle du Modèle : Les auteurs ont réussi à entraîner une large politique de diffusion (106M de paramètres, ~300x plus grande que les modèles standards) en utilisant l'AMDP, démontrant sa capacité à monter en échelle vers des modèles complexes là où les méthodes basées sur la rétropropagation échoueraient en raison des contraintes de mémoire.

Signification et Revendications

L'article affirme que l'AMDP fournit une voie théoriquement fondée, computationnellement efficace et robuste pour le déploiement de politiques génératives expressives dans les applications de RL réelles.

Surmonter les Goulots d'Étranglement de Mémoire : En éliminant le besoin de rétropropagation à travers la chaîne de diffusion, l'AMDP rend l'entraînement des politiques de diffusion viable pour les scénarios de RL en ligne où les ressources de mémoire et de calcul sont contraintes.
Garanties Théoriques : Contra\à la différence des méthodes heuristiques de Q-score, l'AMDP est dérivé du Contrôle Optimal Stochastique avec des garanties de point fixe, assurant que la politique converge vers la distribution MaxEnt optimale.
Viabilité Pratique : La combinaison de l'entraînement sans simulation, de la stabilité numérique via l'erf-squashing, et des mises à jour de région de confiance répond aux barrières primaires (scalabilité, stabilité et efficacité) qui ont précédemment limité l'adoption des politiques de diffusion en RL en ligne.

Les auteurs concluent que leur approche réduit considérablement la charge computationnelle tout en maintenant des performances compétitives, faisant des politiques de diffusion une alternative plus viable aux politiques Gaussiennes traditionnelles pour les tâches de contrôle continu complexes.