🤖 machine learning

Foundations of Reinforcement Learning and Control:Connections and New Perspectives

Ce tutoriel comble le fossé entre l'apprentissage par renforcement et la théorie de la commande en introduisant la commande adaptative et les algorithmes acteur-critique, démontrant leur application combinée à un problème de contrôle de la locomotion afin de favoriser la compréhension mutuelle et la prise de décision fondée sur les données entre les deux communautés.

Auteurs originaux : Claire Vernade, Onno Eberhard, Martha White, Florian Dörfler, Csaba Szepesvári, Miroslav Krstic, Michael Muehlebach

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Claire Vernade, Onno Eberhard, Martha White, Florian Dörfler, Csaba Szepesvári, Miroslav Krstic, Michael Muehlebach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un chien robot à courir à travers un champ. Vous avez deux enseignants très différents pour ce travail. Le premier est un Théoricien du Contrôle. Il est comme un ingénieur méticuleux qui sait exactement comment les pattes du chien sont construites. Il construit un harnais de sécurité et un ensemble de règles pour s'assurer que le chien ne trébuche pas, même si le sol devient boueux ou si une patte devient un peu raide. Son objectif principal est la sécurité et la stabilité ; il veut que le chien reste immobile ou marche en ligne droite sans tomber, quoi qu'il arrive. Le second est un Expert en Apprentissage par Renforcement (RL). Il est comme un entraîneur enjoué qui ne se soucie pas de l'anatomie du chien. Au lieu de cela, il jette le chien dans le champ et dit : « Cours ! Si tu cours vite, tu as une friandise. Si tu tombes, tu n'as rien. » À travers des millions d'essais, le chien apprend à courir incroyablement vite en découvrant ce qui fonctionne par essais et erreurs.

Pendant des décennies, ces deux enseignants ont travaillé dans des écoles séparées. Les ingénieurs craignaient que le « coach enjoué » ne soit trop dangereux et ne finisse par casser le robot. Le « coach enjoué », quant à lui, trouvait les ingénieurs trop rigides et incapables d'apprendre au robot à faire quoi que ce soit de spectaculaire. Mais aujourd'hui, les deux domaines réalisent qu'ils ont besoin l'un de l'autre. Les robots du futur devront être rapides et intelligents, mais ils devront aussi être sûrs et ne pas tomber en morceaux lorsque le monde change. Ce document est un guide amical qui explique comment présenter ces deux enseignants l'un à l'autre, montrant comment leurs styles différents peuvent en fait travailler ensemble pour créer un robot qui soit à la fois un champion de la course et un voyageur sûr.

L'idée majeure du document : Mélanger le harnais de sécurité avec le coach enjoué

Ce document, écrit par une équipe d'experts provenant d'universités et d'instituts de recherche en Allemagne, au Canada et aux États-Unis, sert de pont entre les mondes de la Théorie du Contrôle et de l'Apprentissage par Renforcement. Les auteurs soutiennent que, bien que ces domaines aient des histoires et des langages différents, ils chercheent en réalité à résoudre le même problème : comment faire bouger et agir intelligemment une machine alors que nous ne savons pas tout sur son fonctionnement.

Pour expliquer cela, les auteurs utilisent un exemple de course : un robot simulé appelé le Half-Cheetah. Imaginez un guépard robotique doté de six articulations (comme des genoux et des hanches) qui doit courir le plus loin et le plus vite possible.

Les deux approches
Le document décompose d'abord comment chaque domaine aborde habituellement le Half-Cheetah :

La méthode de la Théorie du Contrôle (Commande Adaptative par Modèle de Référence ou MRAC) :
Considérez cela comme le fait de donner au robot une « cadence cible ». L'ingénieur dit : « Ta patte gauche doit bouger comme ceci, et ta patte droite comme cela ». Ils construisent un « modèle de référence » — une version parfaite et imaginaire de la façon dont le robot devrait bouger. Si le vrai robot commence à vaciller parce que ses articulations deviennent glissantes ou lourdes, le système MRAC agit comme un pilote automatique intelligent. Il vérifie constamment la différence entre le vrai robot et le modèle parfait, puis ajuste les moteurs en temps réel pour corriger le tir. Il est excellent pour maintenir la stabilité du robot et suivre une trajectoire spécifique, même si le poids du robot change ou si le sol devient glissant. Cependant, il est conçu pour une adaptation de bas niveau, ce qui signifie qu'il excelle dans l'ajustement des forces pour atteindre une cible, mais il n'invente pas de stratégies de haut niveau ou de styles de course complexes par lui-même.
La méthode de l'Apprentissage par Renforcement (Algorithmes Acteur-Critique) :
C'est l'approche du « coach enjoué ». Ici, le robot (l'« acteur ») essaie de courir, et un « critique » observe et dit : « Bon travail ! » ou « C'était lent ». Le robot apprend à partir de zéro, sans aucune règle préétablie sur la façon de bouger ses pattes. Il découvre des styles de course complexes et rapides qu'un ingénieur humain n'aurait peut-être jamais imaginés. Dans les simulations du document, un algorithme célèbre appelé Soft Actor-Critic (SAC) a appris à faire courir le Half-Cheetah très vite. Mais il y a un piège : si l'environnement du robot change soudainement (par exemple, si la friction dans ses articulations est réduite de moitié), le robot SAC devient confus et commence à trébucher parce qu'il a appris une façon de courir qui ne fonctionnait que sur l'ancien sol « collant ».

La nouvelle solution hybride
La principale contribution du document est une nouvelle façon de combiner ces deux enseignants. Les auteurs suggèrent d'utiliser l'Apprentissage par Renforcement pour la pensée de « Haut Niveau » et le Contrôle Adaptatif pour le contrôle musculaire de « Bas Niveau ».

Voici comment cela fonctionne dans leur expérience :

Le cerveau de haut niveau (RL) : L'algorithme SAC apprend une stratégie. Au lieu de dire au robot exactement quel couple (force) appliquer aux moteurs, il apprend à choisir un ensemble d'angles désirés pour les articulations. C'est comme si le coach disait : « Je veux que ton genou soit plié à 45 degrés », plutôt que « Pousse le moteur avec 5 Newtons de force ».
Les muscles de bas niveau (MRAC) : Une fois que le cerveau a décidé de l'angle désiré, le système MRAC prend le relais. Il agit comme la mémoire musculaire. Il détermine exactement quelle force est nécessaire pour amener l'articulation à cet angle en ce moment même, même si l'articulation est glissante ou lourde. Si la friction change, le système MRAC ajuste instantanément la force pour s'assurer que l'articulation atteigne toujours l'angle cible.

Ce qu'ils ont trouvé
Dans leurs simulations, les auteurs ont testé ce système hybride sur le Half-Cheetah.

Premièrement, ils ont entraîné le robot SAC à courir sur une surface normale. Il a appris un excellent style de course.
Ensuite, ils ont déployé la politique apprise dans l'environnement. Après que le robot a couru pendant 1,2 million d'étapes, ils ont soudainement modifié la physique : ils ont rendu les articulations deux fois plus glissantes (en réduisant le coefficient d'amortissement d'un facteur 2).
Le Résultat : Le robot pur RL (SAC seul) s'est écrasé et a échoué lamentablement car il ne savait pas comment gérer les articulations glissantes. Le contrôleur adaptatif pur (MRAC seul) pouvait suivre une trajectoire simple mais ne pouvait pas courir vite ou de manière complexe.
Le Gagnant Hybride : Le système combiné (SAC + MRAC) a continué à courir de manière fluide. Le « cerveau » continuait de choisir les mêmes bons angles de course, et les « muscles » (MR�AC) ajustaient automatiquement les forces pour gérer les nouvelles conditions glissantes. Le robot ne s'est pas écrasé ; il a simplement continué à courir.

Pourquoi cela importe
Le document suggère que nous n'avons pas à choisir entre « l'ingénierie sûre et rigide » et « l'apprentissage intelligent et flexible ». En les superposant, nous pouvons obtenir le meilleur des deux mondes. La partie RL peut apprendre des stratégies complexes de haut niveau (comme comment courir vite ou monter une colline), tandis que la partie de contrôle adaptatif gère la réalité physique changeante et désordonnée (comme le vent, les sols glissants ou les pièces cassées).

Les auteurs précisent avec prudence qu'il s'agit d'une simulation sur un modèle informatique d'un robot, et non d'un robot physique courant dans un vrai laboratoire pour le moment. Ils soulignent également que, bien que cette approche hybride ait bien fonctionné dans leur test spécifique, elle n'est pas un remède miracle pour tous les problèmes. Par exemple, la partie RL doit encore apprendre la stratégie d'abord, et la partie adaptative a besoin d'un bon modèle de référence à suivre.

En fin de compte, ce document est un appel à l'action pour que les scientifiques des deux domaines cessent de travailler en silos. Il montre qu'en comprenant les outils de l'autre — comme la façon dont les « fonctions de Lyapunov » (une méthode mathématique pour prouver la stabilité) se rapportent aux « fonctions de valeur » (une méthode mathématique pour mesurer le succès) — nous pouvons construire des robots qui sont non seulement intelligents et rapides, mais aussi assez robustes pour gérer le monde réel imprévisible. L'avenir de la robotique, soutiennent-ils, réside dans cette collaboration.

Résumé technique : Fondements de l'apprentissage par renforcement et du contrôle

Définition du problème

L'article traite de l'écart persistant entre deux domaines scientifiques adjacents : l'apprentissage par renforcement (RL - Reinforcement Learning) et la théorie du contrôle. Les deux domaines visent à optimiser des contrôleurs pour des systèmes dynamiques inconnus via la rétroaction, partageant une racine commune dans la programmation dynamique. Cependant, ils ont évolué avec des méthodologies, des objectifs et des cultures distincts.

La théorie du contrôle privilégie historiquement la stabilité, la sécurité et la robustesse dans les systèmes physiques (« in-vivo »), s'appuyant souvent sur des certificats mathématiques formels (ex: fonctions de Lyapunov) et des modèles de type « boîte grise » avec incertitude paramétrique.
L'apprentissage par renforcement s'est largement développé au sein de l'informatique (« in-silico » / simulateurs), privilégiant la scalabilité algorithmique, l'optimisation basée sur les données et la performance sur des benchmarks de haute dimension, utilisant souvent des approches de type « boîte noire » sans modèle explicite.

Le problème central est de combler ces perspectives pour créer des cadres de prise de décision unifiés et basés sur les données, capables de tirer parti des forces complémentaires des deux domaines : les garanties de stabilité du contrôle et la scalabilité du RL.

Méthodologie

Le tutoriel emploie une approche comparative structurée, utilisant une tâche de locomotion de type Half-Cheetah (simulée dans MuJoCo) comme exemple fil conducteur pour illustrer les concepts.

1. Fondements unifiés

Les auteurs établissent une notation unifiée pour les systèmes dynamiques, définissant :

Espace d'états ( $S$ ) et Espace d'actions ( $A$ ).
Dynamique : Contrastant la vue RL (chaînes de Markov stochastiques, $s_{t+1} \sim p(\cdot|s_t, a_t)$ ) avec la vue Contrôle (dynamique déterministe avec bruit additif, $s_{t+1} = f(s_t, a_t) + \eta_t$ ).
Stabilité vs Optimalité : L'article souligne que tandis que le RL cherche à maximiser les récompenses cumulées (optimalité), le contrôle cherche à assurer la convergence des trajectoires vers une cible (stabilité). Il note que dans les contextes de Régulateur Linéaire Quadratique (LQR), la fonction de coût à venir (cost-to-go) coïncide avec une fonction de Lyapunov, liant ainsi les deux concepts.

2. Algorithmes représentatifs

L'article détaille deux méthodologies primaires :

Contrôle Adaptatif par Modèle de Référence (MRAC - Model-Reference Adaptive Control) : Une approche de la théorie du contrôle où un contrôleur ajuste ses paramètres en ligne pour qu'un système physique suive un « modèle de référence » stable. Elle repose sur une « hypothèse d'appariement » (que des gains idéaux existent dans la paramétrisation) et utilise des lois de mise à jour basées sur Lyapunov pour assurer une erreur de suivi bornée.
Apprentissage Actor-Critic (spécifiquement Soft Actor-Critic - SAC) : Une approche de RL sans modèle où un « acteur » (politique) sélectionne les actions et un « critique » (fonction de valeur) les évalue. L'algorithme utilise les théorèmes de gradient de politique et les mises à jour de différence temporelle (TD) pour apprendre un comportement optimal directement à partir des données d'interaction, sans modèle de système explicite.

3. Approche hybride : RL + MRAC

Une contribution méthodologique clé est la proposition d'une architecture hybride haut niveau/bas niveau :

Haut Niveau (RL) : Une politique SAC apprend une stratégie de locomotion complexe (ex: angles de joints désirés) dans un environnement statique.
Bas Niveau (MRAC) : Un contrôleur adaptatif prend la sortie de haut niveau comme signal de référence et ajuste les gains de contrôle de bas niveau (couples) pour suivre ces angles, compensant les changements en temps réel de la dynamique du système (ex: changements de friction).
Implémentation : Les auteurs démontrent que la composante MRAC peut être initialisée en utilisant des données de l'environnement statique pour définir un modèle de référence, puis s'adapter en ligne lorsque la dynamique change, restaurant ainsi la dynamique nominale pour la politique SAC fixe.

Contributions clés

Unification conceptuelle : L'article fournit une introduction technique concise qui aligne la terminologie et les formulations de problèmes du RL et du contrôle, clarifiant que leurs différences découlent souvent des hypothèses environnementales (simulateur vs plante physique) plutôt que des définitions fondamentales du problème.
Pont méthodologique : Il connecte explicitement les fonctions de Lyapunov (contrôle) aux fonctions de valeur (RL), montrant comment les certificats de stabilité peuvent être perçus à travers le prisme de la programmation dynamique.
Démonstration d'architecture hybride : Les auteurs présentent une combinaison novatrice d'algorithmes actor-critic et de MRAC. Cette approche sépare la planification de haut niveau (apprentissage de la structure de la tâche) de l'adaptation de bas niveau (gestion de l'incertitude paramétrique), démontrant que les deux paradigmes sont complémentaires plutôt qu'opposés.
Analyse critique des limites : L'article évalue honnêtement les limites des deux domaines :
- Contrôle : Souvent confronté à des difficultés face à des dynamiques hautement non linéaires ou non modélisées, et nécessite la construction manuelle complexe de fonctions de Lyapunov.
- RL : Manque souvent de garanties formelles de stabilité, peine avec les performances transitoires pendant l'apprentissage, et repose sur des heuristiques qui peuvent diverger sous l'effet de l'approximation de fonction non linéaire.

Résultats

En utilisant le benchmark Half-Cheetah, les auteurs démontrent :

SAC pur : Apprend avec succès une démarche de course dans un environnement statique, mais échoue de manière catastrophique lorsque la friction des articulations est soudainement réduite (changement de dynamique), car la politique fixe ne tient pas compte de la nouvelle physique.
SAC avec contrôleur de bas niveau fixe : Montre une amélioration marginale par rapport au SAC pur après le changement de dynamique, mais peine toujours à maintenir la performance.
SAC + MRAC (Hybride proposé) : Le contrôleur adaptatif de bas niveau parvient à ajuster ses paramètres pour compenser le changement de friction. Cela restaure la dynamique nominale de bas niveau, permettant à la politique SAC de haut niveau de maintenir une performance élevée malgré le changement environnemental. Les résultats illustrent que l'approche hybride atteint à la fois une haute performance (via le RL) et une adaptation continue (via le MRIF).

Signification et affirmations

L'article affirme fournir une base pour comprendre les différences fondamentales entre le RL et le contrôle, offrant des perspectives pour aider les experts de chaque domaine à s'approprier les outils de l'autre.

Convergence : Les auteurs soutiennent que le moment est venu pour une convergence, portée par les avancées dans la disponibilité des données et l'infrastructure de calcul. Le contrôle moderne est de plus en plus centré sur les données, tandis que le RL se dirige vers des systèmes physiques nécessitant des garanties de sécurité.
Complémentarité : La signification principale réside dans la démonstration que le RL et le contrôle adaptatif ne sont pas mutuellement exclusifs. L'approche hybride montre que le RL peut gérer la prise de décision de haut niveau, tandis que le contrôle adaptatif peut fournir la robustesse et la stabilité nécessaires pour l'exécution de bas niveau dans des environnements incertains.
Directions futures : L'article identifie des problèmes ouverts où des synergies sont nécessaires, notamment la planification à long horizon, les architectures hiérarchiques, l'observabilité partielle et le RL robuste garantissant la sécurité lors des décalages de distribution. Il souligne que pour un déploiement dans le monde réel, la sécurité (satisfaction de contraintes strictes) est non négociable, nécessissant un jeu subtil entre les mécanismes de feedforward (planification) et de feedback (adaptation).

L'article conclut modestement, affirmant que bien que l'exemple hybride soit illustratif, le thème général est le potentiel d'un cadre unifié pour la prise de décision basée sur les données qui équilibre performance et fiabilité.