💻 computer science

Passivity-Centric Safe Reinforcement Learning for Contact-Rich Robotic Tasks

Cet article aborde les limites de sécurité et de stabilité de l'apprentissage par renforcement traditionnel dans les tâches robotiques riches en contacts en proposant un cadre qui intègre un entraînement sensible à la passivité avec des contraintes basées sur l'énergie et un filtre de passivité pour le déploiement, garantissant ainsi la stabilité du contrôle et améliorant l'efficacité énergétique.

Auteurs originaux : Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

Publié 2026-09-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un bras robotique s'étendant pour toucher un mur, non pas pour le repousser, mais pour tâtonner son chemin à travers un labyrinthe sombre et sinueux. C'est le monde de la robotique riche en contacts, où les machines doivent interagir physiquement avec leur environnement pour résoudre des problèmes. Pendant des années, les scientifiques ont utilisé un outil puissant appelé apprentissage par renforcement pour apprendre aux robots comment faire cela. Voyez cela comme un processus numérique d'essais et d'erreurs : le robot tente un mouvement, reçoit une récompense s'il réussit, et apprend de ses erreurs. Bien que cette méthode ait produit des résultats impressionnants dans les simulations informatiques, un obstacle majeur subsiste lors du passage de ces robots au monde réel. Les algorithmes sont excellents pour trouver un chemin vers un objectif, mais ils ignorent souvent une règle fondamentale de la physique : l'énergie. Si un robot apprend une stratégie qui nécessite de pomper trop d'énergie dans ses articulations ou dans l'environnement, il peut devenir instable, trembler violemment ou même s'endommager lui-même et les objets qu'il touche. Garantir que les mouvements d'un robot sont sûrs et stables n'est pas seulement une préoccupation théorique ; c'est une nécessité pratique pour toute machine qui devra un jour travailler aux côtés des humains.

Des chercheurs de l'Istituto Italiano di Tecnologia à Gênes, en Italie, se sont donné pour mission de résoudre ce problème spécifique. Ils ont posé une question simple mais critique : pouvons-nous apprendre à un robot non seulement à être bon dans une tâche, mais aussi à être intrinsèquement sûr concernant son utilisation de l'énergie ? Leur travail se concentre sur un concept appelé passivité. En termes simples, la passivité signifie qu'un système ne peut pas créer d'énergie à partir de rien ; il peut seulement stocker ce qu'il reçoit ou le dissiper. Un robot passif est un robot qui se comporte comme un ressort bien amorti, absorbant les chocs plutôt que de les amplifier. L'équipe a découvert que les politiques d'apprentissage par renforcement standard, qui sont entraînées pour maximiser le succès de la tâche, échouent souvent à respecter cette règle. Dans leurs expériences, ces politiques standard ont appris à accomplir des tâches rapidement, mais ce faisant, elles ont généré des commandes de contrôle qui violaient les limites d'énergie, entraînant l'instabilité lors du déploiement dans le monde réel.

Pour corriger cela, les chercheurs ont développé une nouvelle approche qui combine la puissance d'apprentissage de l'intelligence artificielle avec des règles énergétiques strictes. Ils ont créé un système composé de deux parties distinctes travaillant ensemble. La première partie se déroule durant la phase d'entraînement. Ici, ils ont appris au robot à être « conscient de la passivité ». Au lieu de simplement récompenser le robot pour avoir atteint la sortie d'un labyrinthe, ils ont ajouté des contraintes invisibles qui le pénalisaient pour l'utilisation excessive d'énergie ou pour des changements trop rapides de sa rigidité. Cela a forcé le robot à apprendre une manière de bouger plus économique, découvrant des stratégies naturellement plus douces et plus stables. La seconde partie se déroule lorsque le robot est réellement en train de travailler. Même avec un meilleur entraînement, les chercheurs savaient qu'un programme informatique pouvait encore commettre une erreur. Ainsi, ils ont ajouté un filtre de sécurité, une dernière couche de protection qui se situe entre le cerveau du robot et ses muscles. Ce filtre surveille constamment le flux d'énergie. Si le robot tente de faire un mouvement qui injecterait trop d'énergie dans le système, le filtre le réduit automatiquement, garantissant que le robot reste dans des limites sûres.

L'équipe a testé cette méthode dans un scénario exigeant : une tâche d'exploration de labyrinthe où un bras robotique devait trouver son chemin en touchant aveuglément les parois. Ils ont comparé quatre types de robots différents : un qui ignorait totalement les règles d'énergie, un qui était entraîné à se soucier de l'énergie mais ne possédait pas de filtre de sécurité, un qui possédait un filtre de sécurité mais avait été entraîné sans les règles d'énergie, et enfin, leur nouvelle méthode combinant l'entraînement conscient de l'énergie et le filtre de sécurité. Les résultats étaient clairs. Le robot entraîné sans règles d'énergie pouvait terminer le labyrinthe dans les simulations, mais lorsqu'ils ont essayé de le faire fonctionner sur un véritable robot physique, il a échoué. Il se déplaçait de manière trop agressive, appliquant une force excessive dans les virages, ce qui provoquait une perte de contrôle. En revanche, les robots entraînés avec des contraintes énergétiques ont appris à se déplacer de manière plus conservatrice. Ils ont mis un peu plus de temps à apprendre la tâche durant la phase d'entraînement, mais une fois déployés, ils étaient bien plus fiables.

Lorsque les chercheurs ont mis les meilleurs modèles entraînés à l'épreuve dans le monde réel, la différence était flagrante. Le robot utilisant leur méthode combinée a terminé le labyrinthe avec succès à chaque essai, ne violant jamais les limites de force et ne dépassant jamais son budget énergétique. Le robot standard, même protégé par le filtre de sécurité, a éprouvé des difficultés car il n'avait pas appris à gérer son énergie efficacement dès le départ. Le filtre de sécurité seul pouvait stopper un désastre, mais il ne pouvait pas rendre le robot efficace. L'entraînement conscient de l'énergie seul rendait le robot efficace, mais il ne pouvait pas garantir la sécurité si le robot faisait une erreur soudaine et imprévisible. Ce n'est qu'en combinant les deux qu'ils ont obtenu un système qui soit à la fois sûr et efficace. Les chercheurs ont constaté que le robot entraîné avec des limites d'énergie strictes utilisait son budget énergétique beaucoup plus lentement et uniformément, lui permettant de gérer des virages et des obstacles complexes sans manquer de souffle.

Ce travail met en lumière un changement crucial dans notre façon de construire des machines intelligentes. Il suggère que pour que les robots travaillent en toute sécurité dans notre monde physique, ils ne doivent pas seulement être enseignés pour être intelligents ; ils doivent être enseignés pour être physiquement responsables. En intéant les lois de la conservation de l'énergie directement dans le processus d'apprentissage et en les appuyant par un filtre de sécurité en temps réel, les chercheurs ont montré une voie vers des robots qui sont non seulement capables, mais aussi dignes de confiance. Leurs expériences, menées sur un bras robotique à sept articulations, prouvent qu'il est possible d'apprendre à une machine à naviguer dans un environnement difficile et riche en contacts sans risquer sa propre stabilité ou la sécurité de son environnement. La méthode ne repose pas sur des modèles mathématiques complexes du monde qui pourraient être erronés ; elle repose plutôt sur le fait que le robot apprend les limites de sa propre énergie par l'expérience, guidé par des règles qui le maintiennent ancré dans la réalité physique.

Résumé Technique : Apprentissage par Renforcement Sûr Centré sur la Passivité pour les Tâches Robotiques Riches en Contacts

Énoncé du Problème

L'apprentissage par renforcement (RL) a démontré un succès significatif dans le contrôle robotique, mais fait face à des barrières critiques lors de son déploiement dans des environnements réels riches en contacts. Les politiques de RL traditionnelles privilégient souvent l'accomplissement de la tâche et l'efficacité de l'apprentissage tout en négligeant la stabilité et la sécurité du système. Dans les scénarios riches en contacts, tels que le suivi de paroi ou la manipulation à régulation de force, les politiques dépourvues de garanties de passivité peuvent entraîner une instabilité du système, une accumulation d'énergie non bornée et des vibrations à haute fréquence. Ces comportements posent des risques pour le robot, l'environnement et les opérateurs humains.

Bien que le contrôle basé sur la passivité (PBC) soit une méthode établie pour assurer la stabilité lors des interactions physiques, son intégration dans le RL reste peu explorée. La littérature existante se concentre souvent sur la conception de réservoirs d'énergie ou de paramètres pour le contrôle classique, avec une investigation limitée sur la conception de systèmes passifs basés sur l'apprentissage. De plus, le simple fait de borner l'énergie totale est insuffisant ; le flux d'énergie entre le contrôleur et le robot doit également être restreint pour garantir la passivité. L'article identifie une lacune dans la combinaison du RL avec le PBC pour traiter simultanément la sécurité, la stabilité et l'efficacité énergétique dans les tâches riches en contacts.

Méthodologie

Les auteurs proposent un cadre d'Apprentissage par Renforcement Sûr Garantissant la Passivité qui intègre des contraintes basées sur l'énergie à la fois dans les phases d'entraînement et de déploiement. L'approche repose sur une base de RL sûr utilisant un contrôle d'impédance variable (VIC) et un critique de sécurité pour les tâches riches en contacts. La méthodologie distingue quatre approches :

Agnostique à la passivité : RL standard sans considérations de passivité.
Filtré par la passivité : RL entraîné de manière traditionnelle, avec un filtre de passivité appliqué au déploiement.
Conscient de la passivité : RL entraîné avec des contraintes d'énergie explicites pour apprendre un comportement passif.
Garantissant la passivité : Une combinaison d'un entraînement conscient de la passivité et d'un filtre de passivité au déploiement.

Composants Clés

Réservoir d'Énergie Augmenté : Le système utilise un réservoir d'énergie ( $E_T$ ) pour stocker et limiter l'énergie. Contrairement aux travaux précédents qui ne bornaient que l'énergie totale, cette méthode introduit une limite de flux ( $\dot{E}_T$ ) pour restreindre le taux d'injection d'énergie, répondant ainsi à l'insuffisance du seul bornage de l'énergie totale.
Entraînement Conscient de la Passivité (Sec. 2.4) : Le processus de décision de Markov contraint (CMDP) est étendu pour inclure deux nouvelles contraintes :
- Contrainte de Budget ( $c_{eb}$ ) : Se déclenche si le réservoir d'énergie descend en dessous d'une limite inférieure ( $E_T \leq \underline{E}_T$ ).
- Contrainte de Flux ( $c_{ef}$ ) : Se déclenche si le taux de drainage d'énergie dépasse un seuil ( $\dot{E}_T < \underline{\dot{E}}_T$ ).
  Ces contraintes sont utilisées pour entraîner un critique de sécurité, permettant à l'agent d'apprendre des politiques économes en énergie sans augmenter l'espace d'état avec des variables de réservoir, maintenant ainsi un état compact.
Contrôle Garantissant la Passivité (Sec. 2.5) : Une couche de passivité est appliquée à la sortie de l'agent RL lors du déploiement. Cette couche agit comme un filtre :
- Elle calcule le facteur d'échelle $\alpha$ basé sur le ratio entre le flux d'énergie autorisé et le flux réel.
- Elle modifie la raideur cartésienne et les couples de commande ( $\tau_{IC}$ ) pour garantir que la condition de flux d'énergie est respectée.
- Si le réservoir d'énergie est épuisé, les mises à jour de la raideur sont interrompues ou modifiées pour empêcher toute injection d'énergie supplémentaire, garantissant que le système reste passif.

Contributions Clés

L'article expose trois contributions principales :

Comparaison Systématique : Une comparaison étendue de différentes approches d'apprentissage de contrôle passif basées sur le RL (agnostique à la passivité, filtrée, consciente et garantissant la passivité), évaluant leurs effets sur l'entraînement, le déploiement, la sécurité, la stabilité et l'efficacité énergétique.
Formulation de Passivité Augmentée : La conception et l'évaluation d'une formulation de passivité basée sur un réservoir d'énergie augmenté au sein du RL, en incorporant spécifiquement des tailles de réservoirs variables et, surtout, des contraintes de flux d'énergie.
Cadre Garantissant la Passivité : L'introduction d'un cadre qui traite simultanément la passivité de contrôle et la sécurité riche en contacts en combinant un entraînement conscient de la passivité avec un filtre de passivité au moment du déploiement.

Résultats Expérimentaux

La méthode a été évaluée sur une tâche d'exploration de labyrinthe riche en contacts où un robot doit naviguer dans un labyrinthe inconnu en touchant aveuglément les parois, nécessissant une régulation précise de la force. Les expériences ont été menées dans la simulation MuJoCo et sur un bras robotique réel Franka Panda.

Phase d'Entraînement

Impact des Contraintes : L'introduction de contraintes de passivité ( $c_{eb}$ et $c_{ef}$ ) a directement affecté les taux de réussite des tâches pendant l'entraînement. Bien que des contraintes trop restrictives (par exemple, des limites de flux serrées) aient initialement entravé l'exploration et le succès, elles ont forcé l'agent à apprendre des comportements plus conservateurs et économes en énergie.
Dynamique d'Apprentissage : Les agents entraînés avec des contraintes d'énergie (par exemple, $E_b4$ ) ont appris à réguler la raideur de manière plus économique, entraînant une dépense d'énergie réduite et plus uniformément répartie par rapport aux agents agnostiques à la passivité.

Phase de Déploiement (Simulation & Monde Réel)

Garantie de Stabilité : L'approche garantissant la passivité (entraînement conscient de la passivité + filtre de passivité) était la seule méthode à garantir la passivité du système. Les politiques agnostiques à la passivité, même lorsqu'elles réussissaient l'accomplissement de la tâche, violaient fréquemment les contraintes d'énergie et présentaient une utilisation agressive de l'énergie.
Performance vs Efficacité :
- Agnostique à la Passivité : A atteint un taux de réussite élevé de manière isolée, mais a épuisé rapidement les budgets d'énergie et a échoué lors des essais en conditions réelles en raison d'une application de force agressive.
- Garantissant la Passivité : A atteint un taux de réussite de 100 % lors des essais en conditions réelles sans violation de contrainte. Bien que certaines politiques contraintes (comme $E_b4$ ) aient convergé plus lentement pendant l'entraînement, elles ont démontré une efficacité énergétique et une robustesse supérieures lors du déploiement.
Validation en Conditions Réelles : Dans les expériences en conditions réelles, la base agnostique à la passivité a échoué dans un essai sur trois en raison d'une force excessive lors d'un virage. Toutes les configurations garantissant la passivité ont réussi sans violer les contraintes de force ou d'énergie. L'analyse de la consommation d'énergie a confirmé que les politiques conscientes de la passivité maintenaient des taux d'utilisation d'énergie plus faibles que la base agnostique.

Signification et Revendications

L'article affirme que les politiques de RL traditionnelles sont insuffisantes pour les tâches riches en contacts en raison d'un manque de garanties de stabilité intrinsèques. Le cadre proposé de RL Sûr Garantissant la Passivité y répond en :

Garantissant la Stabilité : Le filtre de passivité au moment du déploiement garantit que le système reste passif quel que soit l'output de l'agent RL, empêchant l'instabilité et les comportements dangereux.
Améliorant l'Efficacité Énergétique : En entraînant explicitement l'agent avec des contraintes d'énergie, le système apprend à utiliser l'énergie de manière plus économique, menant à de meilleures performances dans des tâches complexes de longue durée.
Comblant le Fossé : Ce travail démont une que la combinaison de l'optimisation de politique basée sur l'apprentissage avec les formalismes de passivité classiques est une voie viable vers un déploiement robotique sûr, stable et efficace dans des environnements non structurés et riches en contacts.

Les auteurs concluent que, bien que l'entraînement conscient de la passivité améliore l'efficacité énergétique, le filtre de passivité est essentiel pour garantir la sécurité lors du déploiement, car l'apprentissage seul ne peut garantir une passivité stricte en raison de la nature stochastique du RL et de l'incomplétude des données.