💻 computer science

Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

Cet article présente Acc-CBF-QP, un filtre de sécurité par programmation quadratique basé sur l'accélération qui impose des contraintes de position, de vitesse, de couple et de collision articulaires aux politiques d'apprentissage par renforcement lors de déploiements robotiques réels sans modifier l'entraînement, réduisant considérablement les violations de sécurité tout en préservant la performance de la tâche sur du matériel tel que l'Unitree H1 et le Kinova Gen3.

Auteurs originaux : Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots apprennent à se déplacer non pas en étant programmés avec des règles rigides, mais en jouant à un jeu d'essais et d'erreurs, tout comme un bambin qui apprend à marcher. C'est le domaine de l'Apprentissage par Renforcement (RL). Dans ce terrain de jeu numérique, un robot tente des millions d'actions, recevant des « points » pour le succès et des « amendes » pour l'échec, finissant par comprendre comment courir, sauter ou saisir des objets avec une agilité incroyable. Cependant, il y a un piège : si ces cerveaux d'IA sont brillants pour apprendre de nouveaux tours, ils sont terribles pour connaître leurs propres limites. Si vous demandez à un robot apprenant de courir trop vite ou d'atteindre trop loin, il pourrait tenter de se tordre le bras ou de s'écraser contre un mur parce qu'il n'a pas encore appris à craindre les conséquences.

Pour garder ces robots en sécurité, les ingénieurs utilisent souvent des Fonctions de Barrière de Contrôle (CBF). Considérez-les comme des champs de force invisibles et incassables ou comme un algorithme d'« ange gardien » qui vérifie constamment si le robot est sur le point de faire quelque chose de dangereux. Si le robot tente de franchir une ligne, l'ange intervient pour le repousser doucement (ou pas si doucement) vers la sécurité. Le grand défi a toujours été de combiner la créativité sauvage du robot apprenant avec les règles strictes du gardien de sécurité sans ralentir le robot ou briser son cerveau.

Ce document présente une solution ingénieuse appelée Acc-CBF-QP, un filtre de sécurité qui agit comme un arbitre en temps réel pour l'apprentissage robotique. Les chercheurs ont construit un système qui se situe entre le « cerveau » du robot (la politique RL) et ses « muscles » (les moteurs). Lorsque le cerveau du robot envoie une commande qui semble susceptible de transgresser une règle — comme bouger une articulation trop vite ou heurter un mur — le filtre de sécurité recalcule instantanément la commande. Il ne stoppe pas le robot ; au lieu de cela, il trouve le mouvement sûr le plus proche de ce que le robot voulait faire.

L'équipe a testé cela sur deux robots très différents : un bras mécanique à 7 bras (le Kinova Gen3) et un robot humanoïde à 19 articulations (l'Unitree H1). Ils ont constaté que sans ce filtre, les robots transgressaient constamment les règles de sécurité. Sur le véritable robot humanoïde, l'IA non filtrée causait des violations de sécurité environ 10 fois par seconde. Mais lorsqu'ils ont ajouté le filtre Acc-CBF-QP, ces violations ont chuté de 92 %, tombant à moins d'une par seconde. Sur le bras mécanique, le filtre était si efficace qu'il a éliminé totalement les violations.

Crucialement, les chercheurs ont découvert que ce filet de sécurité ne rendait pas les robots maladroits. Lorsque les robots effectuaient leurs tâches normales sans heurter de zones de danger, le filtre les laissait bouger exactement comme l'IA l'avait prévu, sans perte de performance. Même lorsque les robots étaient poussés dans leurs retranchements avec des commandes de vitesse agressives, le filtre a empêché les crashs ou les arrêts forcés, leur permettant de survivre beaucoup plus longtemps que s'ils avaient été seuls. Le document suggère que cette méthode fonctionne même lorsque la carte interne du corps du robot n'est pas parfaite, grâce à un « observateur de perturbations » spécial qui devine les forces externes qui poussent le robot.

Les auteurs ont également comparé deux façons différentes dont le filtre peut interpréter les commandes du robot : une qui se concentre sur l'appariement de la force exacte (couple) que le robot veut utiliser, et une autre qui se concentre sur l'appariement de la vitesse de mouvement exacte (accélération). Ils ont trouvé que la version « d'appariement de force » était plus robuste lorsque le modèle physique du robot était légèrement erroné, tandis que la version « d'appariement de vitesse » était légèrement meilleure lorsque le modèle était parfait. Cependant, dans le monde réel, où les modèles ne sont jamais parfaits, l'approche d'appariement de force s'est avérée être le choix le plus fiable.

En résumé, ce document ne prétend pas avoir résolu tous les problèmes de sécurité en robotique, ni affirme que l'entraînement des robots pour qu'ils soient sûs dès le départ est une mauvaise idée. Au contraire, il offre un outil pratique et prêt à l'emploi qui peut s'envelopper autour de n'importe quelle IA robotique existante, la rendant sûre à déployer sur du matériel réel sans avoir besoin de réentraîner l'IA de zéro. Il comble le fossé entre le monde sauvage et flexible des robots apprenants et la réalité stricte et impitoyable du monde physique, prouant que l'on peut avoir à la fois une haute performance et une sécurité stricte en même temps.

Résumé Technique : Exécution Sécurisée de Politiques d'Apprentissage par Renforcement via l'Accélération-based CBF-QP

Énoncé du Problème

L'apprentissage par renforcement (RL) a démontré un potentiel significatif pour résoudre des tâches de contrôle robotique complexes, telles que la locomotion agile et la manipulation dextre. Cependant, le déploiement de politiques de RL sur du matériel physique est sévèrement limité par l'absence de garanties de sécurité. Bien qu'il existe des méthodes de RL sécurisé qui intègrent des contraintes lors de l'entraînement (par exemple, via des processus de décision markovienne contraints ou des fonctions de barrière de contrôle), elles reposent souvent sur des garanties statistiques qui se dégradent lors de changements de distribution. De plus, les contraintes de sécurité strictes pendant l'entraînement peuvent être excessivement conservatrices, restreignant l'exploration et ralentissant la convergence. Crucialement, les méthodes existantes échouent souvent à assurer le respect constant des contraintes pour les états hors distribution (OoD) rencontrés lors du déploiement en conditions réelles, entraînant des dommages matériels ou des arrêts du système.

Le défi central abordé est la manière d'imposer des contraintes de sécurité explicites (limites de position, de vitesse et de couple des articulations, ainsi que les collisions) sur des politiques de RL pré-entraînées au moment de l'exécution, sans nécessifier de réentraînement ou de modification de la politique apprise elle-même.

Méthodologie : Acc-CBF-QP

Les auteurs proposent Acc-CBF-QP, un filtre de sécurité par programmation quadratique (QP) basé sur l'accélération qui agit comme une couche de post-traitement autour de toute politique de RL pré-entraînée. Le cadre fonctionne en filtrant la commande de RL en temps réel pour garantir qu'elle respecte un ensemble sûr défini par des fonctions de barrière de contrôle (CBF).

Composants Clés

Formulation QP basée sur l'accélération :
Le problème de contrôle est formulé comme un QP où les variables de décision sont les accélérations généralisées ( $\ddot{q}$ ). Cela permet la satisfaction simultanée des contraintes dynamiques et cinématiques, qui sont souvent de second ordre. Le QP minimise une somme pondérée des erreurs de tâche sous des contraintes linéarisées :
$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{sous réserve de} \quad A_c \ddot{q} \leq b_c$
Imposition des Contraintes (CBFs) :
La sécurité est définie comme l'invariance vers l'avant d'un ensemble fermé $\mathcal{C}$ . Les auteurs formulent des contraintes pour :
- Limites de Couple : Imposées via la dynamique inverse.
- Limites de Vitesse et de Position des Articulations : Imposées en utilisant des CBF standards pour la vitesse (degré relatif 1) et des CBF exponentielles (ECBF) pour la position (degré relatif 2).
- Évitement de l'Auto-collision : Imposé via des ECBF sur la distance entre les paires de corps surveillées.
Intégration du RL et Formulations de Tâches :
Puisque les politiques de RL produisent généralement des actions interprétées comme des déplacements articulaires souhaités (qui se traduisent en couples via un contrôleur PD de bas niveau), le QP doit minimiser l'écart par rapport au couple effectif de la commande de RL. Le papier introduit deux formulations de tâches spécifiques pour atteindre cela :
- TorqueTask : Minimise l'écart entre le couple calculé par le QP et le couple de RL souhaité ( $\tau_{RL}$ ). Cette formulation est robuste aux erreurs de modélisation car elle repose sur la dynamique inverse.
- Forward Dynamics Task (FDTask) : Minimise l'écart entre l'accélération calculée par le QP et l'accélération impliquée par le couple souhaité via la dynamique directe. Cette formulation est plus sensible aux inexactitudes du modèle mais minimise théoriquement l'écart d'accélération lorsque le modèle est parfait.
Robustesse et Estimation des Perturbations :
Pour gérer les erreurs de modélisation et les perturbations externes (critiques pour les robots à base flottante), le système utilise un observateur de quantité de mouvement généralisé (GMO) pour estimer les couples externes ( $\hat{\tau}_{ext}$ ). Cette estimation est utilisée dans le calcul de la dynamique inverse pour compenser la dynamique non modélisée. Les auteurs fournissent une analyse de robustesse montrant que, sous des perturbations bornées, le système maintient la sécurité état-à-état, maintenant les trajectoires dans un voisinage de l'ensemble sûr.
Gestion de l'Irrésolubilité :
Dans les cas où le QP devient irréalisable (par exemple, en raison de contraintes conflictuelles ou de perturbations sévères), le système emploie des mécanismes de repli : passage en mode d'amortissement ou retour à une commande de RL saturée en couple.

Principales Contributions

Cadre Open-Source : Les auteurs publient un pipeline open-source (Acc-CBF-QP) qui impose la sécurité sur les politiques de RL robotiques via un QP basé sur l'accélération avec des contraintes CBF.
Double Formulation de Tâche : L'introduction de TorqueTask et FDTask offre un contrôle principalisé sur le compromis sécurité-performance, permettant aux utilisateurs de choisir entre minimiser l'écart de couple ou l'écart d'accélération selon l'application et la fidélité du modèle.
Intégration de l'Estimation d'État : Le cadre intègre l'estimation d'état et les observateurs de perturbations pour récupérer les forces externes, ce qui est essentiel pour l'imposition cohérente des CBF sur les systèmes pilotés par couple et à base flottante.
Sécurité au Moment de l'Exécution sans Réentraînement : La méthode agit comme une interface modulaire qui enveloppe des politiques de RL arbitraires, imposant les contraintes au moment de l'exécution sans nécessole de réentraînement supplémentaire de la politique ou de modification du processus d'entraînement.

Résultats Expérimentaux

Le cadre a été validé sur deux plateformes distinctes : un manipulateur Kinova Gen3 à 7 degrés de liberté et un robot humanoïde Unitree H1 à 19 degrés de liberté, en simulation et sur matériel réel.

Kinova Gen3 (Manipulateur) :
- En utilisant une politique de RL prête à l'emploi entraînée sans contraintes de sécurité, Acc-CBF-QP a totalement éliminé les violations de contraintes (position articulaire, vitesse, couple et collisions) en simulation et sur matériel.
- La performance de la tâche nominale (suivi de trajectoire cartésienne) a été préservée, avec des écarts statistiquement indiscernables de la répétabilité intrinsèque de la politique de RL.
Unitree H1 (Humanoïde) :
- Comparé à une ligne de base de RL sécurisé entraînée avec la méthode "Constraints as Terminations" (CaT).
- Réduction des Violations : Sur matériel réel, la politique de RL sécurisé seule a généré 10,04 violations/seconde. L'ajout d'Acc-CBF-QP a réduit les violations de 92 % à 0,80 violation/seconde (TorqueTask).
- Temps de Survie : Sous des commandes de vitesse agressives, Acc-CBF-QP a empêché les arrêts induits par les contraintes, entraînant des temps de survie plus longs par rapport à la ligne de base.
- Robustesse : Sur un terrain accidenté, la couche QP a déplacé les modes de défaillance des "violations de contraintes" (ex: limites articulaires) vers des "chutes physiquement plausibles", sans dégradation statistiquement significative de la durée de survie par rapport à la ligne de base.
- Comparaison des Formulations de Tâche : La TorqueTask a démontré une plus grande robustesse aux erreurs de modélisation sur le matériel, tandis que la FDTask a montré un meilleur suivi d'accélération en simulation.

Signification et Revendications

L'article affirme qu'Acc-CBF-QP constitue une étape pratique vers le déploiement réel et fiable de comportements robotiques appris. Sa principale importance réside dans le pont jeté entre la flexibilité du RL et les exigences de sécurité strictes des systèmes physiques.

Modularité : Il fournit une interface modulaire entre le contrôle appris et le filtrage de sécurité au niveau de l'accélération, permettant une modification dynamique des contraintes de sécurité au déploiement sans réentraînement.
Sécurité vs Performance : Les expériences démontrent que l'imposition de la sécurité peut être réalisée sans dégradation mesurable de la performance de la tâche nominale lorsque les contraintes ne sont pas actives.
Applicabilité au Monde Réel : En déployant avec succès sur un humanoïde complexe à base flottante (Unitree H1) avec des modèles dynamiques imparfaits, ce travail valide que les couches de sécurité basées sur l'optimisation peuvent atténuer efficacement les risques associés aux états OoD et aux inexactitudes de modélisation sur du matériel réel.

Les auteurs restent modestes quant aux limites, notant que le cadre gère actuellement l'irrésolubilité du QP de manière pragmatique (via l'amortissement ou le retour en arrière) plutôt que par des garanties de stabilité formelles pour le système projeté en boucle fermée, et que des comparaisons plus larges avec d'autres méthodes d'entraînement de Safe-RL sont laissées pour des travaux futurs.