⚡ electrical engineering

Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Ce papier présente Robust Koopman-CBF SAC, un cadre d'apprentissage par renforcement sûr qui apprend un prédicteur de Koopman basé sur les données pour construire et imposer des contraintes de fonction barrière de contrôle resserrées via un programme quadratique, permettant ainsi d'obtenir zéro violation de contrainte dans les benchmarks tout en équilibrant la performance de la tâche et la sécurité.

Auteurs originaux : Dhruv S. Kushwaha, Zoleikha A. Biron

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dhruv S. Kushwaha, Zoleikha A. Biron

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à marcher ou à équilibrer un pôle sur sa tête. Vous souhaitez que le robot excelle dans cette tâche (haute performance), mais vous devez également vous assurer qu'il ne tombe jamais, ne heurte pas un mur et ne brise pas ses propres articulations (sécurité).

Cet article présente une nouvelle méthode appelée Robust Koopman-CBF SAC qui agit comme un « gardien de sécurité intelligent » pour les robots apprenant par essais et erreurs. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'« Explorateur Sauvage » contre le « Gardien Strict »

L'Explorateur (Le Robot) : Pour apprendre, un robot doit essayer de nouvelles choses. Il peut tenter un mouvement fou qui fonctionne très bien, ou essayer un mouvement qui provoque une collision. Les algorithmes d'apprentissage standards sont comme des explorateurs sauvages ; ils sont excellents pour trouver la meilleure façon d'accomplir une tâche, mais ils ne savent pas naturellement comment éviter les collisions.
Le Gardien (Le Filtre de Sécurité) : Les systèmes de sécurité traditionnels sont comme des gardiens stricts. Ils connaissent les règles (par exemple, « ne dépassez pas cette ligne ») et arrêtent le robot s'il tente de les enfreindre. Cependant, ces gardiens ont généralement besoin d'un manuel parfait du mouvement du robot (un manuel de physique) pour accomplir leur tâche. Si le robot est complexe ou si la physique est inconnue, le gardien se perd et cesse de fonctionner.

2. La Solution : Un « Traducteur » et un « Filet de Sécurité »

Les auteurs ont créé un système qui combine le meilleur des deux mondes en utilisant trois astuces principales :

A. Le Traducteur (Lifting Koopman)

Les robots se déplacent souvent de manière complexe et non linéaire (comme un pendule oscillant). Il est difficile de prédire exactement où ils iront ensuite.

L'Analogie : Imaginez essayer de prédire la trajectoire d'une feuille tourbillonnant dans le vent. C'est chaotique. Mais si vous traduisez ce mouvement chaotique dans un autre « langage » (un espace de dimension supérieure), la trajectoire de la feuille ressemble soudainement à une ligne droite.
Comment cela fonctionne : Le système utilise un « traducteur » mathématique (opérateur de Koopman) pour convertir les mouvements désordonnés du robot dans le monde réel en un langage linéaire simplifié. Dans ce nouveau langage, prédire l'avenir devient facile, comme tracer une ligne droite sur un papier.

B. Le Filet de Sécurité avec une « Zone Tampon » (Robust CBF)

Même avec un traducteur, la prédiction n'est pas parfaite. Il y a toujours un peu de « bruit » ou d'erreur.

L'Analogie : Imaginez un funambule. Si vous lui dites : « Restez exactement sur le fil », il pourrait tomber s'il y a une petite rafale de vent. Mais si vous lui dites : « Restez dans cette large zone sûre autour du fil », il est beaucoup plus en sécurité.
Comment cela fonctionne : Le système ne se contente pas de deviner l'avenir du robot ; il mesure à quel point ses prédictions ont été erronées dans le passé (le « résidu »). Il ajoute ensuite une zone tampon (une marge d'erreur) aux règles de sécurité. Si le robot tente de bouger, le système vérifie : « Même si ma prédiction est légèrement erronée, le robot sera-t-il toujours en sécurité ? » Si la réponse est oui, il laisse le mouvement se produire. Si la réponse est non, il pousse doucement le robot vers la sécurité.

C. L'Entraîneur (Apprentissage Acteur-Critique)

Le robot apprend grâce à un système d'« Entraîneur » (Soft Actor-Critic).

La Surprise : Habituellement, l'entraîneur dit au robot quoi faire, et le robot le fait. Mais ici, le « Gardien de Sécurité » peut modifier l'action du robot avant qu'elle ne se produise.
L'Innovation : Les auteurs ont veillé à ce que l'Entraîneur apprenne de ce que le robot a réellement fait (après que le gardien de sécurité l'ait corrigé), et non pas seulement de ce qu'il voulait faire. Cela empêche l'Entraîneur de se confondre et d'enseigner de mauvaises habitudes au robot.

3. Ce qu'ils ont trouvé (Les Résultats)

L'équipe a testé cette méthode sur deux types de robots : des modèles simples et des modèles complexes, proches de la réalité.

Les Robots Simples (CartPole et Quadrotor) :
- Le Résultat : Le système était parfait. Il a réalisé zéro collision tout en accomplissant la tâche aussi bien qu'un robot non sécurisé.
- Pourquoi : Le « traducteur » fonctionnait très bien pour ces mouvements simples, et la « zone tampon » était de la taille idéale. Le gardien de sécurité devait rarement intervenir car le robot apprenait à rester en sécurité par lui-même.
Les Robots Complexes (Robots marcheurs comme HalfCheetah et Walker) :
- Le Résultat : Le système a aidé à réduire les collisions, mais il n'était pas parfait. Il n'a pas pu empêcher les robots de tomber aussi efficacement que d'autres méthodes dans certains cas.
- Pourquoi : Ces robots ont des « pieds » qui frappent le sol, créant des mouvements soudains et saccadés (comme une voiture passant sur un nid-de-poule). Le « traducteur » n'a pas pu simplifier ces mouvements saccadés suffisamment bien. La « zone tampon » est devenue trop grande pour être utile, ou les règles de sécurité sont devenues impossibles à suivre.
- L'Insight : Les auteurs ont découvert un « voyant d'alerte ». Avant même de commencer l'entraînement, ils pouvaient mesurer l'« erreur de prédiction » (le bruit dans le traducteur). Si cette erreur était trop élevée, ils savaient que le système de sécurité ne fonctionnerait pas bien pour ce robot spécifique. C'est une découverte majeure : Vous pouvez prédire si un filtre de sécurité fonctionnera simplement en vérifiant les mathématiques au préalable.

Résumé

Cet article introduit une couche de sécurité intelligente pour les robots apprenants. Elle traduit les mouvements complexes en mouvements simples, ajoute une zone tampon de sécurité pour tenir compte des erreurs mathématiques, et enseigne au robot en se basant sur ses actions réelles et sécurisées.

Quand cela fonctionne : C'est incroyablement efficace pour les robots ayant des mouvements fluides et prévisibles (comme équilibrer un pôle), offrant une sécurité parfaite sans ralentir l'apprentissage.
Quand cela peine : Cela bute sur un mur avec les robots ayant des impacts soudains et saccadés (comme marcher ou courir), car les mathématiques peinent à prédire ces changements brusques.
La Conclusion : Les auteurs fournissent un outil pour vérifier avant de commencer si votre système de sécurité fonctionnera. Si les mouvements du robot sont trop chaotiques pour que les mathématiques les simplifient, ce filtre de sécurité spécifique pourrait ne pas être l'outil approprié pour la tâche.

Résumé technique : Filtres de barrière de contrôle Koopman robustes pour l'apprentissage par renforcement acteur-critique sécurisé

Énoncé du problème
L'apprentissage par renforcement (RL) sécurisé pour les systèmes robotiques fait face à une tension fondamentale : améliorer la performance des tâches tout en satisfaisant strictement les contraintes d'état et d'entrée durant l'entraînement et le déploiement. Bien que les fonctions de barrière de contrôle (CBF) offrent un mécanisme principiel pour imposer une invariance vers l'avant via des filtres de sécurité minimalement invasifs, leur application dans le RL sans modèle est entravée par la nécessité de disposer de dynamiques système précises et de certificats de barrière conçus à la main. Les méthodes de RL contraintes existantes offrent souvent uniquement des garanties de coût cumulatif attendu plutôt qu'une sécurité point par point, et les pénalités de récompense manquent de garanties à chaque étape. Les auteurs abordent le défi de combiner l'efficacité d'échantillonnage du RL profond hors politique avec un filtre de sécurité CBF piloté par les données qui reste convexe pour les systèmes non linéaires, en tenant spécifiquement compte des erreurs d'approximation inhérentes aux modèles Koopman de dimension finie.

Méthodologie : Robust Koopman-CBF SAC
L'article propose Robust Koopman-CBF SAC, un cadre acteur-critique filtré par sécurité qui intègre trois composants principaux :

Lifting Koopman piloté par les données : La méthode apprend un prédicteur Koopman de dimension finie à partir de données de déroulement hors ligne en utilisant la décomposition dynamique de mode étendue (EDMD). Les dynamiques non linéaires sont relevées dans un espace d'observables $\psi(x)$ où l'évolution est approximativement linéaire : $z_{t+1} \approx Az_t + Bu_t$ . Le dictionnaire $\psi$ inclut les coordonnées d'état originales et des fonctions de base radiales (RBF) pour garantir que les contraintes physiques peuvent être représentées comme des fonctions affines dans l'espace relevé.
Contraintes CBF relevées robustes : Pour gérer l'erreur d'approximation du modèle de dimension finie, les auteurs introduisent une marge de résidu projeté ( $\rho$ ). Au lieu de borner la norme complète du résidu, ils estiment la composante de l'erreur de prédiction qui affecte directement l'inégalité de la barrière ( $|c^\top r|$ ) en utilisant un ensemble de calibration retenu. Cette marge est calculée via des quantiles empiriques ou conformes. La condition de sécurité est renforcée comme suit :
$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$
Cela se traduit par une contrainte affine sur l'entrée de commande, permettant l'implémentation du filtre de sécurité sous la forme d'un programme quadratique (QP) léger.
Intégration acteur-critique : Le cadre modifie l'algorithme standard Soft Actor-Critic (SAC) pour résoudre le décalage entre les actions nominales et les actions exécutées :
- Entraînement du critique : Le critique est entraîné sur l'action sûre exécutée ( $u^{safe}_t$ ) générée par le filtre QP, garantissant que les estimations de valeur reflètent les dynamiques en boucle fermée réelles.
- Régularisation de l'acteur : L'acteur reçoit une pénalité différentiable de proposition CBF ( $\ell_{cbf}$ ) qui l'encourage à proposer des actions déjà dans l'ensemble réalisable, réduisant ainsi la dépendance au filtre au fil du temps.
- Gestion des variables d'écart : Le QP inclut des variables d'écart pour maintenir la faisabilité numérique sous les limites des actionneurs, bien que les auteurs notent qu'un écart positif affaiblisse les certificats de sécurité formels.

Contributions clés

Formulation de filtre robuste : Introduction d'un filtre de sécurité Koopman-CBF robuste pour le RL acteur-critique sans modèle qui relève les dynamiques non linéaires vers un système approximativement linéaire et impose la sécurité via une contrainte QP affine.
Marge de résidu projeté : Une méthode novatrice pour estimer l'erreur du modèle Koopman de dimension finie en utilisant une marge de résidu projeté dérivée de données de calibration, produisant une condition CBF discrète robuste directement implémentable.
Entraînement acteur-critique cohérent : Intégration du filtre avec SAC en utilisant un apprentissage du critique basé sur les actions exécutées et une pénalité de faisabilité côté acteur, éliminant le décalage courant où la politique optimise pour des actions non filtrées tandis que les transitions de l'environnement sont générées par des actions filtrées.
Diagnostics empiriques : Une évaluation complète démontrant que la marge de résidu projeté $\rho$ sert de diagnostic calculable avant l'entraînement pour l'efficacité du filtre.

Résultats expérimentaux
La méthode a été évaluée sur Safe-Control-Gym (CartPole, Quadrotor 2D) et Safety Gymnasium (Walker, HalfCheetah).

Tâches de faible dimension (CartPole & Quadrotor) : Sur la stabilisation et le suivi de CartPole, Robust Koopman-CBF SAC a atteint zéro violation de contrainte sur toutes les graines tout en égalant ou dépassant les retours du SAC non contraint. Sur le suivi de Quadrotor 2D, il a réduit les violations de 96,8 % (de 12,5 % à 0,4 %). Ces succès ont été attribués à de petites marges de résidu projeté ( $\rho \approx 10^{-3}$ ) et à une gestion correcte du degré relatif (utilisation de barrières composites pour le Quadrotor).
Locomotion de haute dimension (Walker & HalfCheetah) : Les résultats ont été mitigés, révélant des limitations structurelles. Sur Walker, les violations ont été réduites de 77,8 % à 37,0 %, mais la méthode a été surpassée par SAC+Lagrangien (3,34 % de violations). Sur HalfCheetah, les violations sont restées élevées (82,8 %) avec une pénalité de performance sévère (-70 % de retour).
Analyse des échecs : Dans les tâches de haute dimension riches en contacts, la marge de résidu projeté $\rho$ était grande (0,698 pour Walker, 1,782 pour HalfCheetah). Cette grande erreur a fait que la contrainte CBF robuste soit soit trivialement satisfaite (lorsque l'agent était déjà en situation d'insécurité), soit non réalisable sous les limites des actionneurs, rendant le filtre inefficace. Les auteurs identifient que les modèles EDMD linéaires ne peuvent pas capturer les transitions de vitesse non lisses causées par le contact avec le sol.

Signification et affirmations
L'article affirme que les filtres Robust Koopman-CBF offrent un pont prometteur entre le RL sans modèle et une sécurité certifiable, en particulier pour les tâches où le modèle relevé et la barrière s'alignent bien avec la structure du système. La signification principale réside dans la capacité diagnostique de la marge de résidu projeté $\rho$ : c'est une métrique pré-entraînement qui prédit si un filtre Koopman-CBF sera efficace.

Les auteurs sont modestes concernant l'universalité de la méthode, affirmant explicitement que l'approche présente des limitations structurelles dans les environnements riches en contacts et de haute dimension où les approximations linéaires du premier ordre échouent. Ils précisent que si la méthode offre une sécurité point par point lorsque $\rho$ est petit et que le QP est réalisable, elle ne garantit pas la sécurité lorsque l'erreur résiduelle domine la marge de la barrière ou lorsque le degré relatif de la barrière est inadapté. Ce travail souligne la nécessité d'extensions Koopman d'ordre supérieur ou multi-étapes pour résoudre ces limitations dans les tâches de locomotion complexes.