CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

Résumé Technique : CAPSULE

1. Problématique (Le Problème)

L'apprentissage par renforcement (RL) classique est intrinsèquement risqué car l'agent apprend par essais et erreurs, ce qui peut mener à des comportements dangereux dans des environnements critiques (ex: conduite autonome).

Les méthodes actuelles de Safe RL (RL sécurisé) présentent deux limites majeures :

• Sécurité en espérance : La plupart des méthodes cherchent à maximiser la récompense tout en respectant des contraintes de coût en moyenne. Cela signifie qu'un agent peut encore commettre des violations de sécurité graves tant que celles-ci sont rares statistiquement.
• Limites des approches de contrôle : Les méthodes basées sur la théorie du contrôle (comme les fonctions de barrière de contrôle - CBF) offrent des garanties de sécurité "dures" (strictes), mais elles supposent généralement que la dynamique du système est connue ou facile à modéliser, ce qui est rarement le cas dans des systèmes complexes et non linéaires de haute dimension.

2. Méthodologie (L'Approche CAPSULE)

Les auteurs proposent CAPSULE, un cadre qui combine l'apprentissage hors ligne (offline) et le contrôle en ligne pour garantir la sécurité malgré l'incertitude du modèle. La méthode repose sur trois piliers :

A. Modélisation de la dynamique par ensemble probabiliste (Offline) :
Au lieu d'apprendre la dynamique en ligne (ce qui est instable), CAPSULE utilise une phase de pré-entraînement hors ligne sur un jeu de données existant.

• Ils apprennent un modèle de dynamique de type control-affine : $\Delta s_t = \hat{f}(s_t) + \hat{g}(s_t)a_t$. Cette structure est cruciale car elle permet d'utiliser des outils de contrôle mathématique.
• Ils utilisent un ensemble de modèles probabilistes pour capturer deux types d'incertitudes : l'incertitude aléatoire (aleatoric) et l'incertitude épistémique (liée au manque de données).

B. Construction de barrières de sécurité (CBF) avec prise en compte de l'incertitude :
Pour garantir la sécurité, les auteurs utilisent des Control Barrier Functions (CBF).

• L'innovation réside dans l'intégration de l'incertitude : au lieu de prédire simplement l'état suivant, ils utilisent un intervalle de confiance ($p_\delta \sigma_\theta$) pour créer une marge de sécurité conservatrice.
• Si le modèle est incertain, la barrière de sécurité devient plus stricte pour éviter de franchir le seuil de danger.
• Ils introduisent une variable de relaxation ($\epsilon$) pour permettre une dégradation contrôlée de la sécurité (ensemble $\epsilon$-safe) si aucune action parfaitement sûre n'est disponible, évitant ainsi un blocage total du système.

C. Optimisation de la politique en ligne (Online) :
Pendant l'interaction avec l'environnement, l'action finale exécutée est une combinaison de trois composantes :

1. $a_{RL}$ : L'action proposée par la politique d'apprentissage (ex: TRPO).
2. $a_{bar}$ : Un terme de compensation qui apprend l'historique des corrections de sécurité pour réduire la dépendance au contrôleur strict.
3. $a_{CBF}$ : Une correction en temps réel résolue via un programme quadratique (QP) pour garantir que l'action reste dans l'ensemble sécurisé.

3. Contributions Clés

• Modèle de dynamique robuste : Un ensemble de modèles control-affine entraîné hors ligne qui est scalable aux environnements de haute dimension.
• Mécanisme de correction hybride : Un couplage entre l'apprentissage par renforcement et un filtre de sécurité basé sur les CBF, permettant une sécurité "dure" sans sacrifier la performance de la tâche.
• Gestion de l'incertitude : Une approche qui utilise l'incertitude du modèle pour ajuster dynamiquement les marges de sécurité.

4. Résultats Expérimentaux

Les tests ont été effectués sur des environnements complexes de la suite MuJoCo (Safety Gymnasium) : Hopper, Walker et HalfCheetah.

• Réduction des violations : CAPSULE surpasse significativement les méthodes de Safe RL classiques (comme TRPO-Lag, PPO-Lag et FOCOPS) en réduisant drastiquement le nombre de violations de sécurité.
• Performance de la tâche : Contrairement aux méthodes qui privilégient la sécurité au détriment de l'objectif, CAPSULE maintient des récompenses comparables aux méthodes non sécurisées tout en restant dans les limites de sécurité.
• Précision du modèle : Les résultats montrent que le modèle control-affine pré-entraîné est aussi précis qu'un modèle non linéaire généraliste, validant ainsi l'efficacité de la structure choisie.

5. Signification et Impact

L'importance de ce travail réside dans sa capacité à combler le fossé entre la théorie du contrôle robuste (qui garantit la sécurité mais nécessite des modèles parfaits) et le Reinforcement Learning (qui est puissant mais imprévisible). CAPSULE offre une voie crédible pour le déploiement de l'IA dans des systèmes physiques réels où une seule erreur de trajectoire peut avoir des conséquences catastrophiques.