Sampling-Based Safe Reinforcement Learning

Problème
L'exploration sûre demeure un obstacle fondamental au déploiement d'agents d'apprentissage par renforcement (RL) dans le monde réel. Les algorithmes RL standards nécessitent souvent une interaction extensive avec l'environnement, ce qui est peu pratique ou coûteux dans les systèmes physiques. Plus critique encore, garantir la sécurité pendant le processus d'entraînement est difficile en raison de l'incertitude épistémique concernant la dynamique du système ; chaque interaction est intrinsèquement exploratoire et comporte un risque d'échec catastrophique. Bien que les processus de décision de Markov contraints (CMDP) fournissent un cadre pour la sécurité, les approches basées sur un modèle existantes reposent souvent sur une optimisation du pire cas sur des dynamiques incertaines, ce qui est généralement intraitable. De plus, les méthodes qui approximent cela par un durcissement heuristique des contraintes introduisent souvent un conservatisme excessif, tandis que celles utilisant des bonus d'exploration nécessitent un réglage minutieux et peuvent conduire à une sur-exploration ou à une exploitation prématurée.

Méthodologie
Les auteurs proposent l'Apprentissage par Renforcement Sûr Basé sur l'Échantillonnage (SBSRL), un algorithme basé sur un modèle conçu pour une exploration sûre et efficace en échantillons dans des espaces d'état-action continus. La méthodologie centrale implique trois composants clés :

1. Application de contraintes basée sur l'échantillonnage : Au lieu de résoudre un problème d'optimisation du pire cas intraitable sur un ensemble de modèles de dynamiques plausibles, SBSRL maintient un ensemble fini de $M$ échantillons de dynamiques tirés d'un modèle appris conscient de l'incertitude (spécifiquement des processus gaussiens dans l'analyse théorique). La sécurité est assurée en satisfaisant conjointement les contraintes sur l'ensemble des $M$ dynamiques échantillonnées. Cela approxime le problème d'optimisation robuste, garantissant que si les contraintes sont respectées pour les échantillons, elles le sont pour la dynamique réelle du système avec une forte probabilité.
2. Exploration via des contraintes d'incertitude épistémique : Plutôt que d'ajouter des bonus d'exploration explicites à la fonction de récompense, SBSRL formule l'exploration comme une contrainte. L'agent est tenu de collecter suffisamment d'informations (mesurées par l'incertitude épistémique accumulée) le long de ses trajectoires. Cette contrainte n'est active que lorsque la politique gourmande n'est pas suffisamment informative, permettant à l'agent de rester gourmand lorsque les exigences de sécurité et d'information sont satisfaites.
3. Troncature et durcissement : Pour gérer l'écart entre les échantillons a priori et la dynamique réelle, l'algorithme tronque les échantillons pour qu'ils se situent dans l'intersection des ensembles de confiance précédents des processus gaussiens. De plus, les contraintes sont durcies par une constante $\Delta_\zeta$ dépendant de la proximité des échantillons par rapport à la dynamique réelle, assurant ainsi des garanties de sécurité.

L'algorithme itère à travers des épisodes, mettant à jour le modèle de dynamique avec les données collectées, tronquant les échantillons et résolvant pour une politique qui maximise la récompense sous réserve des contraintes de sécurité sur tous les échantillons et de la contrainte d'exploration.

Contributions clés

• Proposition d'algorithme : L'introduction de SBSRL, un nouvel algorithme de RL basé sur un modèle qui assure la sécurité via un ensemble fini d'échantillons de dynamiques et favorise l'exploration grâce à une contrainte sur l'incertitude épistémique, éliminant ainsi le besoin de bonus d'exploration explicites.
• Garanties théoriques : Sous des conditions de régularité (incluant un bruit gaussien et des normes RKHS bornées pour les dynamiques), les auteurs dérivent des garanties de haute probabilité que SBSRL satisfait les contraintes de sécurité tout au long du processus d'apprentissage. Ils fournissent également une borne de complexité d'échantillonnage en temps fini, prouvant que l'algorithme termine et récupère une politique quasi-optimale.
• Validation empirique : L'article valide SBSRL à la fois en simulation et sur du matériel robotique réel.
  • En simulation (utilisant des dynamiques de processus gaussiens), SBSRL réalise une exploration sûre et efficace sur des tâches comme le pendule et le retournement du chariot (Cartpole), surpassant des bases de référence comme ActSafe et les approches basées sur la dynamique moyenne.
  • Une variante évolutive basée sur un ensemble de réseaux de neurones est introduite et évaluée sur des problèmes de contrôle continu de haute dimension (SafetyGym, RWRL) et sur du matériel réel (une voiture radiocommandée). Cette variante étend avec succès les principes de SBSRL à des contextes d'apprentissage profond pratiques.

Résultats
Les résultats empiriques démontrent que SBSRL maintient la sécurité tout au long de l'entraînement tout en atteignant des performances quasi-optimales.

• Simulation : Sur les tâches de la Deepmind Control Suite, SBSRL évite les violations de sécurité observées dans les bases de référence à dynamique moyenne et converge plus rapidement que des stratégies d'exploration pure comme ActSafe.
• Matériel : Dans des expériences réelles avec une voiture radiocommandée à haute fréquence (60 Hz), SBSRL améliore avec succès les récompenses par rapport à une politique antérieure tout en maintenant la sécurité, tandis qu'une base de référence appliquant des contraintes uniquement sur le critique moyen engendre des coûts plus élevés (énergie cinétique perdue dans les collisions).
• Évolutivité : La variante à ensemble profond de SBSRL gère avec succès des espaces d'état de haute dimension (45 dimensions) et des dynamiques complexes où les méthodes de processus gaussiens seraient computationnellement prohibitives.

Signification
L'article prétend combler le fossé entre les garanties théoriques de sécurité et le déploiement pratique dans les domaines continus. En approximant l'optimisation du pire cas intraitable par une approche basée sur l'échantillonnage traitable, SBSRL fournit des garanties de sécurité rigoureuses sans le conservatisme excessif des méthodes précédentes. La formulation de l'exploration comme une contrainte plutôt que comme un bonus de récompense offre une stratégie plus robuste qui équilibre naturellement la collecte d'informations et la maximisation de la récompense. Le transfert réussi de ces principes, depuis des modèles théoriques de processus gaussiens jusqu'aux ensembles de réseaux de neurones profonds et au matériel réel, suggère que l'exploration sûre basée sur l'échantillonnage est une voie viable pour déployer des agents RL dans des systèmes physiques critiques pour la sécurité. Les auteurs notent que, bien que le travail actuel se concentre sur des contextes épisodiques à horizon fini, le cadre offre une fondation pour de futures extensions vers des contextes non épisodiques et des contraintes de sécurité par état.