Safe Online Learning via Smooth Safety-Structured Policy Composition

Résumé Technique : Apprentissage en Ligne Sécurisé via une Composition de Politiques à Structure de Sécurité Lisse

Énoncé du Problème

L'apprentissage par renforcement (RL) en ligne sécurisé est confronté à un compromis fondamental entre le maintien de contraintes de sécurité strictes et la garantie d'une dynamique d'optimisation de politique lisse et stable. Les approches existantes se divisent généralement en deux catégories, chacune présentant des limitations significatives :

1. Contraintes de Sécurité Douces (Soft Safety Constraints) : Les méthodes telles que l'optimisation de politique contrainte ou le façonnage de récompense sensible à la sécurité traitent la sécurité comme une contrainte douce. Bien que cela préserve la propagation fluide des gradients et la dynamique d'apprentissage, cela suppose implicitement que les agents peuvent apprendre des violations de sécurité, ce qui est inacceptable dans les applications critiques pour la sécurité.
2. Filtres de Sécurité Rigides (Hard Safety Filters) : Les approches utilisant des filtres de sécurité (par exemple, le remplacement d'action ou la projection) imposent des contraintes strictes en intervenant lorsqu'un risque est détecté. Bien qu'elles fournissent des garanties formelles solides, elles introduisent souvent des discontinuités dans l'interaction avec le système. Plus précisément, le passage abrupt entre une politique apprise et une politique de repli sûre perturbe le flux de gradient, déstabilise l'apprentissage en ligne et crée une ambiguïté dans l'estimation de la valeur en raison de mappages de type "plusieurs-vers-un". De plus, de nombreux filtres de sécurité différentiables reposent sur une optimisation en ligne coûteuse, ce qui limite leur extensibilité aux systèmes de haute dimension.

Méthodologie : AutoSafe

Les auteurs proposent AutoSafe, une architecture de politique sensible à la sécurité qui intègre la surveillance et l'intervention de sécurité directement dans le processus de génération d'actions. Plut lieu de traiter la sécurité comme une étape de post-traitement externe, AutoSafe structure la politique exécutable comme une composition convexe différentiable d'une politique d'apprentissage pilotée par la performance et d'un a priori de politique sûre certifiée.

Mécanismes Fondamentaux

1. Composition de Politiques Différentiables :
   À chaque pas de temps $t$, l'action exécutée $\tilde{a}_t$ est synthétisée par interpolation entre l'action stochastique $a_\theta$ proposée par la politique d'apprentissage $\pi_\theta$ et une action sûre déterministe $a_{safe}$ fournie par un a priori de sécurité $\pi_{safe}$ :
   $$\tilde{a}_t = (1 - \lambda(s_t)) a_\theta + \lambda(s_t) a_{safe}$$
   où $\lambda(s_t) \in [0, 1]$ est un poids de mélange dépendant de l'état. Cette combinaison convexe garantit que si l'espace d'action est convexe, l'action résultante reste valide. Crucialement, cette formulation est entièrement différentiable par rapport à $\lambda$, permettant aux signaux d'apprentissage de se propager en retour à travers le mécanisme de sécurité.

2. Façonnage de la Distribution et Contrôle de la Variance :
   Pour les politiques gaussiennes, cette composition couple naturellement la sécurité avec la réduction de l'incertitude. À mesure que le poids d'intervention $\lambda$ augmente (indiquant un risque plus élevé), la moyenne de la politique exécutée se déplace vers l'a priori sûr, et la variance est amortie de manière quadratique par un facteur de $(1-\lambda)^2$. Cela restreint efficacement l'exploration stochastique à mesure que l'agent approche des limites de sécurité, empêvant les violations accidentelles.

3. Intervention Apprenable Calibrée sur le Risque :
   Le poids de mélange $\lambda(s)$ est déterminé par une fonction apprenable et sensible au risque. Le système utilise un moniteur de sécurité pour fournir une marge de sécurité normalisée $\tilde{\Delta}(s) \in [0, 1]$. Le poids d'intervention est défini par :
   $$\lambda(\tilde{\Delta}(s), p(s)) = \frac{\exp(p(s)(1 - \tilde{\Delta}(s))) - 1}{\exp(p(s)) - 1}$$
   Ici, $p(s)$ est un paramètre de netteté (sharpness) apprenable prédit par une petite tête de réseau de neurones. Cela permet à l'agent de contrôler de manière adaptative le conservatisme de l'intervention :

   • Petit $p$ : Induit une intervention plus précoce et plus lisse.
   • Grand $p$ : Retarde l'intervention jusqu'à ce que l'on soit plus proche de la limite, préservant l'autonomie pour la performance.
   • Comportement à la Limite : Si la marge de sécurité tombe à zéro (violation imminente), $\lambda$ est forcé à 1, exécutant pleinement l'action sûre certifiée.

Principales Contributions

1. Biais Inductif Structurel : Les auteurs proposent une architecture de politique qui intègre la surveillance et l'intervention de sécurité comme des biais inductifs structurels au sein du processus de génération d'actions, permettant une génération d'actions lisse et un apprentissage en ligne stable.
2. Aperçus Théoriques : L'article fournit une analyse théorique montrant que la composition convexe préserve le flux de gradient et réduit naturellement la variance de l'exploration près des limites de sécurité, stabilisant ainsi la dynamique d'apprentissage.
3. Évaluation Empirique : AutoSafe est évalué par rapport à des filtres de sécurité représentatifs (SimplexRL, CBF) et des bases de RL sécurisé (AdaLam, Residual, Constrained RL) à travers quatre tâches de contrôle continu simulées (CartPole, Régulation du Glucose, Quadrotor 3D, Navigation de Quadrupède).
4. Validation en Monde Réel : La méthode est validée sur un système physique CartPole déployé sur un appareil embarqué (Raspberry Pi), démontrant une efficacité pratique pour l'apprentissage en ligne sécurisé à 50 Hz.

Résultats

• Sécurité et Performance : Sur tous les benchmarks simulés, AutoSafe a atteint zéro violation de sécurité tout en maintenant ou en surpassant les méthodes de l'état de l'art en termes de rendement de tâche (par exemple, atteignant un rendement d'environ 477,7 sur CartPole avec 0 violation contre 74,4 violations pour SAC).
• Stabilité : Contrairement aux bases d'intervention rigide (ex. SimplexRL), qui ont montré des dynamiques d'apprentissage instables et des pertes de critique divergentes dans des tâches de haute dimension ou de conflit élevé, AutoSafe a maintenu des courbes d'apprentissage stables. La transition fluide entre les régimes a empêché les problèmes de "décalage de distribution" courants dans le basculement rigide.
• Adaptabilité : Le paramètre de netteté apprenable $p$ s'est adapté avec succès aux différentes dynamiques de tâches. Par exemple, dans la tâche du Quadrotor, l'agent a appris à moins dépendre de l'a priori sûr (p élevé) à mesure qu'il maîtrisait la tâche, tandis que dans des scénarios plus complexes ou conflictuels, il maintenait un profil plus conservateur.
• Efficacité : AutoSafe a démontré une efficacité de calcul comparable à celle de SAC vanilla et une inférence nettement plus rapide que les méthodes basées sur l'optimisation comme CBF, qui nécessitent de résoudre des programmes quadratiques en ligne.

Signification et Revendications

L'article affirme qu'AutoSafe résout le compromis fondamental entre l'optimisation de politique lisse et l'application de la sécurité stricte. En intégrant la sécurité comme un composant structurel plutôt que comme un filtre externe, le cadre permet des interventions de précaution qui surviennent avant que le système n'atteigne la limite de sécurité, plutôt que de compter sur un basculement de dernière minute.

Les auteurs soulignent que cette approche permet aux agents d'apprendre des comportements sûrs "naturels" : agir de manière conservatrice dans les zones à haut risque tout en relâchant progressivement les contraintes à mesure que le risque diminue. Le déploiement réussi sur un robot physique souligne la viabilité de la méthode pour les applications réelles critiques pour la sécurité, où l'efficacité de calcul et l'apprentissage continu sont primordiaux. Ce travail suggère que traiter la sécurité comme un biais structurel différentiable et apprenable est une voie plus robuste pour l'apprentissage par renforcement en ligne sécurisé que les filtres de basculement rigide traditionnels ou les formulations de contraintes douces.