Résumé technique : Exploitation des gradients analytiques dans l'apprentissage par renforcement sûre de manière prouvée

Énoncé du problème

Le déploiement de robots autonomes dans des applications critiques pour la sécurité exige des garanties de sécurité rigoureuses. Bien que l'apprentissage par renforcement (RL) surpasse souvent le contrôle classique dans des environnements incertains et de haute dimension, il manque de garanties de sécurité inhérentes. Un défi critique surgit lors de l'entraînement d'agents en simulation pour un déploiement dans le monde réel (le « fossé sim-to-real »). Si l'entraînement se déroule sans mesures de protection, l'agent peut converger vers des politiques reposant sur des états ou des actions dangereux. Lorsqu'une mesure de protection est ensuite appliquée lors du déploiement, elle peut restreindre la politique à des régions sous-optimales ou provoquer un échec dans des paysages d'objectifs non convexes, car l'agent n'a jamais appris de solutions sûres alternatives.

Bien que plusieurs approches de protection existent pour le RL basé sur l'échantillonnage (par exemple, PPO, SAC), qui reposent sur des théorèmes de gradient de politique, il existe un manque de mécanismes de protection pour le RL basé sur des gradients analytiques. Ces méthodes analytiques (par exemple, Short-Horizon Actor-Critic, SHAC) utilisent des simulateurs différentiables pour calculer les gradients exacts d'ordre un de la récompense par rapport aux actions via la rétropropagation. Les protections existantes, souvent conçues comme des étapes de post-traitement pour les méthodes basées sur l'échantillonnage, ne peuvent pas être appliquées naïvement aux paradigmes basés sur des gradients analytiques, car elles peuvent perturber le graphe de calcul différentiable requis pour la rétropropagation ou échouer à fournir les signaux de gradient nécessaires à l'optimisation de la politique.

Méthodologie

Les auteurs proposent un cadre pour l'optimisation de politique sûre de manière prouvée utilisant des gradients analytiques. L'approche centrale intègre une couche de protection différentiable entre la sortie de la politique et la dynamique de l'environnement.

1. Cadre et différentiabilité

Le cadre traite la protection comme une application différentiable $g: \mathcal{A} \to \mathcal{A}_s$, où $\mathcal{A}$ est l'espace d'actions réalisable et $\mathcal{A}_s$ est l'ensemble d'actions sûres. La politique $\pi$ produit une action $a_i$, qui est transformée en une action sûre $a_{s,i} = g(a_i)$. L'environnement transite ensuite vers $s_{i+1}$ et génère une récompense $r_i$. Pour entraîner la politique, le gradient de la récompense par rapport aux paramètres de la politique est calculé par rétropropagation à travers toute la chaîne, y compris la protection :
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
Cela exige que la protection soit sous-différentiable (idéalement $C^1$) et qu'elle fournisse des jacobiens de rang plein pour éviter d'atténuer le signal d'apprentissage.

2. Ensembles d'actions sûres et représentation

Les auteurs utilisent des zonotopes pour représenter les ensembles sûrs en raison de leur compacité et de leur fermeture sous les applications linéaires. Ils distinguent :

• Ensembles d'actions sûres spécifiés : Contraintes définies directement.
• Ensembles d'actions sûres dérivés : Calculés via une analyse de faisabilité (par exemple, ensembles invariants de contrôle robustes) pour garantir que l'exécution d'une action maintient le système dans un ensemble d'états sûrs $S_s$.

3. Mécanismes de protection et modifications

L'article analyse et adapte deux méthodes de protection différentiable existantes :

• Projection sur la frontière (BP) : Mappe une action non sûre au point le plus proche sur la frontière de l'ensemble sûr.

  • Problème : Elle n'est pas $C^1$ partout et possède des jacobiens de rang déficient dans la direction de la projection, éliminant effectivement les gradients pour les actions parallèles à la direction de projection.
  • Modification : Les auteurs introduisent un terme de régularisation dans la fonction de perte ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). Cela augmente le gradient dans la direction de la mapping, compensant la déficience de rang et encourageant la politique à préférer les actions sûres.

• Masque de rayon (RM) : Mappe les actions radialement vers un « centre sûr » $c_{As}$ à l'intérieur de l'ensemble sûr.

  • Problème : Le masque de rayon linéaire standard altère significativement les actions sûres et présente des gradients atténués dans la direction de la mapping.
  • Modifications :
    1. Régularisation : Similaire à BP, pour inciter vers la sécurité.
    2. Pass-through : Remplacement du jacobien par une matrice identité pour un calcul plus rapide et une propagation de gradient sans entrave (valable uniquement si l'action optimale est connue pour être sûre).
    3. Masque de rayon hyperbolique (HRM) : Une nouvelle fonction de mapping utilisant une tangente hyperbolique ($\tanh$) pour mapper les actions non sûres proches de la frontière tout en perturbant minimalement les actions sûres. Cela maintient un jacobien plein et une mapping lisse.

4. Approximation du centre sûr

Pour les ensembles d'actions sûres dérivés où le centre n'est pas explicitement défini, l'article propose deux méthodes d'approximation :

• Approximation zonotopique : Maximisation du volume d'un zonotope contenu.
• Approximation orthogonale : Percer l'ensemble sûr orthogonalement à la frontière et prendre le point médian.
  Les expériences suggèrent que l'approche zonotopique produit une convergence et des politiques finales supérieures en raison de ses propriétés de mapping continu.

Contributions clés

1. Premier RL à gradient analytique sûre de manière prouvée : L'article présente la première approche de protection efficace spécifiquement conçue pour l'apprentissage par renforcement basé sur des gradients analytiques.
2. Analyse théorique : Une analyse approfondie des protections différentiables, identifiant les propriétés requises (sécurité, sous-différentiabilité, jacobiens de rang plein, intervention minimale, rapidité) et démontrant comment les méthodes existantes échouent à les respecter sans modification.
3. Adaptations algorithmiques : Le développement de modifications ciblées, incluant des fonctions de perte régularisées pour la projection sur la frontière et un nouveau masque de rayon hyperbolique, pour assurer une propagation de gradient efficace.
4. Évaluation empirique : Une évaluation complète sur trois tâches de contrôle (pendule, quadrotor et gestion de l'énergie) comparant les méthodes à gradient analytique (SHAC) aux bases de comparaison basées sur l'échantillonnage (PPO, SAC) dans des conditions d'entraînement non sûres et protégées.

Résultats

Les auteurs ont évalué leur approche en utilisant l'algorithme SHAC contre les bases de comparaison PPO et SAC sur trois environnements :

• Efficacité d'échantillonnage : Dans les tâches d'équilibrage (pendule, quadrotor), l'apprentissage par gradient analytique protégé (SHAC) a obtenu des retours finaux supérieurs ou comparables avec moins d'interactions avec l'environnement que les méthodes basées sur l'échantillonnage.
• Préservation des performances : Contrairement à la crainte que les protections dégradent les performances, les protections modifiées (spécifiquement BP régularisée et HRM) ont permis à SHAC d'atteindre des retours équivalents, voire supérieurs, à l'entraînement non sûr dans les tâches d'équilibrage.
• Tâche de système énergétique : Dans la tâche de gestion de l'énergie (caractérisée par un bruit élevé), SHAC a initialement sous-performé par rapport à PPO dans des conditions non sûres. Cependant, dans l'entraînement protégé, SHAC a montré une amélioration significative, réduisant l'écart de performance avec PPO. Les auteurs attribuent cela à l'effet stabilisateur des gradients atténués dans des environnements bruyants.
• Convergence : L'introduction de la régularisation a considérablement réduit le nombre de runs non convergents, en particulier pour la projection sur la frontière dans la tâche de pendule unidimensionnelle où la perte de gradient était auparavant fatale.
• Surcharge computationnelle : La protection introduit des coûts computationnels. La projection sur la frontière a augmenté le temps d'entraînement d'environ 5 fois, et le Masque de Rayon de près de 10 fois par rapport à l'entraînement non sûr, principalement en raison des solveurs d'optimisation (CVXPY) requis pour les contraintes d'ensemble sûr.

Signification et affirmations

L'article prétend combler un fossé critique dans l'apprentissage par renforcement sûr en permettant un entraînement sûre de manière prouvée pour le paradigme haute performance basé sur des gradients analytiques. Les auteurs affirment que :

• Les protections peuvent être intégrées directement dans la boucle d'entraînement du RL à gradient analytique sans compromettre les performances, à condition que les protections soient différentiables et que les gradients soient préservés.
• Les modifications proposées (régularisation et mapping hyperbolique) sont essentielles pour surmonter les problèmes de déficience de rang et de suppression de gradient inhérents aux applications naïves des protections existantes.
• Cette approche facilite le transfert « sim-to-real » en garantissant que les agents apprennent des comportements sûrs pendant la simulation, réduisant ainsi le risque d'échec lors du déploiement dans des scénarios réels critiques pour la sécurité.

L'ouvrage conclut que bien que la surcharge computationnelle reste un défi, le compromis est justifié par la capacité à entraîner des agents avec des garanties de sécurité formelles, débloquant ainsi le potentiel du RL à gradient analytique pour la robotique critique pour la sécurité.