Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Résumé Technique : Approximation des Retours de Sécurité Sans Oracle de Sécurité via le Contrôle Prédictif de Modèle

Énoncé du Problème
La prise de décision sûre pour les robots mobiles repose souvent sur l'existence d'un « oracle de sécurité » — un mécanisme permettant de vérifier si les actions proposées violent les contraintes de sécurité. Les méthodes actuelles, telles que les Fonctions de Barrière de Contrôle, les Tubes de Réachabilité Inverse et les discriminateurs d'Apprentissage par Renforcement Sûr (Safe RL), nécessitent généralement une connaissance préalable de contraintes de sécurité explicites ou un accès à des étiquettes de sécurité de vérité terrain durant l'entraînement. Cependant, dans des environnements complexes (par exemple, la navigation à grande vitesse sur un terrain accidenté ou la manipulation robotique dans des cellules de travail ouvertes), les contraintes de sécurité sont souvent implicites, difficiles à modéliser mathématiquement ou incomplètement comprises. Bien que les simulateurs puissent modéliser des dynamiques complexes, ils ne fournissent pas intrinsèquement une fonction de sécurité. Les approches existantes tentant d'apprendre des proxies de sécurité (par exemple, via des Processus Gaussiens ou des discriminateurs d'apprentissage profond) nécessitent souvent une vérité terrain observable pour l'étiquetage ou font de fortes hypothèses sur la régularité de la fonction de sécurité, limitant ainsi leur applicabilité dans le monde réel. De plus, de nombreuses méthodes d'exploration réversible continuent de risquer de prendre des actions dangereuses durant le processus d'apprentissage.

Méthodologie : SAVMPC
L'article propose SAVMPC (Safety Assessment Via Model-Predictive Control), un algorithme de filtrage conçu pour approximer les retours de sécurité sans accès direct à un oracle de sécurité ni à des contraintes conçues à la main. La méthode opère sous deux hypothèses principales :

1. Invariance Positive des États Dangereux : L'espace d'états dangereux ($X_{unsafe}$) est positivement invariant, ce qui signifie qu'une fois qu'un agent entre dans un état dangereux, il ne peut pas revenir à un état sûr.
2. La Réversibilité comme Proxy : Si un agent peut transitionner d'un état courant $x$ vers un état futur $x'$ et ensuite trouver une séquence d'actions pour revenir de $x'$ vers $x$, alors $x$ et $x'$ appartiennent au même ensemble. Étant donné l'invariance positive de $X_{unsafe}$, si un chemin de retour vers un état sûr connu existe, les états intermédiaires sont également sûrs.

Flux de Travail Algorithmique :
SAVMPC fonctionne comme un bouclier lors de la sélection d'actions :

1. Proposition d'Action : La politique de contrôle $\pi$ propose une action $u$ à l'état $x$.
2. Projection Vers l'Avant : L'action est projetée vers l'avant en utilisant un simulateur (dynamiques boîte noire $f_{dyn}$) vers un état candidat suivant $x'$.
3. Vérification de Réversibilité : L'algorithme utilise le contrôleur MPPI (Model-Predictive Path Integral) pour tenter de trouver une séquence d'actions permettant de faire transitionner l'agent de $x'$ vers l'état original $x$ (ou un état précédent dans la trajectoire).
   • Ceci est formulé comme un problème de faisabilité : trouver une séquence de commandes $u_0, \dots, u_{T-1}$ telle que la trajectoire résultante atteigne $x$ dans une tolérance $\delta$ sur un horizon temporel $T$.
4. Décision :
   • Si MPPI trouve un chemin de retour valide, l'action $u$ est jugée sûre et exécutée.
   • Si aucun chemin de retour n'est trouvé dans la limite d'échantillonnage, l'action est rejetée et la politique rééchantillonne. Si le rééchantillonnage échoue après $N$ tentatives, la trajectoire est abandonnée et l'environnement est réinitialisé.

Cette approche permet au système de vérifier la sécurité en s'assurant qu'aucune action ne conduit à une « impasse » d'où l'agent ne peut pas revenir vers une région sûre connue.

Contributions Clés

1. Algorithme SAVMPC : Un algorithme de filtrage novateur qui permet la sélection d'actions sûres en planifiant vers l'arrière vers des états sûrs connus en utilisant la réversibilité, éliminant ainsi le besoin de contraintes construites à la main ou d'étiquettes de sécurité de vérité terrain.
2. Estimation Conservatrice des Contraintes : Une extension de l'algorithme de planification par réversibilité qui calcule explicitement une estimation conservatrice des contraintes environnementales inconnues.
3. Validation Empirique : Évaluation de SAVMPC en tant que bouclier lors de l'entraînement par Apprentissage par Renforcement (RL), démontrant des performances comparables aux boucliers basés sur un oracle de vérité, tout en surpassant d'autres approches basées sur la réversibilité (RAC, LNT) en termes de garanties de sécurité.

Résultats Expérimentaux
Les auteurs ont évalué SAVMPC dans deux environnements : Continuous Cartpole et Navigation Bidimensionnelle.

• Étude de Désaccord : Dans une simulation avec 300 000 trajectoires, SAVMPC a été comparé à un oracle de sécurité de vérité terrain. Les résultats ont montré que SAVMPC produit zéro faux négatifs (il ne classe jamais un état dangereux comme sûr). Les désaccords se sont principalement produits près des limites des contraintes, où l'algorithme était plus conservateur (sur-approximant la région dangereuse) lors de l'utilisation de tolérances de sécurité plus strictes ($\delta$).
• Performance d'Entraînement RL :
  • Continuous Cartpole : SAVMPC a obtenu une récompense finale comparable à l'algorithme PPO équipé d'un véritable bouclier Oracle de Sécurité et significativement supérieure au PPO de base, RAC et Leave No Trace (LNT). Crucialement, SAVMPC a maintenu 0,0 % de violations de contraintes, tandis que les méthodes de base et autres méthodes réversibles ont subi des violations importantes (jusqu'à 77,3 %).
  • Navigation 2D : SAVMPC a surpassé le bouclier Oracle de Sécurité en récompense finale (842,74 contre 782,23) tout en maintenant 0,0 % de violations de contraintes. Il a convergé plus rapidement que les autres méthodes, attribué à son approximation conservatrice réduisant efficacement l'espace d'exploration.
  • Comparaison : Contrairement à RAC et LNT, qui ont appris des approximations de sécurité au fil du temps et ont tout de même subi des violations, SAVMPC a imposé la sécurité dès la première étape sans informations privilégiées.

Signification et Revendications
L'article revendique que SAVMPC offre une solution pratique pour la prise de décision sûre dans des environnements où les contraintes de sécurité sont complexes ou inconnues. En exploitant l'hypothèse d'invariance positive et la puissance de calcul du MPPI au sein d'un simulateur, la méthode approxime les performances d'un oracle de sécurité sans nécessiter d'étiquettes de vérité terrain. Les auteurs soulignent que l'algorithme garantit qu'un agent prend zéro action dangereuse dans l'environnement sous-jacent, comblant efficacement le fossé entre les garanties de sécurité théoriques et les limitations pratiques de la modélisation de contraintes physiques complexes. Ce travail suggère que la réversibilité peut servir de proxy robuste et sans données pour la sécurité dans des scénarios où la modélisation traditionnelle des contraintes est irréalisable.