Résumé technique : S.S. Explorer (Safe Stochastic Explorer)

Énoncé du problème

Les robots autonomes opérant dans des environnements non structurés et critiques pour la sécurité (par exemple, l'exploration planétaire, les entrepôts, les habitations) doivent naviguer et interagir avec leur environnement où la dynamique du système et les caractéristiques de sécurité ne sont pas pleinement connues. Les méthodes de contrôle sécurisé existantes, telles que la réachabilité de Hamilton-Jacobi (HJR) et les fonctions de barrière de contrôle (CBF), supposent généralement des dynamiques de système connues. À l'inverse, les techniques d'exploration sécurisée existantes échouent souvent à prendre en compte la stochasticité inévitable inhérente aux interactions du monde réel, comme un rover qui dérape sur un terrain inconnu ou un robot qui pousse des objets non cartographiés.

Le problème central abordé est l'exploration sécurisée et orientée vers un objectif dans des environnements inconnus sous une dynamique stochastique. Le robot doit équilibrer deux objectifs concurrents :

1. Exploration : Recueillir des informations pour réduire l'incertitude concernant les propriétés de sécurité de l'environnement.
2. Sécurité : Garantir avec une grande confiance que le robot reste dans un ensemble sûr tout au long de son fonctionnement, malgré des transitions d'état stochastiques.

Le document définit la fonction de sécurité $q(x)$ comme étant inconnue, où un état est considéré comme non sûr si $q(x) > q_T$. L'agent opère sous un modèle de transition stochastique $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ et vise à atteindre un objectif maximisant une fonction de performance $f(x)$ sans violer les contraintes de sécurité.

Méthodologie

Les auteurs proposent le S.S. Explorer (Safe Stochastic Explorer), un cadre qui utilise des Processus Gaussiens (GP) pour apprendre la fonction de sécurité inconnue en ligne. La méthode tire parti de l'incertitude prédictive des GP pour guider les actions de collecte d'informations tout en fournissant des limites probabilistes sur les violations de sécurité. Le cadre est présenté sous trois variantes :

1. Formulation en espace d'états discrets

Pour les espaces d'états finis et discrets, la méthode modélise le mouvement de l'agent comme une chaîne de Markov. Elle définit des états « complètement sûrs » via trois critères itératifs :

• Sécurité immédiate : Le coût de sécurité de l'état est inférieur au seuil avec une haute probabilité.
• Retour stochastique sûr : Il existe une trajectoire garantie pour revenir à l'ensemble sûr initial sans sortir de l'ensemble des états immédiatement sûrs, assurant ainsi la faisabilité récursive.
• Arrivée stochastique sûre : L'agent peut effectuer une transition vers l'état à partir de l'ensemble sûr actuel tout en garantissant que l'ensemble de la distribution d'arrivée stochastique reste dans des limites sûres.

L'algorithme emploie des opérateurs d'expansion et de raffinement d'ensemble :

• Expansion de la sécurité immédiate ($\bar{I}$) : Utilise les bornes de confiance supérieure/inférieure des GP ($u_t(x), l_t(x)$) et des hypothèses de continuité de Lipschitz pour étendre l'ensemble des états considérés comme sûrs.
• Raffinement du retour stochastique sûr ($\bar{R}$) : Restreint de manière itérative l'ensemble sûr aux états à partir desquels l'agent peut revenir au noyau sûr malgré les déviations stochastiques.
• Raffinement de l'arrivée stochastique sûre ($\bar{m}$) : Garantit que la distribution des états atteignables en une étape à partir de l'ensemble sûr demeure sûre.

L'agent sélectionne des actions en identifiant des « candidats à l'expansion » — des états incertains mais pessimistement sûrs situés près de la frontière de l'ensemble sûr, qui fournissent des informations sur les régions cibles.

2. Formulation en espace d'états continus

Pour traiter la scalabilité dans les domaines continus, les auteurs introduisent une relaxation. Au lieu de suivre des ensembles complexes, ils utilisent des fonctions indicatrices dérivées des distributions postérieures des GP.

• Relaxation : La garantie stricte de « Retour stochastique sûr » est relaxée pour ne garantir que l'« Arrivée stochastique sûre » et la sécurité immédiate. Cela supprime la garantie d'achèvement de la tâche (éviter de rester bloqué) mais garantit la sécurité instantanée.
• Calcul analytique : Pour gérer l'arrivée stochastique d'une distribution de transition gaussienne $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$, la méthode utilise l'appariement de moments pour calculer analytiquement la distribution de la valeur de sécurité de l'état d'arrivée. Cela permet l'évaluation directe des indicateurs de sécurité sans échantillonnage.
• Sécurité du chemin : La continuité de Lipschitz est utilisée pour ajuster le seuil de sécurité ($q_T' = q_T - L \cdot d_{max}/2$) afin de garantir la sécurité le long de la trajectoire continue entre les étapes de planification discrètes.

3. Formulation centrée sur les objets

Le cadre est étendu aux scénarios impliquant l'interaction physique avec plusieurs objets inconnus (par exemple, pousser des articles sur une étagère).

• Représentation centrée sur l'objet : Pour gérer les objets en mouvement, la sécurité est modélisée dans l'espace d'état relatif du robot par rapport à chaque objet. Cela permet au GP de réutiliser les données d'interaction passées même lorsque les positions des objets changent.
• Sécurité multi-objets : La fonction de sécurité globale est définie comme le maximum du coût de sécurité à travers tous les objets. L'ensemble sûr global est calculé comme l'intersection des ensembles sûrs individuels de chaque objet.
• Implémentation : Dans le cas continu, cela est mis en œuvre en entraînant des GP distincts pour chaque objet et en agrégeant leurs bornes probabilistes les plus défavorables lors de la prédiction, évitant ainsi le coût computationnel de l'intersection explicite d'ensembles de haute dimension.

Contributions clés

1. Exploration sûre discrète : Une nouvelle méthode pour l'exploration sûre dans des espaces d'états discrets avec des transitions stochastiques, utilisant l'incertitude basée sur les GP pour borner les violations de sécurité et garantir un retour stochastique sûr.
2. Relaxation continue : Une relaxation scalable pour les espaces d'états continus qui conserve les garanties de sécurité (sécurité immédiate et arrivée sûre) tout en améliorant l'efficacité computationnelle pour les domaines réels, bien qu'avec une garantie relaxée sur l'achèvement de la tâche.
3. Interaction sûre avec les objets : Une extension pilotée par les applications démontrant comment le cadre assure une interaction physique sûre avec plusieurs objets inconnus en modélisant la sécurité dans des coordonnées relatives et en intersectant les ensembles sûrs.

Résultats expérimentaux

Les auteurs ont validé le S.S. Explorer via des simulations approfondies et des expériences matérielles :

• Robot terrestre (Discret) : Sur 80 essais dans 8 environnements à forte stochasticité ($p=0,35$ pour les mouvements prévus), le S.S. Explorer a atteint un taux de succès de 100 % avec 0 % de violations de sécurité. En revanche, une méthode de référence (qui ignorait la stochasticité) n'a obtenu que 35 % de succès et 65 % de taux de violation.
• Robot terrestre (Continu) : Sur 425 trajectoires, le S.S. Explorer a atteint un taux de succès de 70,35 % avec un taux de violation de 6,82 %, surpassant nettement la méthode de référence (41,8 % de succès, 49,8 % de violation). Une variante avec un étalage de $\beta$ dynamique (ajustant le conservatisme selon la progression) a atteint un taux de succès de 88,47 % avec un taux de violation de 9,88 %.
• Objet sûr (Simulation) : Dans 55 essais impliquant un bras robotique poussant des objets inconnus, la formulation stochastique a atteint jusqu'à 81,8 % de succès avec 0 % de violations (avec des réglages de variance spécifiques), tandis que la méthode de référence a échoué 50,9 % du temps.
• Matériel : Des expériences réelles utilisant un bras Franka Emika Panda ont navigué avec succès sur une table contenant des boîtes de Pringles de masses variables. La méthode a atteint l'objectif sans renverser les objets, tandis qu'une méthode de référence naïve a renversé les objets, violant la sécurité.

Signification et affirmations

Le papier affirme que le S.S. Explorer représente une avancée vers l'autonomie robotique fiable et généralisée dans des environnements complexes et incertains. Sa signification réside dans :

• Combler le fossé : Prendre explicitement en compte les dynamiques stochastiques dans l'exploration sûre, un manque critique laissé par les méthodes antérieures qui supposent des dynamiques connues ou négligent l'incertitude de transition.
• Gérer les interactions inconnues : Fournir un cadre rigoureux pour l'interaction physique sûre avec plusieurs objets inconnus, allant au-delà du simple évitement de collision pour gérer les dynamiques d'interaction (ex: basculement, friction).
• Équilibrer sécurité et performance : Démontrer qu'en exploitant l'incertitude (via les GP) et la modélisation stochastique, les robots peuvent explorer plus efficacement et atteindre des objectifs plus souvent que les bases déterministes, qui ont tendance à échouer ou à violer la sécurité face au bruit du monde réel.

Les auteurs reconnaissent des limites, notamment la scalabilité computationnelle des GP ($O(N^3)$), la dépendance à la connaissance préalable des bornes du système (ex: constantes de Lipschitz), et le compromis entre sécurité et performance. Ils notent que les variantes continues et centrées sur les objets relaxent la garantie de « retour stochastique sûr », ce qui signifie que le robot pourrait théoriquement rester bloqué, bien qu'il reste instantanément sûr. Les travaux futurs visent à réintroduire les garanties de retour et à gérer les interactions complexes entre objets.