Résumé technique : Fonction de barrière de contrôle de bibliothèque de politiques (PL-CBF)

Énoncé du problème

Le déploiement de systèmes autonomes dans des environnements réels non structurés rencontre des défis majeurs concernant la certification de sécurité en ligne. Contrairement aux environnements classiques aux contraintes fixes et aux paramètres entièrement modélisés, les robots déployés opèrent avec des informations limitées par la perception, où les zones sûres sont révélées en ligne, les obstacles dynamiques apparaissent et disparaissent, et les conditions d'exploitation (par exemple, le frottement) évoluent dans le temps.

Bien que les outils de vérification formelle comme l'analyse de reachabilité de Hamilton-Jacobi (HJ) offrent des garanties solides, ils souffrent du fléau de la dimensionnalité et sont computationnellement intraitables pour les systèmes robotiques de haute dimension. Les fonctions de barrière de contrôle (CBF) fournissent une alternative évolutive mais nécessitent généralement une fonction de barrière explicite pour le système non linéaire complet sous des contraintes fixes, ce qui est difficile à obtenir lorsque les contraintes évoluent en ligne.

Les filtres de sécurité d'existant basés sur des simulations de trajectoires (rollouts), tels que les CBF de politiques (PCBF), tentent de construire des certificats de sécurité à partir de simulations de trajectoires sans calcul de fonction de valeur hors ligne. Cependant, ces méthodes reposent sur une unique politique de repli désignée. Dans des environnements non structurés, aucune manœuvre unique n'est fiablement sûre face à toutes les mises à jour de perception. Par exemple, une manœuvre d'arrêt peut échouer en cas de perte soudaine de frottement, ou une manœuvre d'évitement fixe peut devenir irréalisable en raison d'obstacles nouvellement détectés. Cette dépendance à une seule politique de repli induit un conservatisme inutile et peut conduire à des violations de sécurité même lorsque des manœuvres sûres alternatives existent.

Méthodologie : Fonction de barrière de contrôle de bibliothèque de politiques (PL-CBF)

Les auteurs proposent PL-CBF, un filtre de sécurité d'exécution qui évalue une bibliothèque finie de politiques de repli diversifiées via des simulations parallèles à horizon fini pour certifier la sécurité et sélectionner le mode sûr le moins invasif.

Formulation de base

Au lieu de s'appuyer sur une seule politique de sauvegarde, PL-CBF définit une bibliothèque de $K$ politiques de repli candidates $\Pi = \{\pi_1, \pi_2, \dots, \pi_K\}$. Elle construit une fonction de valeur de bibliothèque de politiques à horizon fini :
$$H^\Pi_T(x) := \max_{\pi_i \in \Pi} \left\{ \inf_{\tau \in [0,T]} h(\phi^{\pi_i}_\tau(x)) \right\}$$
où $h$ est la fonction de contrainte définissant l'ensemble sûr. Si au moins une politique de la bibliothèque maintient des valeurs de contrainte non négatives sur l'horizon $T$, l'état est considéré comme sûr.

Synthèse du filtre de sécurité

Le filtre de sécurité fonctionne en résolvant un Programme Quadratique (QP) qui modifie minimalement une commande nominale $u_{nom}$ tout en garantissant la sécurité.

1. Simulations parallèles : Le système effectue des simulations parallèles pour toutes les politiques de $\Pi$ afin de calculer leurs valeurs de sécurité respectives $H^{\pi_i}_T(x)$.
2. Sélection de politique : Parmi les candidats sûrs certifiés (où $H^{\pi_i}_T(x) > 0$), le filtre sélectionne la politique « la moins invasive » $\pi_{i^*}$. Contrairement aux méthodes qui choisissent simplement la marge de sécurité la plus élevée, PL-CBF sélectionne la politique qui maximise le volume de l'ensemble de commandes admissibles $K_{cbf}(x; \pi_i)$. Cela est défini comme suit :
   $$i^* = \arg \max_{i \in I_{safe}(x)} \text{Vol}(K_{cbf}(x; \pi_i))$$
3. Exécution du QP : La commande finale $u^*$ est obtenue en résolvant :
   $$u^* = \arg \min_{u \in U} \|u - u_{nom}\|^2_2 \quad \text{s.t.} \quad \nabla H^{\pi_{i^*}}_T(x)^\top(f(x) + g(x)u) \geq -\alpha(H^{\pi_{i^*}}_T(x))$$
   Les gradients sont calculés efficacement en temps d'exécution en utilisant la différenciation automatique à travers la dynamique.

Analyse théorique

L'article établit une condition de complétude pour la certification de sécurité à horizon fini en utilisant une métrique de langage à horizon fini. Cette métrique mesure l'écart d'état au pire cas entre deux simulations de politiques sur un horizon $T$. Les auteurs démontrent que si la bibliothèque de politiques $\Pi$ possède une précision d'approximation suffisamment faible (c'est-à-dire que la bibliothèque couvre l'espace des comportements admissibles de manière suffisamment proche), et s'il existe une politique strictement sûre avec une marge non nulle, alors la bibliothèque est garantie de contenir une politique que PL-CBF peut certifier comme sûre.

Le cadre discute également de la connexion conceptuelle avec les CBF classiques et l'invariance vers l'avant dans une limite idéalisée à horizon infini, notant que si la bibliothèque contient une politique de sauvegarde valide, PL-CBF retrouve les garanties de faisabilité récursive des approches Backup CBF.

Contributions clés

1. Filtrage de sécurité à horizon fini par bibliothèque de politiques : L'introduction de PL-CBF, qui certifie la sécurité en évaluant une bibliothèque finie de politiques de repli candidates via des simulations parallèles. Elle sélectionne la contrainte la moins restrictive en maximisant le volume de l'ensemble de commandes admissibles parmi les candidats certifiés.
2. Caractérisation théorique : L'établissement d'une condition de complétude pour la certification de sécurité à horizon fini basée sur une métrique de langage à horizon fini sur les comportements en boucle fermée. Cela caractérise les exigences de couverture de la bibliothèque de politiques nécessaires pour certifier la sécurité.
3. Validation empirique et efficacité en temps réel : Démonstration d'une couverture de sécurité améliorée par rapport aux filtres de sécurité à politique unique sur trois benchmarks de simulation (double intégrateur planaire, conduite sur autoroute avec changements brusques de frottement, et navigation de quadricoptère 3D) tout en maintenant un temps d'exécution de l'ordre de la milliseconde.

Résultats expérimentaux

Les auteurs ont évalué PL-CBF par rapport à quatre filtres de sécurité représentatifs (Protection par modèle prédictif, Gatekeeper, Backup CBF et Policy CBF) utilisant des politiques de repli uniques.

• Double intégrateur planaire : PL-CBF a démontré sa capacité à retrouver le plus grand ensemble sûr en évaluant une bibliothèque de politiques d'arrêt et d'évitement, tandis que les méthodes à politique unique retrouvaient différents ensembles sûrs, souvent plus petits, selon la politique de repli choisie.
• Conduite sur autoroute (changement brutal de frottement) : Dans un scénario avec un modèle de véhicule non linéaire réaliste (8 états) et des changements brusques de frottement (glace noire), PL-CBF a obtenu 0/50 défaillances à une vitesse cible de 10 m/s. En revanche, toutes les bases de référence à repli unique ont subi des taux de collision ou d'irréalisabilité allant de 22 % à 92 %. PL-CBF a maintenu un temps d'exécution de 7,5 ms par étape.
• Navigation de quadricoptère 3D : Dans un environnement dynamique encombré (12 états), les bases de référence à politique unique ont échoué dans 68 % à 79 % des essais. PL-CBF a réduit les taux d'échec à 0 % lors de l'utilisation d'une bibliothèque de 65 manœuvres (64 d'évitement + 1 nominale), avec un temps d'exécution de 27,9 ms. L'article note qu'une base de référence MPC à nombres entiers mélangés avec une sélection de manœuvres similaire était significativement plus lente (688 ms).

Importance et affirmations

L'article affirme que PL-CBF répond à la fragilité de la dépendance à une manœuvre de repli fixe unique dans des environnements non structurés. En conservant des manœuvres sûres multimodales via une bibliothèque et en sélectionnant l'option la moins invasive en ligne, la méthode améliore la couverture de sécurité sans sacrifier les performances en temps réel.

Les auteurs positionnent PL-CBF comme une couche de sécurité pratique, déployable et à haut débit. Ils affirment explicitement que la méthode évite l'intraitabilité computationnelle de la reachabilité HJ et les exigences de synthèse hors ligne des CBF traditionnels. L'importance réside dans sa capacité à gérer des contraintes évolutives et des mises à jour de perception où une manœuvre unique ne peut garantir la sécurité, réduisant ainsi le conservatisme et empêchant les violations de sécurité qui pourraient survenir avec des filtres à politique unique.

L'article conclut avec modestie, notant que les travaux futurs se concentreront sur la construction systématique de bibliothèques de politiques en utilisant des approches basées sur l'apprentissage, la gestion des écarts de modèle et de l'incertitude de perception, et des mécanismes adaptatifs pour affiner la bibliothèque en ligne.