Résumé Technique : PoSafeNet – Apprentissage Sécurisé avec des Réseaux de Neurones à Structure de Poset

1. Formulation du Problème

L'article traite d'une limitation critique dans le déploiement de contrôleurs d'apprentissage pour les systèmes robotiques critiques en matière de sécurité : la gestion de contraintes de sécurité hétérogènes qui ne possèdent que des relations de priorité partielles.

Les approches d'apprentissage sécurisé existantes, telles que celles utilisant des Programmes Quadratiques Différentiables (dQP) ou le Contrôle Prédictif Modèle Différentiable (dMPC), imposent généralement plusieurs contraintes de sécurité simultanément ou via un ordonnancement total fixe. Les auteurs soutiennent que cela impose une représentation non naturelle et restrictive de la sécurité. Dans des scénarios réalistes (par exemple, la conduite autonome ou la manipulation robotique), les exigences de sécurité sont souvent incomparables ; par exemple, éviter une collision à gauche versus à droite peut constituer des primitives distinctes où aucune ne domine strictement l'autre, ou bien où l'application de toutes les contraintes de manière symétrique conduit à l'incompatibilité ou à un conservatisme excessif.

Le défi central est formalisé comme suit : comment composer plusieurs politiques de sécurité de manière évolutive et adaptative lorsque les contraintes sous-jacentes n'admettent qu'un ordre partiel (un Poset), plutôt qu'une priorité globale unique ? L'article postule que l'absence d'un biais inductif structurel régissant la composition des contraintes, plutôt que l'absence de certificats de sécurité eux-mêmes, est le principal goulot d'étranglement.

2. Méthodologie : PoSafeNet

Les auteurs proposent PoSafeNet (Poset-Structured Safety Network), un cadre d'apprentissage qui traite la composition de la sécurité comme une propriété structurelle de la classe de politique plutôt que comme un problème de satisfaction de contraintes résolu par optimisation à chaque étape.

Concepts Clés

• Poset de Sécurité : Les contraintes de sécurité sont modélées comme un ensemble partiellement ordonné $(S, \preceq)$. Si $i \prec j$, la contrainte $j$ possède une priorité strictement plus élevée que $i$. Les contraintes incomparables ($i \parallel j$) ne sont pas classées les unes par rapport aux autres.
• Extensions Linéaires : Un ordonnancement total des contraintes qui respecte l'ordre partiel est appelé une extension linéaire. Les auteurs utilisent l'ensemble de toutes les extensions linéaires valides pour représenter l'espace des exécutions de sécurité admissibles.
• Projection Séquentielle : Au lieu de résoudre un problème d'optimisation conjoint, PoSafeceNet impose la sécurité via des projections séquentielles à forme fermée. Pour une extension linéaire donnée $\sigma = (j_1, \dots, j_N)$, l'entrée de commande nominale $u_{nom}$ est projetée séquentiellement sur les demi-espaces admissibles définis par chaque contrainte :
  $$u^{(k)} = \Pi_{j_k}(u^{(k-1)})$$
  où $\Pi_j$ est un opérateur de projection différentiable dérivé des Fonctions de Barrière de Contrôle (CBF). Cet opérateur possède une solution en forme fermée, évitant ainsi le recours à des solveurs itératifs.

Architecture

PoSafeNet est instancié sous la forme d'un réseau de neurones à têtes multiples :

1. Têtes Nominales : Chaque tête $h$ produit une entrée de commande nominale $u^{(h)}_{nom}$ associée à une extension linéaire $\sigma^{(h)}$ spécifique du poset de sécurité.
2. Application Séquentielle : Chaque tête applique les opérateurs de projection séquentielle correspondants à son entrée nominale, produisant une exécution sûre $u^{(h)}$.
3. Sélection/Mélange Adaptatif : La sortie de commande finale est générée soit par :
   • Sélection Forte (Hard Selection) : Sélection d'une seule tête basée sur les observations (par exemple, via Gumbel-Softmax pendant l'entraînement).
   • Mélange Doux (Soft Mixture) : Mélange convexe des sorties de plusieurs têtes.

Garanties Théoriques

• Sécurité Respectant le Poset : Par construction, toute tête exécutant une extension linéaire respecte la définition de la sécurité respectant le poset : une contrainte de priorité inférieure n'est violée que si nécessaire pour satisfaire une contrainte de priorité strictement supérieure.
• Sécurité du Mélange : L'article fournit des garanties formelles que le mélange convexe préserve la sécurité sous des conditions géométriques spécifiques (par exemple, lorsque les contraintes incomparables ne sont pas en conflit, signifiant que la projection sur l'une ne viole pas l'autre). Dans les cas où ces conditions ne sont pas remplies (par exemple, la conduite basée sur la vision avec des contraintes opposées), les garanties de sécurité sont interprétées comme empiriques.

3. Principales Contributions

L'article présente cinq contributions majeures :

1. Sécurité Structurée par Poset : Introduction des ordres partiels comme biais inductif structurel pour le contrôle basé sur l'apprentissage, permettant une résolution sélective et contextuelle des priorités de sécurité hétérogènes.
2. Cadre PoSafeNet : Un cadre de contrôle neuronal qui impose la sécurité par construction, garantissant que les contraintes de priorité inférieure ne sont violées que lorsqu'il est nécessaire de satisfaire les contraintes de priorité supérieure.
3. Application Efficace : Développement d'un mécanisme d'application efficace utilisant des projections en forme fermée, éliminant la surcharge de calcul liée à la résolution de dQP.
4. Garanties Formelles : Fourniture de garanties formelles que la politique apprise satisfait la sécurité respectant le poset sous des hypothèses standards sur la dynamique du système.
5. Validation Empirique : Démonstration de l'efficacité à travers diverses tâches robotiques, incluant l'évitement d'obstacles en 2D, la manipulation robotique sûre et la conduite autonome basée sur la vision.

4. Résultats Expérimentaux

Les auteurs évaluent PoSafeNet par rapport à des bases non structurées (E2E, BarrierNet, ABNet) et des méthodes basées sur dQP à travers trois domaines :

• Navigation 2D avec Multi-Obstacles : Dans un scénario avec trois obstacles mutuellement incomparables (un antichaine), les méthodes basées sur QP ont fréquemment échoué en raison de l'incompatibilité ou ont nécessité des variables d'écart (slack variables) qui ont dégradé les marges de sécurité. PoSafeNet a atteint 100 % de faisabilité avec des marges de sécurité strictement positives et des trajectoires plus fluides.
• Manipulation Robotique Sûre : Pour un manipulateur à deux segments avec des limites articulaires (haute priorité) et l'évitement d'obstacles (priorité inférieure), les méthodes non structurées ont présenté des violations de limites articulaires ou de l'instabilité. PoSafeNet a atteint zéro violation de l'espace articulaire tout en maintenant une faible erreur de suivi et des temps de déroulement nettement plus rapides que les bases de comparaison QP.
• Conduite Autonome Basée sur la Vision : Dans le simulateur VISTA, PoSafeNet a géré le conflit de priorité entre l'évitement de collision (haute priorité) et le maintien de la voie (priorité inférieure). Les bases non structurées ont subi des collisions ou des départs de voie instables. PoSafeNet a obtenu un taux de réussite de 100 % avec zéro collision, maintenant l'adhérence à la voie tout en priorisant l'évitement de collision.

Efficacité de Calcul : PoSafeNet a démontré une scalabilité quasi linéaire avec le nombre de têtes et était nettement plus rapide que les couches de dQP (ABNet), qui imposent une surcharge substantielle due à la résolution d'optimisation.

5. Signification et Revendications

L'article affirme que PoSafeNet transforme l'application de la sécurité d'un problème de satisfaction de contraintes en un problème d'apprentissage structuré. En modélisant explicitement l'ordre partiel des contraintes de sécurité, le cadre :

• Résout l'Incompatibilité : Évite l'incompatibilité courante lors de l'application simultanée de contraintes hétérogènes.
• Préserve la Sémantique : Maintient la sémantique de priorité voulue des exigences de sécurité sans ordonnancement total arbitraire.
• Améliore la Scalabilité : Offre une alternative calculatoirement efficace aux couches de sécurité basées sur l'optimisation, ce qui le rend adapté au contrôle en temps réel.

Les auteurs notent des limites, notamment la nécessité de connaissances métier pour spécifier l'ordre partiel et l'accent actuel mis sur les systèmes affines par rapport au contrôle. Ils suggèrent que les travaux futurs pourraient porter sur l'automatisation de la découverte de posets de sécurité et l'extension du cadre aux contextes stochastiques et multi-agents.