Learning Safe-by-Design Neural Network Controllers

Résumé Technique : Apprentissage de Contrôleurs de Réseaux de Neurones « Sûrs par Conception »

Énoncé du Problème
Les réseaux de neurones (RN) sont de plus en plus utilisés comme politiques de contrôle en boucle fermée pour gérer des dynamiques non linéaires complexes et de haute dimension. Cependant, les contrôleurs purement appris manquent souvent de garanties formelles de sûreté, pouvant générer des actions violant des contraintes critiques telles que l'évitement de collisions ou les limites des actionneurs. Une stratégie d'atténuation courante consiste à ajouter un filtre de sûreté, généralement basé sur des Fonctions de Barrière de Contrôle (CBF), à un contrôleur pré-entraîné. Dans les cadres standards, ce filtre résout un Programme Quadratique (QP) en ligne pour faire respecter des contraintes de sûreté définies par un candidat de CBF $h(x)$ et une fonction de classe-$\mathcal{K}$ étendue $\alpha(\cdot)$.

Cette conception découplée présente deux limitations principales :

1. Conservatisme et Sous-optimalité : La fonction $\alpha(\cdot)$ est souvent fixe (par exemple, $\alpha(h) = \omega h$) avec des paramètres réglés manuellement. Un mauvais réglage conduit à un comportement excessivement conservateur, dégradant les performances de contrôle, tandis qu'un réglage agressif risque des violations de sûreté.
2. Surcharge Computationsnelle : La résolution d'un QP à l'exécution introduit une latence computationnelle et des problèmes de fiabilité, entravant le déploiement en temps réel, en particulier pour les systèmes à espaces d'états de haute dimension ou à nombreuses contraintes.

Bien que des travaux récents comme BarrierNet et CAffNet tentent d'intégrer la sûreté dans le processus d'apprentissage, ils conservent soit la coûteuse couche QP en ligne, soit souffrent de problèmes d'évolutivité dus à la complexité exponentielle de la projection des sorties sur des ensembles réalisables définis par de nombreuses contraintes.

Méthodologie
Les auteurs proposent un cadre « Sûr par Conception » qui apprend conjointement un contrôleur par réseau de neurones et des conditions de CBF paramétrées par un réseau de neurones, intégrant directement les contraintes de sûreté dans l'architecture du contrôleur pour éliminer le besoin de solveurs QP en ligne.

1. Architecture CAffNet-Lite :
   La contribution centrale est CAffNet-Lite, une extension légère de l'architecture existante CAffNet. Elle intègre une couche affine de contraintes avec un module de projection entraînable pour satisfaire des contraintes affines dépendantes de l'état $A(x)u \leq b(x)$ par construction.

   • Décomposition légère des contraintes : Contrairement à CAffNet, qui énumère toutes les combinaisons possibles de contraintes actives (conduisant à une complexité exponentielle $O(2^{n_c})$), CAffNet-Lite emploie une stratégie de décomposition réduite. Elle ne considère que les sous-contraintes d'ordre minimum ($k=1$) ou d'ordre maximum ($k=\min(n_c, m)$). Cela réduit la complexité dans le pire des cas à un polynôme $O(n_c^m)$, améliorant considérablement l'évolutivité pour les systèmes à nombreuses contraintes.
   • Mécanisme de projection : Le réseau sort un signal de contrôle non contraint $f_\theta(x)$. Si ce signal viole les contraintes, une couche de projection calcule un ensemble de candidats réalisables en projetant sur les hyperplans des sous-contraintes. La sortie finale est le signal non contraint (s'il est réalisable) ou la projection réalisable la plus proche, garantissant la satisfaction stricte des contraintes sans nécessiter de contraintes de rang plein ou linéairement indépendantes.

2. Apprentissage Conjoint des Paramètres de CBF :
   Au lieu de fixer la fonction de décroissance $\alpha(\cdot)$, le cadre la remplace par une paramétrisation entraînable par réseau de neurones $\alpha_\vartheta(x, h(x))$. Cela permet au système d'apprendre une propriété de « décroissance optimale » qui s'adapte au comportement du contrôleur et aux dynamiques du système. Les contraintes de sûreté sont formulées comme suit :
   $$A(x)u \leq b_\vartheta(x)$$
   où $b_\vartheta(x)$ intègre le $\alpha_\vartheta$ appris.

3. Garanties Théoriques :
   Puisque la couche de projection implique une opération $\arg\min$ qui peut entraîner des signaux de contrôle discontinus, les auteurs établissent la sûreté au sens de Filippov. Ils prouvent que la loi de contrôle par morceaux continue résultante garantit l'invariance forte vers l'avant de l'ensemble sûr, assurant que si le système démarre dans l'ensemble sûr, il y reste pour tout temps futur.

Contributions Clés

1. CAffNet-Lite : Introduction d'une architecture de projection légère qui réduit la complexité computationnelle de l'exponentielle au polynôme par rapport au nombre de contraintes, tout en préservant la satisfaction stricte des contraintes affines et les propriétés d'approximation universelle.
2. Optimisation Conjointe : Un cadre qui entraîne conjointement un contrôleur par réseau de neurones et les paramètres de CBF (spécifiquement la fonction de décroissance), permettant la satisfaction des contraintes de sûreté par construction sans solveurs QP en ligne.
3. Preuve Théorique : Preuve que le contrôleur proposé satisfait l'invariance forte vers l'avant de l'ensemble sûr au sens de Filippov, traitant la discontinuité introduite par la couche de projection.

Résultats Expérimentaux
Le cadre a été évalué sur deux scénarios de simulation :

1. Intégrateur Simple avec Évitement de Collisions :

   • Configuration : Un système intégrateur 2D évitant trois obstacles polyédriques convexes.
   • Constats : CAffNet et CAffNet-Lite ont atteint le coût moyen le plus bas (le plus proche du contrôleur nominal) tout en satisfaisant strictement toutes les contraintes de sûreté (0 % de violation). En revanche, les RN standards et HardNet ont présenté des violations de contraintes, et les méthodes basées sur QP avec des paramètres fixes étaient soit trop conservatrices (échec à atteindre l'objectif), soit nécessitaient un temps de calcul plus élevé.
   • Efficacité : CAffNet-Lite a égalé les performances de CAffNet mais avec un temps de test réduit, démontrant l'efficacité de la décomposition légère.

2. Géorepérage pour Avion à Voilure Fixe :

   • Configuration : Un modèle d'avion à 7 états et 3 entrées imposant des contraintes de géorepérage.
   • Constats : CAffNet et CAffNet-Lite ont tous deux appris avec succès des commandes de vitesse sûres évitant les géorepères.
   • Efficacité : CAffNet-Lite a démontré des temps d'entraînement et de test significativement plus faibles que le CAffNet original, confirmant sa supériorité en termes d'évolutivité pour les systèmes de plus haute dimension. Bien que CAffNet converge légèrement plus vite en termes de coût grâce à un plus grand nombre de candidats de projection, CAffNet-Lite offre un meilleur compromis pour l'applicabilité en temps réel.

Importance et Revendications
L'article revendique que, en intégrant directement des contraintes de sûreté affines dans le contrôleur neuronal et en apprenant conjointement les paramètres de CBF, la méthode proposée surmonte le conservatisme des filtres à paramètres fixes et la charge computationnelle des solveurs QP en ligne. Les auteurs soulignent que CAffNet-Lite fournit une solution évolutive, déployable en temps réel, garantissant des contraintes de sûreté strictes par construction. L'ouvrage se positionne comme une étape vers le contrôle « Sûr par Conception », où la sûreté n'est ni une réflexion après coup ni un filtre d'exécution, mais une propriété intrinsèque de la politique apprise. Les auteurs notent modestement que les travaux futurs exploreront l'extension du cadre à des classes de contraintes plus larges et l'évaluation des performances sur des systèmes réels.