⚡ electrical engineering

Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training

Cet article propose une méthode d'entraînement par adversaires pour synthétiser conjointement des contrôleurs par réseaux de neurones et des certificats de dissipativité, garantissant ainsi des performances robustes formelles sur des systèmes dynamiques non linéaires et démontrant une capacité de certification de régions jusqu'à 78 fois supérieure aux approches basées sur les inégalités matricielles linéaires.

Auteurs originaux : Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un robot qui apprend à marcher (un contrôleur neuronal) dans un environnement chaotique. Le robot est très doué et apprend vite, mais il est un peu imprévisible. Si vous le laissez courir dans un parc, il risque de trébucher sur une racine ou de glisser sur une feuille mouillée. Dans le monde réel, surtout pour des choses critiques comme les voitures autonomes ou les avions, on ne peut pas se permettre de dire : « Il marche bien 99 % du temps ». Il faut une garantie absolue qu'il ne tombera jamais, même sous la pluie ou sur du verglas.

C'est exactement le problème que résolvent les auteurs de ce papier.

1. Le Problème : Le "Boîte Noire" et la Peur de l'Inconnu

Les contrôleurs neuronaux (les cerveaux du robot) sont comme des boîtes noires magiques. On leur donne des données, ils sortent une action, mais personne ne comprend exactement comment ils prennent leurs décisions.

Le défi : Comment prouver mathématiquement que cette boîte noire ne va pas faire faire une bêtise catastrophique à votre robot s'il rencontre une perturbation (un vent soudain, un obstacle imprévu) ?
L'ancienne méthode : Les ingénieurs utilisaient des règles mathématiques très strictes (appelées LMIs) pour vérifier la sécurité. C'est comme essayer de décrire un éléphant avec une règle à mesurer : c'est précis, mais on perd énormément de détails. Le résultat est souvent une zone de sécurité très petite (très conservatrice), car on a peur de se tromper.

2. La Solution : Un Duo de Champions

Les auteurs proposent une nouvelle méthode qui combine deux super-héros :

Le Super-Héros 1 : Le Détective Rigoureux (α,β-CROWN).
Imaginez un détective qui vérifie chaque coin de la pièce, chaque recoin, pour s'assurer qu'il n'y a pas de piège. C'est un outil mathématique très puissant capable de vérifier les systèmes complexes et non linéaires (comme notre robot) sans faire de raccourcis. Il est très précis mais peut être lent si on lui demande de vérifier tout l'univers.
Le Super-Héros 2 : Le Gardien de la Sécurité (Dissipativité).
Imaginez un gardien qui tient un bouclier. Sa tâche n'est pas de prédire l'avenir, mais de s'assurer que si le robot reçoit un coup (une perturbation), il ne perd pas son équilibre. Ce "bouclier" est appelé une fonction de stockage (ou certificat).

L'astuce géniale : Au lieu de dessiner le bouclier à la main (ce qui est difficile), ils utilisent un entraînement par adversité.

3. L'Entraînement : Le Jeu du Chat et de la Souris

C'est ici que la magie opère. Au lieu de juste vérifier si le robot est sûr, ils font s'affronter deux équipes :

L'Équipe du Robot (Le Contrôleur et le Bouclier) : Ils essaient de rendre le robot aussi stable et grand que possible. Ils veulent que le robot puisse marcher sur un terrain immense sans tomber.
L'Équipe du Chaos (L'Adversaire) : C'est un "méchant" virtuel qui essaie de trouver le point faible du robot. Il lance des perturbations, des vents violents, des obstacles, pour voir s'il peut faire tomber le robot ou briser le bouclier.

Le processus :

Le "méchant" trouve un endroit où le robot trébuche.
L'équipe du robot apprend de cette erreur, ajuste son cerveau (le contrôleur) et renforce son bouclier (le certificat) pour ne plus trébucher à cet endroit précis.
Ils répètent cela des milliers de fois. Le robot devient de plus en plus fort, et la zone où il est garanti sûr (la "zone de sécurité") s'agrandit considérablement.

4. Le Résultat : Une Zone de Sécurité Géante

À la fin de l'entraînement, ils utilisent le Détective Rigoureux (α,β-CROWN) pour faire une vérification finale officielle.

Avant (Méthode ancienne) : La zone de sécurité était comme un petit carré de 1 mètre de côté. Très sûr, mais le robot ne pouvait presque pas bouger.
Après (Méthode proposée) : La zone de sécurité est devenue un immense terrain de football (jusqu'à 78 fois plus grand !).

Cela signifie que le robot peut maintenant opérer dans des conditions beaucoup plus variées et complexes, tout en ayant une garantie mathématique formelle qu'il restera stable.

En Résumé

Ce papier explique comment on peut entraîner une intelligence artificielle à être non seulement performante, mais aussi sûre par conception.

L'analogie finale : Imaginez que vous voulez apprendre à un enfant à faire du vélo.
- L'ancienne méthode consistait à lui dire : "Ne roule que sur le trottoir, et seulement si le sol est parfaitement plat." (Sûr, mais ennuyeux et limité).
- Cette nouvelle méthode consiste à faire rouler l'enfant sur un terrain accidenté avec un parent qui le rattrape à chaque fois qu'il tombe, en ajustant sa posture et son équilibre à chaque chute. À la fin, l'enfant peut rouler sur n'importe quel chemin, et le parent (le certificat) garantit qu'il ne tombera jamais, même si le terrain est difficile.

C'est une avancée majeure pour rendre les robots et les systèmes autonomes assez intelligents pour être utiles, et assez sûrs pour être déployés dans notre monde réel.

1. Problématique

L'utilisation de contrôleurs basés sur des réseaux de neurones (NN) a démontré des performances empiriques exceptionnelles sur des systèmes dynamiques non linéaires complexes. Cependant, leur déploiement dans des environnements critiques pour la sécurité est entravé par l'absence de garanties formelles concernant leur comportement en boucle fermée, notamment face aux perturbations externes et aux incertitudes de modèle.

Contrairement aux contrôleurs classiques dont la stabilité et la robustesse peuvent être analysées avec des outils établis, les contrôleurs NN sont non linéaires et de haute dimension, rendant leur certification difficile. Bien que des progrès aient été réalisés pour certifier la stabilité nominale, garantir la performance robuste (sous perturbations et incertitudes) reste un défi majeur. La théorie de la dissipativité offre un cadre généralisant la stabilité de Lyapunov pour capturer ces exigences de robustesse (par exemple, l'atténuation des perturbations ou la passivité). Le problème central est de synthétiser conjointement un contrôleur NN et un certificat de dissipativité robuste capable de garantir formellement ces performances sur un ensemble d'états aussi large que possible.

2. Méthodologie

Les auteurs proposent une méthode de synthèse conjointe combinant l'apprentissage par renforcement (via l'entraînement adversaire) et la vérification formelle. L'approche repose sur trois piliers principaux :

A. Cadre Théorique : Dissipativité Robuste et Contraintes Quadratiques (QC)

Le système est modélisé avec une incertitude non paramétrique $\Delta$ . La robustesse est définie par la dissipativité robuste, qui exige :

Invariance avant robuste (RFI) : Le système reste dans un ensemble borné d'états.
Inégalité de dissipation : Une fonction de stockage $V(x)$ (analogue à une fonction de Lyapunov) satisfait une inégalité impliquant un taux d'approvisionnement (supply rate) $s(d, e)$ .

Pour gérer l'incertitude non paramétrique, l'article utilise des Contraintes Quadratiques (QC). Pour les non-linéarités connues (comme les fonctions d'activation du NN), la méthode évite les QC conservatrices en utilisant directement l'analyse du système.

B. Vérification Formelle avec $\alpha,\beta$ -CROWN

Au lieu d'utiliser uniquement des inégalités matricielles linéaires (LMI) qui introduisent une conservativité significative en remplaçant les non-linéarités par des bornes, la méthode utilise $\alpha,\beta$ -CROWN.

C'est une méthode de type "branch-and-bound" (division et évaluation) capable d'analyser directement les dynamiques non linéaires.
Elle calcule des bornes inférieures globales pour vérifier si une spécification (ex: $V(F(x)) - V(x) \le s(d,e)$ ) est satisfaite pour tout $x$ dans un domaine donné.
Les conditions de dissipativité sont formulées comme des problèmes de vérification de formules logiques ( $\phi(x, w, d) > 0$ ).

C. Algorithme d'Entraînement Adversaire

L'algorithme (Algorithm 1) synthétise le contrôleur, la fonction de stockage et les multiplicateurs QC via un processus itératif :

Initialisation : Le contrôleur et la fonction de stockage sont initialisés via une méthode LMI classique. La fonction de stockage est une combinaison d'un terme quadratique et d'une modulation non linéaire apprise par un NN.
Génération d'exemples adverses : Pour éviter de manquer des régions de violation fines, l'algorithme utilise la Descente de Gradient Projetée (PGD) pour trouver les "contre-exemples" (points où la condition de dissipativité échoue) dans le domaine d'intérêt.
Fonction de Perte (Loss) : L'entraînement minimise une perte totale composée de :
- $L_{sample}$ : Pénalise les violations sur des échantillons aléatoires.
- $L_{adv}$ : Pénalise les violations sur les exemples adverses générés par PGD.
- $L_{anchor}$ : Encourage l'expansion du volume certifié en pénalisant les états "ancres" situés juste au-delà de la région actuellement certifiée.
Expansion du domaine : Si aucune violation n'est trouvée sur une période donnée, le domaine de vérification est élargi dynamiquement en simulant des trajectoires convergentes.
Vérification Finale : Une fois l'entraînement terminé, une recherche par dichotomie sur le niveau $\rho$ (volume de la région) est effectuée avec $\alpha,\beta$ -CROWN pour déterminer la région certifiée maximale.

3. Contributions Clés

Synthèse Conjointe : Une méthode pour apprendre simultanément le contrôleur NN et le certificat de dissipativité, maximisant ainsi le volume de l'espace d'états où la robustesse est garantie.
Hybridation QC / Vérification Directe : Utilisation complémentaire des QC pour les incertitudes non paramétriques et de $\alpha,\beta$ -CROWN pour l'analyse directe des non-linéarités connues, réduisant la conservativité inhérente aux approches purement basées sur les QC.
Algorithme d'Entraînement Adversaire : Intégration de la génération de contre-exemples (via PGD) dans la boucle d'entraînement pour guider la synthèse vers des régions plus robustes.
Preuve de Concept sur Systèmes Non Linéaires : Application réussie à un pendule inversé avec saturation et incertitudes, démontrant une amélioration drastique par rapport aux méthodes LMI.

4. Résultats Expérimentaux

Les expériences ont été menées sur un pendule inversé actionné par un couple, avec deux scénarios :

Borne de gain $\ell_2$ : Certification de l'atténuation des perturbations.
Stabilité Robuste : Certification sous incertitude de modèle (gain sectoriel).

Comparaison des volumes certifiés (projetés sur l'espace d'état du plant) :

Méthode LMI (Baseline) : Produit le plus petit volume certifié en raison de la conservativité des QC pour approximer les non-linéarités.
Avant entraînement (avec $\alpha,\beta$ -CROWN) : Vérifier le même système avec $\alpha,\beta$ -CROWN (sans apprentissage) augmente le volume certifié d'un facteur 51x par rapport à la méthode LMI (pour le gain $\ell_2$ ). Cela démontre la supériorité de l'analyse directe des non-linéarités.
Entraînement de la fonction de stockage (Contrôleur fixe) : Augmente le volume de 67,5x par rapport à la LMI.
Entraînement conjoint (Contrôleur + Stockage) : Atteint le volume maximal, 78,1x plus grand que la méthode LMI.

Signification des résultats :

L'approche proposée permet de certifier des régions jusqu'à 78 fois plus grandes que les approches basées sur les LMI.
L'entraînement conjoint apporte un gain supplémentaire significatif par rapport à l'optimisation seule du certificat, prouvant que la structure du contrôleur et du certificat doivent être optimisées ensemble.
Le temps de calcul est plus élevé que pour les LMI (en raison de l'entraînement et de la vérification formelle), mais le gain en performance (taille de la région de sécurité) est considérable.

5. Signification et Conclusion

Cet article présente une avancée majeure dans le domaine du contrôle sûr par apprentissage automatique. En combinant la puissance de l'apprentissage profond avec la rigueur de la vérification formelle ( $\alpha,\beta$ -CROWN) et la théorie de la dissipativité, les auteurs surmontent le compromis traditionnel entre performance et garanties de sécurité.

La méthode démontre qu'il est possible de déployer des contrôleurs NN complexes dans des environnements incertains tout en fournissant des preuves mathématiques de leur robustesse sur des régions d'états substantielles. Cela ouvre la voie à l'application de ces techniques dans des domaines critiques (robotique, véhicules autonomes, aérospatial) où les marges d'erreur sont nulles. Les travaux futurs visent à étendre ce cadre des contraintes quadratiques (QC) vers les contraintes quadratiques intégrales (IQC) pour une modélisation encore plus fine des incertitudes.