Résumé technique : Marges de stabilité des contrôleurs à réseaux de neurones

Énoncé du problème

Les contrôleurs classiques à réseaux de neurones (NN) entraînés via l'apprentissage par renforcement (RL) manquent souvent de garanties concernant la stabilité en boucle fermée, ce qui limite leur déploiement dans des domaines critiques pour la sécurité comme l'aérospatiale, où les organismes de réglementation exigent des mesures de robustesse spécifiques. Bien que des travaux récents aient abordé la vérification et la synthèse de contrôleurs NN pour la stabilité asymptotique, il existe une lacune dans les méthodes capables d'entraîner des contrôleurs NN pour maximiser les récompenses de performance tout en respectant strictement les exigences de robustesse classiques, spécifiquement les marges de disque.

L'article traite le problème d'optimisation sous contrainte consistant à entraîner un contrôleur de réseau de neurones $K$ pour maximiser une récompense cumulative attendue sur une trajectoire, sous la contrainte que le système en boucle fermée reste stable pour une classe de plantes $\mathcal{M}_\alpha$. Cette classe représente une plante LTI (linéaire et invariante dans le temps) nominale interconnectée avec des incertitudes (tant LTI que non linéaires) bornées par une marge de disque $D(\alpha, \sigma)$. La marge de disque est choisie car elle prend en compte les variations simultanées de gain et de phase, offrant une garantie de robustesse plus rigoureuse que les marges de gain et de phase classiques seules.

Méthodologie

1. Modélisation du système

Les auteurs modélisent l'architecture de contrôle comme une interconnexion d'une plante LTI nominale et d'un contrôleur à réseau de neurones, tous deux soumis à des blocs d'incertitude.

• Plante : La plante nominale est LTI. L'incertitude est modélisée comme un bloc multiplicatif d'entrée $H_{\Delta p}$, où l'incertitude $\Delta_p$ est bornée par la norme $L_2$ par $\alpha$.
• Contrôleur : Le réseau de neurones est modélisé comme un Réseau de Neurones Implicite Récurrent (RINN). Il se compose d'un système LTI $G_k$ interconnecté avec des fonctions d'activation statiques, élément par élément $\phi$ (ex: tanh, ReLU). Cette formulation permet au contrôleur d'avoir de la mémoire (dynamique) et englobe diverses architectures, y compris les réseaux de neurones à propagation directe (feedforward) et résiduels.
• Caractérisation de l'incertitude : Les fonctions d'activation $\phi$ du contrôleur ainsi que l'incertitude de la plante $\Delta_p$ sont caractérisées par des contraintes quadratiques intégrales (IQC). L'incertitude $\Delta_p$ satisfait une IQC de type secteur liée à son gain $L_2$, tandis que les fonctions d'activation $\issent des IQC de secteur et de restriction de pente.

2. Certification de la stabilité

La contribution théorique centrale est une condition permettant de certifier qu'un contrôleur RINN spécifique satisfait la marge de disque $D(\alpha, \sigma)$.

• Le système en boucle fermée est reformulé comme un système LTI interconnecté avec un bloc d'incertitude composite contenant à la fois $\Delta_p$ et $\phi$.
• En utilisant une approche par fonction de Lyapunov combinée à la théorie des IQC, les auteurs dérivent une condition d'inégalité matricielle linéaire (LMI) (Lemme 3.1). Cette condition implique la recherche d'une matrice $X$ définie positive et de matrices multiplicateurs diagonales $\Lambda_p$ et $\Lambda_k$ telles qu'une inégalité matricielle spécifique soit satisfaite.
• L'application directe de cette LMI pour l'entraînement est numériquement intraitable car l'inégalité est bilinéaire par rapport aux paramètres du contrôleur $\theta$ et à la matrice de Lyapunov $X$.

3. Algorithme d'entraînement avec projection

Pour synthétiser un contrôleur qui maximise la récompense tout en satisfaisant la contrainte de stabilité, les auteurs proposent un algorithme d'entraînement itératif (Algorithme 1) qui alterne entre deux étapes :

1. Étape d'apprentissage par renforcement : Une étape standard de RL (par exemple, PPO - Proximal Policy Optimization) met à jour les paramètres du contrôleur $\theta$ pour maximiser la récompense. Les paramètres résultants $\theta'$ peuvent violer la marge de stabilité.
2. Étape d'application de la marge de stabilité : Si $\theta'$ ne satisfait pas la marge, il est projeté de nouveau dans l'ensemble des contrôleurs stabilisants.
   • Pour rendre cette projection convexe, les auteurs utilisent un changement de variables (inspiré de [8]) pour transformer les paramètres du contrôleur $\theta$ et la matrice de Lyapunov $X$ en de nouvelles variables $\hat{\theta}$ (incluant les matrices $S, R, N_A, \dots$).
   • Dans cet espace transformé, la condition de stabilité devient affine en $\hat{\theta}$, permettant de formuler la projection comme un programme semi-défini (SDP).
   • L'algorithme résout un SDP pour trouver le $\hat{\theta}$ le plus proche du $\hat{\theta}'$ actuel, puis reconstruit les paramètres du contrôleur $\theta$ à partir de la solution.
   • L'algorithme alterne également le multiplicateur $\Lambda_p$ pour réduire le conservatisme, tentant de certifier la marge directement avant de recourir à la projection complète si la certification échoue.

Contributions clés

• Cadre d'entraînement : Une nouvelle méthode pour entraîner des contrôleurs de réseaux de neurones qui impose explicitement des contraintes de marge de disque pendant le processus d'apprentissage par renforcement.
• Formulation mathématique : La dérivation des conditions LMI pour la certification de la marge de disque des contrôleurs RINN en utilisant les IQC pour l'incertitude de la plante et les fonctions d'activation.
• Projection convexe : Le développement d'une étape de projection numériquement traitable via un changement de variables et un SDP, permettant d'appliquer des contraintes de stabilité non convexes dans une boucle d'entraînement basée sur le gradient.
• Généralisation : L'approche s'étend au-delà des contrôleurs statiques aux contrôleurs dynamiques (récurrents) et gère les incertitudes décrites par les IQC, couvrant à la fois les dynamiques LTI et les dynamiques non linéaires variant dans le temps.

Résultats expérimentaux

La méthode a été évaluée sur une simulation d'une tige flexible sur un chariot, un système doté d'une dynamique complexe.

• Comparateurs : La méthode proposée (SM-RINN) a été comparée à :
  • Un réseau de neurones récurrent non contraint (U-RINN).
  • Un réseau de neurones entièrement connecté standard (FCNN).
  • Un contrôleur LTI entraîné avec les mêmes contraintes de stabilité.
• Contraintes : Tous les contrôleurs contraints (SM-RINN et LTI) devaient satisfaire une marge de disque avec $\alpha = 0,353$ et $\sigma = 0$, correspondant à des bornes inférieures de 3 dB de marge de gain et 20° de marge de phase.
• Performance :
  • Les contrôleurs non contraints (U-RINN et FCNN) ont obtenu les récompenses les plus élevées (~3000) mais n'offraient aucune garantie de stabilité.
  • Le SM-RINN contraint a atteint une récompense d'environ 2250.
  • Le contrôleur LTI contraint a obtenu la récompense la plus faible (~1500).
• Compromis : Les résultats démontrent le compromis typique entre performance et robustesse. Cependant, le SM-RINN a nettement surpassé le contrôleur LTI contraint (une amélioration de ~50 % de la récompense) tout en maintenant exactement les mêmes garanties de robustesse.

Signification et affirmations

L'article affirme que cette méthode permet l'utilisation de réseaux de neurones dans des applications critiques pour la sécurité où les agences réglementaires imposent des marges de stabilité. En intégrant les contraintes de robustesse directement dans la boucle d'entraînement via la projection SDP, les auteurs montrent que les contrôleurs NN peuvent atteindre des mesures de performance (récompense) supérieures à celles des contrôleurs linéaires traditionnels tout en satisfaisant les mêmes exigences rigoureuses de robustesse. Ce travail comble le fossé entre la flexibilité de l'apprentissage profond et les garanties de sécurité requises par la théorie du contrôle classique.