Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Résumé Technique : Apprentissage de Contrôleurs Neuraux avec Garanties d'Optimalité et de Stabilité via la Dissipativité Entrée-Sortie

Énoncé du Problème
L'apprentissage profond a montré un potentiel prometteur pour résoudre des tâches de contrôle non linéaires complexes dans la robotique, les transports et les systèmes énergétiques. Cependant, ces méthodes manquent généralement de garanties formelles pour des propriétés critiques telles que la stabilité. Bien que les approches basées sur l'apprentissage utilisant la synthèse inductive guidée par contre-exemple (par exemple, via des solveurs SMT) puissent vérifier la stabilité des contrôleurs neuraux, elles échouent souvent à fournir des garanties d'optimalité sur un horizon infini. Les méthodes existantes optimisent fréquemment les performances sur des trajectoires d'échantillons finis, ce qui conduit à des conceptions « myopes » qui ne garantissent ni l'optimalité à long terme ni la stabilité globale. Le défi central abordé dans cet article est de concevoir des contrôleurs neuraux qui garantissent simultanément la stabilité asymptotique et l'optimalité par rapport à des fonctions de coût définies par l'utilisateur pour des systèmes non linéaires généraux.

Méthodologie
Les auteurs proposent un cadre basé sur la théorie de la dissipativité entrée-sortie, une généralisation de la théorie de Lyapunov qui utilise des fonctions de stockage et des fonctions de taux d'apport pour caractériser la dissipation d'énergie dans les paires entrée-sortie.

1. Cadre Théorique :

   • Le système est modélisé par $\dot{x} = f(x) + g(x)u$.
   • Les auteurs définissent une fonction de stockage $V(x)$ (analogue à une fonction de Lyapunov) et une fonction de taux d'apport $w(x, u)$ sous une forme Quadratique-Stockage-Résistive (QSR) : $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Stabilité : Si le système est dissipatif avec $w(x, u) < 0$ sous une loi de commande spécifique, le système en boucle fermée est stable. Les auteurs dérivent une loi de commande structurée $\pi(x) = -R(x)^{-1}S(x)^\top x$ qui garantit la stabilité si des inégalités matricielles spécifiques (impliquant $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) sont définies positives.
   • Optimalité : Les auteurs prouvent que cette loi de commande structurée est la solution optimale d'un problème de contrôle optimal à horizon infini. Le fonctionnel de coût associé est dérivé des fonctions de stockage et de taux d'apport apprises. De plus, ils montrent que si des conditions de régularité supplémentaires sont remplies, le fonctionnel de coût devient une forme quadratique non linéaire, permettant de façonner le contrôleur vers des objectifs spécifiques définis par l'utilisateur.

2. Algorithme d'Apprentissage (Synthèse Inductive Guidée par Contre-exemple) :

   • Paramétrage Neuraux : La fonction de stockage $V(x)$ et les fonctions matricielles $Q(x), S(x), R(x)$ sont paramétrées par des réseaux de neuraux à propagation avant (feed-forward).
   • Réduction de Dimensionnalité : Une contribution technique clé est une reformulation de la condition de dissipativité. Au lieu d'échantillonner sur l'espace conjoint état-entrée (ce qui est difficile pour des entrées de haute dimension), les auteurs dérivent une condition (Proposition 8) qui dépend uniquement de l'espace d'état $x$. Cela implique une inégalité matricielle $M(x) \succ 0$ dérivée via le complément de Schur, réduisant considérablement la dimensionnalité de l'échantillonnage.
   • Boucle d'Apprentissage : L'apprentissage utilise une approche hybride :
     • Apprenant (Learner) : Optimise les paramètres des réseaux de neuraux en utilisant des fonctions de perte dérivées des conditions de dissipativité (définition positive de $V$, $R$, et $\Delta$, ainsi que l'inégalité matricielle $M$).
     • Vérificateur (Verifier) : Utilise des solveurs de satisfaction de contraintes de type SMT (spécifiquement dReal) et la descente de gradient projetée (PGD) pour vérifier formellement les conditions sur la région d'intérêt.
     • Contre-exemples : Si le vérificateur trouve une violation, le contre-exemple est ajouté à l'ensemble d'entraînement pour affiner les réseaux de neuraux. Cette boucle se poursuit jusqu'à ce que les garanties formelles soient satisfaites.

Contributions Clés

• Cadre Novateur : Une nouvelle méthode pour concevoir des contrôleurs neuraux qui fournit des garanties prouvables de stabilité et d'optimalité à horizon infini en apprenant la dissipativité entrée-sortie.
• Garanties Théoriques : Preuve que la loi de commande dérivée stabilise tout système partageant la même propriété de dissipativité et est la solution optimale d'un problème de contrôle optimal spécifique avec un fonctionnel de coût appris.
• Réduction de Dimensionnalité : Une reformulation de la condition de dissipativité qui réduit l'espace d'échantillonnage de l'espace produit état-entrée à l'espace d'état seul, rendant l'apprentissage de systèmes à entrées multiples plus efficace.
• Façonnage du Coût (Cost Shaping) : Un mécanisme pour façonner le fonctionnel de coût appris afin qu'il corresponde aux objectifs définis par l'utilisateur, comblant ainsi le fossé entre l'optimalité théorique et les mesures de performance pratiques.

Résultats Expérimentaux
Le cadre a été validé sur trois environnements de référence : un circuit électrique, un pendule inversé (contrôle statique et dynamique) et une tige sur un chariot.

• Baselines : La méthode a été comparée aux fonctions de Lyapunov de contrôle neuronal (NCLF), aux ODEs neuronales (NODE) et à une variante sans façonnage de coût (OURS-NCFS).
• Stabilité : Contrairement à NODE, qui a échoué à stabiliser le système dans certains scénarios malgré des coûts d'entraînement plus faibles, la méthode proposée a fourni des garanties de stabilité formelles vérifiées par dReal.
• Optimalité : La méthode proposée (OURS) a systématiquement obtenu des coûts cumulés plus faibles que NCLF et, dans plusieurs cas (par exemple, circuit électrique, pendule inversé), a égalé ou surpassé NODE tout en maintenant la stabilité.
• Cas Linéaire : Dans l'expérience du circuit électrique (un système linéaire), le contrôleur appris a réussi à reproduire la solution théorique du régulateur quadratique linéaire (LQR), démontrant la capacité du cadre à récupérer des solutions optimales connues.

Signification et Revendications
L'article affirme que sa principale importance réside dans l'unification des garanties de stabilité et d'optimalité au sein d'un cadre d'apprentissage. En exploitant la théorie de la dissipativité, les auteurs soutiennent que leur approche surmonte les limites de l'entraînement purement basé sur les trajectoires (qui manque de garanties d'horizon infini) et de l'apprentissage traditionnel basé sur Lyapunov (qui manque souvent de certificats d'optimalité explicites). La capacité d'apprendre directement les fonctions de taux d'apport et de stockage permet au contrôleur d'hériter de propriétés d'optimalité qui peuvent être façonnées vers des objectifs spécifiques définis par l'utilisateur. Les auteurs notent que bien que l'apprentissage de ces fonctions sous des contraintes strictes reste difficile, leur reformulation et leur synthèse guidée par la vérification offrent une voie robuste vers un contrôle neuronal sûr et optimal.