Résumé technique : PolarNet, un réseau de neurones à minimum unique pour la modélisation de fonctions de Lyapunov

1. Énoncé du problème

L'apprentissage de stratégies de contrôle avec des garanties de stabilité prouvables à l'aide de réseaux de neurones demeure un défi majeur. Bien que les récentes méthodes de « contrôle par Lyapunov neuronal » aient montré des promesses en apprenant conjointement un contrôleur $u_\theta$ et une fonction de Lyapunov $V_\theta$ pour satisfaire les critères de stabilité, ces approches souffrent d'un mode d'échec spécifique lors de l'entraînement.

Le problème central identifié est que les architectures de réseaux de neurones existantes, bien que capables de modéliser des fonctions définies positives, ne garantissent pas structurellement que la fonction de Lyapunov apprise possède exactement un point critique (l'équilibre à l'origine). Pour une fonction de Lyapunov valide $V_\theta$ dans un système asymptotiquement stable, le gradient doit satisfaire $\nabla V_\theta(x) \neq 0$ pour tout $x \neq 0$. Cependant, les architectures flexibles standards (par exemple, les MLP) peuvent apprendre des fonctions présentant des minima locaux ou des points de selle spuriés pendant l'entraînement.

Cette déficience architecturale conduit à un scénario d'échec spécifique :

1. Le réseau apprend une $V_\theta$ avec plusieurs minima locaux (par exemple, aux points $P$ et $Q$).
2. Le contrôleur $u_\theta$ est entraîné pour minimiser le risque empirique de $\dot{V}_\theta \geq 0$. Si la dynamique du système permet à l'état de se stabiliser à un équilibre spurieux (où $\dot{x}=0$ et $\nabla V_\theta=0$), le terme de perte disparaît.
3. Par conséquent, le processus d'entraînement stagne, et le contrôleur synthétisé échoue à assurer la stabilité asymptotique globale, même si la perte empirique suggère une convergence.

Les stratégies d'atténuation existantes, telles que l'ajout de marges de perte ou la recherche active de contre-exemples, atténuent mais ne résolvent pas fondamentalement ce problème, car elles reposent sur des heuristiques d'optimisation plutôt que sur des garanties structurelles.

2. Méthodologie : PolarNet

Pour remédier à cela, les auteurs proposent PolarNet, une architecture de réseau de neurones conçue pour imposer structurellement la propriété de « point critique unique ».

2.1 Fondement théorique

La méthode repose sur une insight mathématique clé : toute fonction de Lyapunov valide (spécifiquement, une « fonction à pôle unique ») pour un équilibre asymptotiquement stable peut être représentée comme le carré de la norme euclidienne d'une application inversible lisse.

• Définition 3 (Fonction à pôle unique) : Une fonction $V(x)$ est une fonction à pôle unique si elle est lisse $C^\infty$, définie positive ($V(0)=0, V(x)>0$ pour $x \neq 0$), possède exactement un point critique en $x=0$, et est propre (les ensembles de sous-niveau sont compacts).
• Théorème 1 : Pour toute fonction à pôle unique $V(x)$ avec un point critique non dégénéré à l'origine, il existe une fonction vectorielle $\Psi(x)$ lisse $C^\infty$, inversible et à passage par zéro, telle que $V(x) = \|\Psi(x)\|^2$.
• Théorème 2 : Si $\Psi(x)$ est une application lisse $C^\infty$, à passage par zéro et inversible, alors $V_\theta(x) = \|\Psi(x)\|^2$ est garantie d'être une fonction à pôle unique, quelles que soient les valeurs spécifiques des paramètres (à condition qu'elles soient finies). Cela assure que $\nabla V_\theta(x) \neq 0$ pour tout $x \neq 0$.
• Théorème 3 : Pour tout équilibre asymptotiquement stable d'un système dynamique localement lipschitzien, il existe une fonction de Lyapunov qui est également une fonction à pôle unique. Cela établit que PolarNet est théoriquement capable d'approcher la fonction de Lyapunov nécessaire pour tout tel système.

2.2 Architecture du réseau

PolarNet implémente l'application $\Psi(x)$ en utilisant des Flux de Couplage Affine, un type de Réseau de Neurones Inversible (INN).

• Structure : Le réseau est composé de $L$ couches où chaque couche $h^{(l)}$ partitionne l'entrée $y$ en deux parties ($y_{\leq k}$ et $y_{>k}$). Une partie est transmise inchangée, tandis que l'autre est transformée via une transformation affine mise à l'échelle et décalée par des réseaux de neurones $f_s$ et $f_t$ agissant sur la première partie.
• Inversibilité : L'architecture est conçue pour être mathématiquement inversible par construction.
• Contrainte de passage par zéro : Pour assurer $\Psi(0)=0$ (nécessaire pour $V(0)=0$), les fonctions de translation $f_t$ dans chaque couche sont implémentées comme des Perceptrons Multicouches (MLP) sans termes de biais et en utilisant des fonctions d'activation à passage par zéro (tanh).
• Lissité : Toutes les fonctions d'activation sont lisses (tanh), assurant que la $V_\theta$ résultante est lisse $C^\infty$.

La fonction de Lyapunov finale est calculée comme $V_\theta(x) = \|\Psi(x)\|^2$.

3. Contributions clés

1. Identification d'un mode d'échec : L'article identifie et caractérise une classe spécifique de comportements lors de l'entraînement dans le contrôle par Lyapunov neuronal où l'absence de garanties structurelles conduit à des équilibres spuriés et à une stagnation de l'entraînement.
2. Architecture PolarNet : La proposition d'une nouvelle architecture de réseau qui impose structurellement la propriété de point critique unique, assurant que la fonction apprise est un candidat valide pour une fonction de Lyapunov (satisfaisant $\nabla V \neq 0$ pour $x \neq 0$) par conception.
3. Garanties théoriques :
   • Preuve que PolarNet produit toujours une fonction à pôle unique.
   • Preuve d'universalité : PolarNet peut approximer toute fonction à pôle unique (et donc toute fonction de Lyapunov valide pour les systèmes asymptotiquement stables) avec une précision arbitraire.
4. Remplacement direct : Démonstration que PolarNet peut être utilisé comme un remplacement direct des architectures de base existantes dans les cadres de contrôle par Lyapunov neuronal sans modifier l'objectif d'entraînement ou l'algorithme.

4. Résultats expérimentaux

Les auteurs ont mené des expériences numériques pour valider les affirmations théoriques :

• Approximation de fonctions (Propriété à pôle unique) :

  • Les auteurs ont entraîné PolarNet et des architectures de référence (MLP, Lyapunov Net, Wei et al.) pour ajuster des champs scalaires présentant plusieurs minima locaux.
  • Résultat : Les modèles de référence ont réussi à ajuster les fonctions à minima multiples, violant ainsi la contrainte de point critique unique. PolarNet, en revanche, n'a pas réussi à ajuster les formes à minima multiples (comme prévu par ses contraintes structurelles) mais a réussi à maintenir la propriété de point critique unique dans tous les cas. Cela a confirmé que PolarNet ne peut pas produire de minima locaux spuriés.

• Synthèse de contrôleur :

  • Un problème de contrôle non linéaire difficile (un système 2D avec des dynamiques inconnues) a été utilisé pour synthétiser un contrôleur stabilisant.
  • Référence : En utilisant une architecture standard (comme dans [21]), l'entraînement a échoué à stabiliser le système ; la fonction de Lyapunov apprise a développé plusieurs minima locaux, provoquant un blocage du contrôleur à des équilibres spuriés.
  • PolarNet : Le remplacement du réseau de Lyapunov par PolarNet a permis à l'entraînement de converger avec succès. Le contrôleur résultant a stabilisé le système sur tout l'espace d'état, et la fonction de Lyapunov apprise a maintenu un minimum unique à l'origine.

5. Signification et affirmations

L'article affirme que PolarNet offre une solution rationnelle et pratique à un mode d'échec précédemment négligé dans le contrôle par Lyapunov neuronal. En déplaçant la charge des garanties de stabilité du processus d'optimisation vers l'architecture du réseau elle-même, PolarNet assure que la fonction de Lyapunov apprise adhère aux conditions mathématiques nécessaires à la stabilité.

Les auteurs positionnent PolarNet comme la première architecture à imposer structurellement la propriété de point critique unique. Ils soulignent que cette approche se distingue des stratégies d'entraînement heuristiques (comme la génération de contre-exemples) car elle empêche fondamentalement le réseau d'apprendre des formes de Lyapunov invalides.

6. Limitations

Les auteurs notent explicitement les limitations suivantes :

• Classe de systèmes : Les garanties théoriques supposent que le système dynamique est localement lipschitzien. Pour les systèmes non lipschitziens, PolarNet peut toujours être appliqué, mais la garantie qu'il peut représenter une fonction de Lyapunov valide (Théorème 3) ne tient pas.
• Portée : La méthode est conçue pour les systèmes à temps continu et la stabilité de Lyapunov. Elle ne traite pas actuellement les systèmes à temps discret ou d'autres définitions de stabilité.
• Spécificité de la tâche : PolarNet est optimisé pour la synthèse de contrôleurs pour un seul équilibre désiré. Il n'est pas conçu pour des tâches nécessitant l'identification de plusieurs équilibres stables, où ses contraintes structurelles pourraient limiter l'expressivité.