Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

Résumé technique : Variétés invariantes de systèmes dynamiques à temps discret avec exosystèmes non linéaires via des réseaux de neurones physiques hybrides

Énoncé du problème
L'article aborde le défi de l'approximation des variétés invariantes (VI) pour des systèmes dynamiques à temps discret pilotés par des dynamiques autonomes exogènes (exosystèmes). De tels systèmes hiérarchiques ou couplés sont prévalents en théorie du contrôle (par exemple, la régulation de sortie non linéaire) et dans la modélisation du comportement collectif (par exemple, les dynamiques leader-suiveur dans le trafic, les vols d'oiseaux et les bancs de poissons). Bien que les VI fournissent un cadre rigoureux pour la réduction de dimensionnalité et l'analyse de stabilité, leur calcul dans des contextes à temps discret reste difficile. Les méthodes traditionnelles, telles que les développements en série de puissances locales (PSE), souffrent du « fléau de la dimensionnalité » concernant la croissance combinatoire des coefficients et sont limitées par le rayon de convergence, échouant souvent loin du point d'équilibre. À l'inverse, les approches purement basées sur les données ou les réseaux de neurones informés par la physique (PINN), bien que évolutives, peuvent manquer d'interprétabilité et des propriétés de convergence locale rapide des développements en série près des équilibres.

Méthodologie
Les auteurs proposent un cadre d'apprentissage automatique hybride informé par la physique qui combine de manière synergique des séries polynomiales multivariées et des réseaux de neurones (RN) peu profonds pour approximer la relation fonctionnelle $x = \pi(y)$ définissant la VI.

1. Formulation mathématique : Le problème est posé comme la résolution d'un système d'équations fonctionnelles non linéaires (EFN) dérivées de la condition d'invariance :
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   où $y$ représente l'état de l'exosystème et $x$ l'état piloté.

2. Architecture hybride : L'approximation $\tilde{\pi}_{HxS}(y)$ est construite comme une fonction par morceaux :

   • À l'intérieur d'un hyperrectangle $D$ (centré sur l'équilibre) : Une série polynomiale (Puissance, Legendre ou Tchebychev) est utilisée pour exploiter les propriétés de convergence géométrique/exponentielle près de l'équilibre.
   • À l'extérieur de $D$ : Un réseau de neurones à propagation avant à couche unique (SLFNN) est employé pour tirer parti des capacités d'approximation universelle dans les régions où les séries polynomiales peuvent diverger ou où le rayon de convergence est dépassé.
   • Continuité : Une fonction de commutation basée sur la fonction de Heaviside assure une continuité $C^0$ à la frontière $\partial D$, imposée via une pénalité de continuité dans la fonction de perte.

3. Optimisation : La tâche d'apprentissage est formulée comme un problème d'optimisation informé par la physique minimisant une fonction de perte composite comprenant :

   • Résidus des EFN : Imposition de l'équation d'invariance aux points de collocation.
   • Contrainte d'équilibre : Garantie que la variété passe par le point d'équilibre.
   • Contrainte de continuité : Correspondance des sorties polynomiales et des RN à la frontière.

   L'optimisation est résolue en utilisant l'algorithme Levenberg–Marquardt (LM). Crucialement, les auteurs dérivent des expressions analytiques pour toutes les dérivées des résidus par rapport aux coefficients polynomiaux et aux paramètres du RN, arguant que cette approche offre une fiabilité et une efficacité supérieures par rapport aux différences finies ou à la différenciation automatique, en particulier pour les systèmes raides.

4. Fondements théoriques : L'article établit un théorème d'approximation universelle pour le composant RN autonome sous des hypothèses spécifiques (régularité de Barron de la VI, continuité lipschitzienne de la dynamique du système, et composition bornée de la mesure par rapport à l'exosystème). Le théorème garantit un taux de convergence $L^2$ de $O(L^{-1/2})$ par rapport à la largeur du réseau $L$.

Contributions clés

• Schéma hybride : Introduction d'une architecture hybride novatrice qui intègre l'interprétabilité et la convergence locale des séries polynomiales avec la puissance d'approximation globale des réseaux de neurones pour les VI à temps discret.
• Dérivées analytiques : Dérivation de dérivées analytiques sous forme fermée pour les résidus du schéma hybride, facilitant une optimisation LM robuste.
• Garanties théoriques : Établissement d'un théorème d'approximation universelle et de taux de convergence pour le composant RN appliqué aux équations d'invariance à temps discret.
• Étalonnage : Évaluation numérique complète comparant le schéma hybride aux PINN autonomes et aux PSE traditionnels.

Résultats
Le cadre a été évalué sur deux exemples de référence :

1. Bioréacteur enzymatique (1D piloté, 1D exosystème) : Le schéma hybride (utilisant des séries Puissance, Legendre ou Tchebychev) a atteint des erreurs relatives moyennes $L^2$ de l'ordre de $10^{-5}$, surpassant nettement le PSE autonome (erreurs $\sim 10^{-3}$) et surpassant légèrement le PINN autonome. L'approche hybride a démontré une haute précision près de l'équilibre (due au composant polynomial) et a maintenu une précision loin de celui-ci (due au composant RN).
2. Modèle de suivi de véhicule (20D piloté, 2D exosystème) : Dans ce cas de dimension supérieure, le schéma hybride a de nouveau surpassé le PSE (erreurs $\sim 10^{-2}$) et a montré une précision globale légèrement supérieure au PINN autonome (erreurs $\sim 10^{-3}$). Le schéma hybride a généralisé avec succès à la variété de dimension 20, maintenant une distribution d'erreur homogène sur tout le domaine.

Un cas de validation supplémentaire avec une VI analytique connue ($x = \ln(1+y)$) a confirmé que, tandis que les développements polynomiaux purs échouent en dehors de leur rayon de convergence, le schéma hybride maintient une précision sur l'ensemble du domaine, avec des performances s'améliorant à mesure que le degré polynomial augmente.

Signification et affirmations
L'article affirme que le schéma hybride informé par la physique proposé offre un avantage comparatif par rapport aux développements polynomiaux autonomes et aux réseaux de neurones autonomes. Plus précisément :

• Il surmonte la limitation de localité des séries polynomiales, qui échouent en dehors de leur rayon de convergence.
• Il améliore les PINN autonomes en tirant parti de la convergence rapide des polynômes près de l'équilibre, résultant en une précision numérique plus élevée dans cette région.
• Il fournit une solution en une étape, plug-and-play qui évite la complexité de la linéarisation du problème ou l'utilisation de procédures multi-étapes souvent requises par les méthodes traditionnelles.

Les auteurs notent modestement que, bien que la méthode soit hautement efficace pour les variétés de faible à moyenne dimension (où la complexité polynomiale reste traitable), la croissance combinatoire des coefficients reste un goulot d'étranglement pour les dimensions très élevées. Ils suggèrent que pour de tels cas, une approximation PINN autonome pourrait être plus appropriée. L'article conclut en identifiant des axes de travail futurs, notamment l'analyse rigoureuse des propriétés de convergence du schéma hybride et l'intégration de bases produits tensoriels parcimonieux.