📊 statistics

Learning to control switching nonlinear systems with Koopman operator regression

Cet article propose un cadre de commande pour les systèmes non linéaires avec des espaces d'action finis qui utilise la régression de l'opérateur de Koopman dans un espace de Hilbert à noyau reproduisant pour apprendre des modèles prédictifs commutants linéaires, lesquels sont ensuite employés dans une commande prédictive de modèle avec des garanties théoriques sur les taux d'apprentissage et la sous-optimalité.

Auteurs originaux : Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à équilibrer un bâton vacillant et imprévisible sur son doigt. Le bâton ne se contente pas de tomber ; il pivote, tourne et réagit de manière totalement erratique selon la façon dont le robot le pousse. C'est ce que les scientifiques appellent un « système non linéaire », et c'est notoirement difficile à contrôler car les mathématiques deviennent vite complexes.

Ce document présente une astuce ingénieuse pour dompter ce chaos. Au lieu d'essayer de résoudre directement les mathématiques complexes et sinueuses, les auteurs suggèrent de « lever » le problème dans un monde différent — un espace de dimension supérieure où les règles deviennent soudainement simples et droites. Imaginez que vous preniez une pelote de laine emmêlée et que, par magie, vous l'étiriez jusqu'à ce qu'elle devienne une ligne parfaitement droite. Dans ce nouveau monde, le bâton chaotique se comporte comme un objet prévisible et rectiligne.

L'échelle magique : Les opérateurs de Koopman
L'outil qu'ils utilisent pour réaliser cet étirement est appelé l'opérateur de Koopman. Dans le monde réel, le mouvement du bâton est une courbe complexe. Mais dans ce monde « élevé », le mouvement n'est qu'un simple commutateur. Si le robot pousse à gauche, le bâton se déplace d'une certaine manière ; s'il pousse à droite, il se déplace d'une autre. C'est comme un train qui n'a que quelques rails à sa disposition. Les auteurs montrent que même si le système d'origine est une bête non linéaire sauvage, nous pouvons trouver une famille de ces « rails » (opérateurs linéaires) qui décrivent son comportement parfaitement, tant que le robot dispose d'un ensemble limité de mouvements au choix.

Apprendre à partir de quelques instantanés
Le hic, c'est que le robot ne connaît pas encore les rails. Il doit les apprendre. Les auteurs enseignent au robot en lui montrant une série d'« instantanés » du mouvement du bâton. Ils utilisent une méthode appelée régression de l'opérateur de Koopman (une façon sophistiquée de dire « apprendre le modèle à partir des données ») pour déterminer exactement à quoi ressemblent ces rails.

Ils ont prouvé mathématiquement que si vous donnez suffisamment d'instantanés au robot, celui-ci peut apprendre ces rails avec une grande précision. Plus on lui fournit de données, plus les rails appris se rapprochent des vrais. Ils n'ont pas simplement deviné cela ; ils ont dérivé des taux spécifiques montrant comment l'erreur diminue à mesure que le nombre de points de données augmente. Par exemple, avec suffisamment de données, l'erreur de prédiction de l'étape suivante chute à un taux spécifique (suivant une échelle en $n^{-1/6}$ dans le scénario le plus rapide), ce qui signifie que le modèle devient de plus en plus précis.

La stratégie de « l'anticipation » : Le contrôle prédictif de modèle (MPC)
Une fois que le robot connaît les rails, il doit encore décider quel chemin prendre à chaque instant. Le document utilise une stratégie appelée Contrôle Prédictif de Modèle (MPC). Imaginez que le robot soit un joueur d'échecs qui ne se contente pas de regarder le coup suivant, mais qui simule les 10 ou 15 coups suivants dans sa tête pour voir quel chemin mène au meilleur résultat.

Les auteurs montrent que même si le robot ne regarde qu'une courte distance vers l'avenir (un « horizon prédictif » fini), il peut tout de même accomplir un excellent travail. Ils ont prouvé que si le robot regarde suffisamment loin devant lui (spécifiquement, si l'horizon $T$ est suffisamment grand par rapport à une constante $C$ dérivée du coût du système), la stratégie devient presque aussi bonne que le plan parfait à horizon infini. La « sous-optimalité » (à quel point il est moins bon que le plan parfait) chute exponentiellement à mesure que le robot regarde plus loin.

Qu'en est-il des erreurs ?
Puisque le robot a appris les rails à partir de données, il peut commettre de petites erreurs. Le document aborde ce problème de front. Ils ont montré que même avec ces rails appris, légèrement imparfaits, la performance du robot ne s'effondre pas. Au lieu de cela, le coût final (la qualité de l'équilibre du bâton) reste dans une limite prévisible. Plus l'erreur d'apprentissage est grande, plus le résultat final est médiocre, mais la relation est fluide et contrôlée. Ils n'ont pas seulement affirmé que cela se produit ; ils ont écrit la formule exacte montrant comment l'erreur d'apprentissage se traduit en erreur de contrôle.

Le test de conduite : L'oscillateur de Duffing
Pour prouver qu'il ne s'agissait pas seulement de théorie, les auteurs ont testé leur méthode sur un système vacillant célèbre appelé l'oscillateur de Duffing. Ils ont simulé le robot contrôlant ce système avec deux ensembles de mouvements différents : un ensemble symétrique (pousser à gauche ou à droite avec une force égale) et un ensemble asymétrique (ajouter une option de « poussée » plus forte).

Dans leurs simulations, ils ont constaté que :

Plus de données aident : Lorsqu'ils ont augmenté le nombre d'instantanés d'entraînement de quelques unités à $10^6$ , les performances du robot se sont considérablement améliorées.
Regarder plus loin aide : Lorsqu'ils ont augmenté l'horizon d'anticipation $T$ de 1 à 15 étapes, le robot a bien mieux stabilisé le système. Avec un horizon court ( $T=1$ ), le système errait autour de plusieurs attracteurs (il n'arrivait pas à décider où se stabiliser). Avec un horizon long ( $T=15$ ), il s'est stabilisé de manière fluide exactement au centre.
La fonction de coût est importante : Ils ont utilisé une fonction de coût spécifique incluant un facteur de remise $\lambda = 0,9999$ pour s'assurer que le robot se soucie de l'avenir à long terme sans rester bloqué dans des boucles infinies.

Ce qu'ils ne prétendent pas
Il est important de noter ce que ce document ne dit pas. Ils ne prétendent pas que cela fonctionne pour n'importe quel système avec des options de contrôle infinies ; ils exigent spécifiquement un ensemble fini d'actions (comme un interrupteur avec quelques positions). Ils ne prétendent pas non plus que le système devient parfaitement stable à la limite si l'ensemble de contrôle est fini ; au lieu de cela, ils utilisent un coût variable dans le temps pour gérer le fait que le système pourrait simplement rester borné plutôt que de se stabiliser parfaitement à zéro. Ils évitent de supposer que le système est « ergodique » (une propriété statistique spécifique concernant les moyennes temporelles), ce qui rend leur méthode plus flexible que certaines approches précédentes.

L'essentiel à retenir
Les auteurs ont construit un pont entre le chaos non linéaire désordonné du monde réel et les mathématiques linéaires et propres. Ils ont démontré qu'en « élevant » le problème, en apprenant les règles à partir des données et en utilisant une stratégie intelligente d'anticipation, on peut contrôler efficacement des systèmes complexes. Ils ont prouvé mathématiquement que cela fonctionne et l'ont étayé par des simulations sur un système oscillant classique. Bien qu'ils n'aient pas encore testé cela sur un robot physique réel (ce qui est une étape future), les mathématiques et les simulations informatiques suggèrent que c'est une méthode solide et fiable pour apprendre aux machines à gérer l'imprévisible.

Résumé technique : Apprentissage du contrôle de systèmes non linéaires à commutation par régression de l'opérateur de Koopman

Énoncé du problème

Ce travail traite du défi de l'identification et du contrôle de systèmes dynamiques non linéaires où l'espace de commande $U$ est fini. La dynamique du système est régie par une application de flux de commutation non linéaire $f: X \times U \to X$ , décrite par l'équation de différence $x_{t+1} = f(x_t, u_t)$ . Les principales difficultés liées au contrôle de tels systèmes sont doubles :

Non-linéarité et dynamique inconnue : L'application de flux $f$ est généralement inconnue et non linéaire, ce qui rend la résolution du problème de commande optimale à horizon infini numériquement insoluble.
Ensembles de commande finis : La finitude de l'ensemble de commande peut conduire à des dynamiques en boucle fermée qui sont ultimement bornées mais pas asymptotiquement stables dans la limite, ce qui peut entraîner des coûts de commande optimale non bornés.

Pour répondre à ces problèmes, les auteurs proposent un cadre fondé sur les données qui transforme le problème de commutation non linéaire en un problème de commutation linéaire au sein d'un espace de Hilbert à noyau reproductible (RKHS), en exploitant le formalisme de l'opérateur de Koopman.

Méthodologie

1. Élévation de Koopman dans un RKHS

La méthodologie centrale consiste à élever l'espace d'état $X$ vers un espace d'observables de haute dimension (potentiellement de dimension infinie) $\mathcal{H}$ via une application de caractéristiques $\psi: X \to \mathcal{H}$ .

Dynamique de commutation linéaire : Pour un ensemble de commande fini $U$ , la dynamique non linéaire est représentée par une famille d'opérateurs linéaires $\{K_u\}_{u \in U}$ agissant sur l'état élevé $z_t = \psi(x_t)$ . L'évolution est régie par $z_{t+1} = K_{u_t} z_t$ .
Construction de l'opérateur : Les auteurs définissent les opérateurs de Koopman $K_u$ sur le RKHS $\mathcal{H}$ en étendant les opérateurs pré-Koopman définis sur l'image de l'espace d'état. Cette extension repose sur l'hypothèse que le noyau est strictement défini positif et que les opérateurs sont uniformément bornés sur un sous-espace dense de $\mathcal{H}$ .
Évitement des mesures invariantes : Contrairement à une partie de la littérature existante, cette approche ne nécessite pas l'existence ou la connaissance d'une mesure invariante (par exemple, pour les dynamiques ergodiques) pour définir les opérateurs.

2. Identification par régression fondée sur les données

Puisque les opérateurs $K_u$ sont inconnus, ils sont estimés à partir d'échantillons de données finis via une régression non paramétrique dans le RKHS.

Problème d'apprentissage : Pour chaque commande $u$ , l'opérateur $\hat{K}_u$ est appris en résolvant un problème de régression à valeurs d'opérateurs régularisé (régularisation de Tikhonov) afin de minimiser l'erreur entre l'état élevé prédit et l'état observé suivant.
Garanties de convergence : L'article dérive les taux d'apprentissage pour l'erreur d'approximation $\|\hat{K}_u - K_u\|$ . Ces taux dépendent de la taille de l'échantillon $n$ , des propriétés du noyau et d'un paramètre de « condition de source » $r \in (1/2, 1]$ qui quantifie la régularité de l'opérateur cible par rapport à la géométrie du noyau. L'analyse ne repose pas sur des hypothèses d'ergodicité ou de réversibilité temporelle.

3. Commande prédictive (MPC)

Pour résoudre le problème de commande optimale à horizon infini dans l'espace élevé, les auteurs utilisent la commande prédictive (MPC).

Coût de stade variant dans le temps : Pour gérer l'absence potentielle de stabilité asymptotique due aux actions finies, le coût de stade $\ell(t, z, u)$ est explicitement variant dans le temps (par exemple, en incorporant un facteur de remise). Cela garantit que le coût de commande optimale reste borné.
MPC exact vs inexact :
- MPC exact : Suppose que les véritables opérateurs de Koopman sont connus. L'article établit que l'écart de sous-optimalité décroît exponentiellement avec l'horizon prédictif $T$ , sous réserve qu'une hypothèse de contrôlabilité soit respectée.
- MPC inexact : Utilise les modèles de substitution appris $\hat{K}_u$ . L'article quantifie l'écart de sous-optimalité en combinant l'erreur d'apprentissage statistique (issue de la régression de Koopman) avec les propriétés de robustesse de l'algorithme MPC.

Contributions clés

Modèle de commutation linéaire pour commandes finies : L'étude formalise un modèle prédictif linéaire basé sur Koopman spécifiquement pour les dynamiques non linéaires avec des espaces de commande finis, évitant les hypothèses bilinéaires ou de linéarité temporelle invariante communes dans d'autres travaux.
Apprentissage non paramétrique avec bornes de convergence : Les auteurs démontrent comment apprendre ces modèles de Koopman via une régression non paramétrique dans les RKHS. Ils dérivent des bornes d'apprentissage qui ne reposent pas sur l'ergodicité ou la réversibilité temporelle, offrant un cadre théorique plus général.
Formulation MPC robuste : L'article formule un problème de commande optimale à horizon infini, non contraint, avec un coût de stade variant dans le temps pour accommoder les ensembles d'actions finis. Il résout cela via la MPC et fournit une analyse de performance théorique.
Analyse de la sous-optimalité :
- Pour les dynamiques de Koopman exactes, l'article dérive des bornes de sous-optimalité montrant une décroissance exponentielle avec la longueur de l'horizon.
- Pour les dynamiques apprises (de substitution), l'article fournit une borne de haute probabilité reliant l'erreur d'apprentissage statistique à la performance de la commande en boucle fermée. Cela fait le pont entre la théorie de l'apprentissage statistique et la commande robuste.
Validation empirique : Les algorithmes proposés sont implémentés et testés sur un benchmark d'oscillateur de Duffing, validant empiriquement les résultats théoriques concernant l'impact de l'horizon prédictif et du nombre d'échantillons d'entraînement sur la performance de la commande.

Résultats et conclusions

Taux d'apprentissage : L'analyse théorique montre que l'erreur de prédiction à un pas du modèle de Koopman approximé évolue comme $O(n^{-1/6})$ dans le régime le plus rapide (selon le paramètre de condition de source $r$ ). Cela correspond aux taux trouvés dans l'apprentissage supervisé, suggérant que les estimations sont précises.
Performance de la MPC :
- L'écart de sous-optimalité pour l'algorithme MPC exact décroît exponentiellement avec l'horizon prédictif $T$ .
- Lors de l'utilisation de modèles appris, l'écart de sous-optimalité est borné par un terme dépendant de l'erreur d'apprentissage $\epsilon(n, \delta)$ . À mesure que le nombre d'échantillons $n$ augmente, le modèle appris devient plus précis et le coût en boucle fermée se rapproche de la valeur optimale.
Simulations numériques : Les expériences sur l'oscillateur de Duffing confirment que :
- L'augmentation de l'horizon prédictif $T$ améliore la performance du contrôleur, conduisant à une meilleure stabilisation près de l'origine.
- L'augmentation du nombre d'échantillons d'entraînement $n$ réduit le coût de commande, validant les bornes d'apprentissage théoriques.
- La méthode fonctionne efficacement avec des ensembles de commande symétriques et asymétriques, ces derniers montrant une approche plus rapide des surfaces de commutation.

Signification et affirmations

L'article affirme fournir un cadre théorique rigoureux pour le contrôle de systèmes de commutation non linéaires à l'aide d'opérateurs de Koopman fondés sur les données. Sa signification réside dans :

Pont entre théorie et pratique : Il relie la théorie de l'apprentissage statistique (régression RKHS) à la théorie de la commande (MPC) pour fournir des garanties de performance prouvables pour la commande fondée sur les données.
Généralisation : En évitant les hypothèses telles que l'ergodicité ou les structures de systèmes spécifiques (par exemple, la bilinéarité), l'approche est applicable à une classe plus large de systèmes non linéaires avec des entrées de commande finies.
Robustesse quantifiable : Le travail quantifie explicitement comment les erreurs d'estimation issues de données finies se propagent à la performance de la commande, offrant un « pont de haute probabilité » entre l'apprentissage et la commande.
Mise en œuvre pratique : Les auteurs fournissent une implémentation en code ouvert et démontrent que les bornes de sous-optimalité théoriques sont pertinentes en pratique, comme le prouvent les simulations de l'oscillateur de Duffing.

Les auteurs restent modestes dans leurs affirmations, notant que l'analyse théorique repose sur des hypothèses spécifiques (par exemple, la bornitude, les conditions de source) et que des travaux futurs pourraient étendre ces résultats à différentes stratégies d'échantillonnage ou vérifier les hypothèses pour des classes spécifiques de systèmes non linéaires. Ils reconnaissent également que l'application en temps réel peut nécessiter des approximations pour la recherche combinatoire inhérente au problème de commande optimale.