Stability of data-driven Koopman MPC with terminal conditions

1. Problématique

L'article aborde le défi de la stabilité asymptotique des systèmes de commande prédictive (MPC) lorsqu'ils utilisent des modèles de substitution (surrogate models) appris à partir de données pour prédire la dynamique d'un système non linéaire inconnu.

• Contexte : Les méthodes MPC traditionnelles supposent que le modèle utilisé pour la prédiction décrit exactement la dynamique du système. Cependant, les modèles basés sur les données (comme ceux dérivés de l'opérateur de Koopman via EDMD) comportent inévitablement des erreurs d'approximation.
• Défi : En présence d'erreurs de modèle, la récursivité de la faisabilité (la capacité à trouver une solution à chaque pas de temps) et la stabilité asymptotique du système en boucle fermée ne sont plus garanties par les résultats standards.
• Objectif : Démontrer que le MPC avec conditions terminales peut stabiliser asymptotiquement un système inconnu, même avec des erreurs de modélisation, à condition que ces erreurs satisfassent des bornes spécifiques.

2. Méthodologie

L'approche proposée combine la théorie du MPC robuste avec des modèles de substitution basés sur l'opérateur de Koopman.

A. Cadre Théorique et Hypothèses

Le système réel est noté $x^+ = f(x, u)$, tandis que le MPC utilise un modèle de substitution $x^+ = f^\varepsilon(x, u)$ paramétré par la précision $\varepsilon$.
Pour garantir la stabilité, deux hypothèses clés sont posées sur l'erreur d'approximation :

1. Borne d'erreur proportionnelle et uniforme : L'erreur $\|f(x, u) - f^\varepsilon(x, u)\|$ doit être bornée par une fonction linéaire de l'état et de l'entrée ($c_x^\varepsilon \|x\| + c_u^\varepsilon \|u\|$) et une constante uniforme $\eta^\varepsilon$. Crucialement, les coefficients doivent tendre vers zéro lorsque la précision du modèle augmente.
2. Lipschitzianité : Le modèle de substitution doit être Lipschitzien sur l'ensemble des contraintes.

B. Algorithme MPC avec Conditions Terminales

L'algorithme MPC intègre les éléments suivants pour assurer la stabilité malgré les erreurs :

• Resserrement des contraintes (Constraint Tightening) : Pour garantir la récursivité de la faisabilité, les contraintes d'état sont resserrées en tenant compte de la borne d'erreur uniforme ($\eta^\varepsilon$) et de la constante de Lipschitz du modèle. Cela crée une marge de sécurité pour compenser la divergence entre la trajectoire prédite et la trajectoire réelle.
• Fonction de coût et ensemble terminal : Une fonction de coût terminal $V_f^\varepsilon$ et un ensemble terminal $X_f^\varepsilon$ sont conçus sur la base du modèle de substitution (souvent via une linéarisation autour de l'origine). Une loi de commande locale $\mu^\varepsilon$ est définie sur cet ensemble pour assurer une décroissance de Lyapunov.
• Preuve de stabilité : Les auteurs prouvent que si les bornes d'erreur sont suffisamment petites, la fonction de valeur optimale du MPC agit comme une fonction de Lyapunov pour le système réel, garantissant la convergence vers l'origine.

C. Implémentation via kEDMD (Kernel Extended Dynamic Mode Decomposition)

Pour satisfaire les hypothèses théoriques, l'article propose d'utiliser des modèles générés par kEDMD (Extended Dynamic Mode Decomposition avec noyaux) :

• Extension aux systèmes contrôlés : Adaptation de l'algorithme kEDMD pour les systèmes affines en commande.
• Points d'observation virtuels : Utilisation de points de données locaux pour estimer les termes de la dynamique sans nécessiter de mesures exactes aux points d'observation.
• Physique-informée (PI-kEDMD) : Une modification clé de l'algorithme d'apprentissage consiste à forcer la condition d'équilibre ($f^\varepsilon(0,0)=0$) lors de la régression. Cela garantit mathématiquement l'existence d'une borne d'erreur proportionnelle (linéaire en $\|x\|$ et $\|u\|$), condition sine qua non pour la stabilité asymptotique prouvée.

3. Contributions Clés

1. Preuve de Stabilité Asymptotique : L'article établit des conditions suffisantes pour la stabilité asymptotique (et non seulement pratique) d'un MPC utilisant un modèle de substitution, en présence d'erreurs de modélisation.
2. Rôle des Conditions Terminales : Contrairement à des travaux précédents sur le MPC sans conditions terminales, cette étude montre comment intégrer des conditions terminales (coût et ensemble) pour permettre l'utilisation d'horizons de prédiction courts tout en assurant la stabilité.
3. Cadre Rigoureux pour kEDMD : L'article démontre que les modèles kEDMD, lorsqu'ils sont construits avec la méthode PI-kEDMD (respectant l'équilibre), satisfont rigoureusement les hypothèses de bornes d'erreur proportionnelles requises par la théorie.
4. Analyse de la Récursivité : Démonstration de la faisabilité récursive grâce à un resserrement des contraintes basé sur la constante de Lipschitz et la borne d'erreur uniforme.

4. Résultats Numériques

Une étude de cas sur un oscillateur de Van der Pol contrôlé a été réalisée pour valider la théorie :

• Configuration : Comparaison entre un kEDMD standard et un kEDMD "physique-informé" (PI-kEDMD) avec différents nombres de points d'observation (352 et 1327).
• Observations :
  • Le MPC basé sur le kEDMD standard (sans garantie de borne proportionnelle) atteint une stabilité pratique : l'erreur se stabilise à une valeur constante positive (le système ne converge pas exactement à zéro).
  • Le MPC basé sur le PI-kEDMD (respectant la condition d'équilibre) atteint une stabilité asymptotique : l'erreur converge vers zéro, confirmant la théorie.
• Performance : L'augmentation du nombre de points de données réduit les bornes d'erreur, permettant des horizons de prédiction plus longs et une meilleure précision.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie de contrôle robuste et les méthodes d'apprentissage automatique modernes pour le contrôle non linéaire.

• Garantie de sécurité : Il fournit un cadre théorique rigoureux permettant d'utiliser des modèles appris (boîte noire ou boîte grise) dans des applications critiques où la stabilité est requise.
• Guide de conception : Il indique explicitement que pour garantir la stabilité asymptotique avec des modèles de Koopman, il est impératif d'incorporer des connaissances physiques (comme la condition d'équilibre) lors de l'entraînement du modèle.
• Limites et Perspectives : Les auteurs reconnaissent que le resserrement des contraintes basé sur la constante de Lipschitz peut être conservateur (il grandit avec l'horizon de prédiction). Ils suggèrent que des techniques de resserrement plus avancées (basées sur la stabilisabilité incrémentale) pourraient être explorées dans le futur pour réduire cette conservatisme.

En résumé, l'article prouve qu'il est possible de stabiliser asymptotiquement des systèmes non linéaires complexes en utilisant des modèles de Koopman appris, à condition de respecter des conditions strictes sur la structure de l'erreur d'approximation et d'utiliser des conditions terminales appropriées dans le MPC.