On Building Myopic MPC Policies using Supervised Learning

1. Problématique

Le Contrôle Prédictif à Modèle (MPC) est une méthode de contrôle puissante qui résout itérativement un problème d'optimisation en ligne à chaque instant d'échantillonnage. Cependant, cette approche souffre d'une charge computationnelle élevée, ce qui la rend difficile à déployer sur des systèmes embarqués aux ressources limitées ou nécessitant des temps d'échantillonnage très rapides.

Pour contourner ce problème, des approches d'apprentissage supervisé (comme l'apprentissage par imitation ou le "behavioral cloning") sont utilisées pour approximer la politique de contrôle (la fonction qui mappe l'état vers l'action) à partir de données générées hors ligne. Bien que cela réduise le temps de calcul en ligne, ces méthodes présentent des limites :

• Elles sacrifient souvent les garanties de performance inhérentes à l'optimisation en ligne.
• Elles manquent de flexibilité : toute modification des paramètres du contrôleur (contraintes, modèle, temps d'échantillonnage) en ligne nécessite de réentraîner le modèle, ce qui est coûteux.
• Réduire naïvement l'horizon de prédiction pour accélérer le calcul dégrade sévèrement les performances.

L'objectif est donc de développer une politique MPC "myope" (à horizon court) qui conserve les performances d'un MPC à long horizon tout en réduisant drastiquement le coût de calcul en ligne, sans sacrifier la robustesse aux changements de paramètres.

2. Méthodologie Proposée

Les auteurs proposent une approche alternative qui ne cherche pas à apprendre directement la politique, mais à apprendre la fonction de valeur optimale (ou "coût à venir", cost-to-go), notée $V^*(x)$.

A. Principe de base : MPC Myope

Au lieu de résoudre un problème d'optimisation sur un long horizon $N$, le contrôleur en ligne résout un problème à un seul pas de temps (myope) :
$$\min_{u} \ell(x, u) + V_f(x^+)$$
où $V_f(x^+)$ est le coût futur estimé depuis l'état suivant $x^+$. Si $V_f$ est la fonction de valeur optimale exacte, cette politique myope est équivalente à la politique MPC optimale à long horizon (selon le principe d'optimalité de Bellman).

B. Apprentissage Supervisé de la Fonction de Valeur

Au lieu d'utiliser l'apprentissage par renforcement (RL) ou la programmation dynamique approximative (ADP) qui nécessitent des données en boucle fermée, les auteurs utilisent un apprentissage supervisé hors ligne :

1. Génération de données : On résout le problème MPC complet (long horizon) pour divers états initiaux $x_i$ afin de générer un jeu de données d'expert contenant des triplets : $(x_i, u^*_i, V^*(x_i))$.
2. Approximation paramétrique : On entraîne un approximateur de fonction $V(x; \theta)$ (par exemple un réseau de neurones ou des fonctions de base radiale) pour prédire $V^*(x)$.

C. Innovation Clé : Contrainte de Propriété de Descente

L'article identifie une faiblesse critique de l'entraînement standard par minimisation de l'erreur quadratique moyenne (MSE) : une bonne précision statistique (faible MSE) ne garantit pas une bonne performance en boucle fermée.

Les auteurs introduisent une contrainte de propriété de descente dans le problème d'optimisation d'entraînement :
$$V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
Cette contrainte force le modèle appris à respecter la dynamique du coût : le coût estimé de l'état successeur (après application de l'action optimale) doit être strictement inférieur au coût de l'état courant, déduction faite du coût immédiat.

• Cela transforme le problème d'apprentissage en un problème contraint.
• Cela garantit que la fonction apprise se comporte comme une fonction de Lyapunov de contrôle (CLF), assurant la stabilité et la convergence, même si l'erreur MSE globale est plus élevée.

3. Contributions Principales

1. Changement de paradigme : Passer de l'apprentissage de la politique (action directe) à l'apprentissage de la fonction de valeur pour alimenter un MPC myope.
2. Contrainte de descente : Intégration d'une contrainte physique (la descente du coût) dans le processus d'apprentissage supervisé, ce qui est une avancée par rapport aux méthodes purement basées sur la perte MSE.
3. Robustesse aux changements de paramètres : Contrairement aux politiques pré-entraînées directes, la méthode proposée permet de modifier les contraintes ou les paramètres du système en ligne (car le problème d'optimisation en ligne est résolu dynamiquement avec la fonction de valeur fixe), offrant une adaptabilité supérieure.
4. Utilisation de triplets État-Action-Valeur : Contrairement aux approches précédentes (comme Abdufattokhov et al., 2021) limitées à des formes quadratiques, cette méthode utilise des approximations paramétriques génériques et des données complètes $(x, u, V)$ générées par sensibilité paramétrique.

4. Résultats Expérimentaux

L'approche a été validée sur un exemple de référence : un réacteur chimique continu agité (CSTR) avec deux états (concentration et température).

• Comparaison MSE vs. Descente :
  • Un modèle entraîné uniquement avec la perte MSE ($\hat{\theta}_1$) a obtenu une erreur très faible (0.0515) sur les données d'entraînement. Cependant, en simulation en boucle fermée, le contrôleur myope associé n'a jamais atteint le point de consigne et a oscillé autour de celui-ci (performance médiocre).
  • Un modèle entraîné avec la contrainte de descente ($\hat{\theta}_2$) a eu une erreur MSE plus élevée (0.8199), mais a produit une fonction de valeur beaucoup plus significative. Le contrôleur myope associé a atteint le point de consigne avec des performances quasi-identiques à celles d'un MPC complet à long horizon ($N=140$).
• Adaptabilité :
  • Le contrôleur myope utilisant $V(x; \hat{\theta}_2)$ a été testé avec des changements de paramètres en ligne (réduction du temps d'échantillonnage de 3s à 0.1s et resserrement des contraintes d'état).
  • Résultat : Le contrôleur a continué à fonctionner correctement et à stabiliser le système, démontrant sa capacité à s'adapter à des conditions non présentes dans les données d'entraînement, ce qu'une politique directe pré-entraînée ne pourrait pas faire.

5. Signification et Conclusion

Cet article démontre que pour le contrôle prédictif basé sur l'apprentissage, la précision statistique (MSE) n'est pas le critère le plus important. La structure physique de la fonction apprise (respecter la propriété de descente) est cruciale pour garantir la stabilité et la performance du système en boucle fermée.

La méthode proposée offre une voie prometteuse pour déployer des contrôleurs MPC performants sur des systèmes embarqués à ressources limitées. Elle combine l'efficacité computationnelle d'un horizon court avec la robustesse d'une fonction de valeur apprise, tout en conservant la flexibilité de l'optimisation en ligne pour s'adapter aux variations du système.