Model-Agnostic Meta Learning for Differentiable MPC

Résumé Technique : Apprentissage de Méta-Modèle Agnostique pour la MPC Différentiable

Formulation du Problème
La commande prédictive de modèle (MPC) est une technique de commande robuste, pourtant ses performances dépendent fortement de l'exactitude des modèles de système et d'un réglage précis des fonctions de coût. Bien que l'optimisation de politique basée sur le gradient soit apparue comme une méthode rigoureuse pour régler les paramètres de la MPC (tels que les matrices de coût et les contraintes) afin d'améliorer les performances en boucle fermée, elle fait face à deux limitations principales :

1. Goulot d'étranglement computationnel : Le réglage traditionnel en boucle fermée nécessite de multiples itérations pour converger, ce qui est coûteux en calcul et souvent impraticable pour les implémentations matérielles en raison du temps d'exécution et des surcoûts liés aux réinitialisations du système.
2. Manque de généralisation : Les contrôleurs optimisés pour des conditions d'entraînement spécifiques ont tendance au surapprentissage (overfitting) et souffrent d'une dégradation significative des performances lorsqu'ils sont appliqués à des tâches inédites ou à des trajectoires de référence variables.

Les approches existantes utilisant le méta-apprentissage (spécifiquement le Model-Agnostic Meta-Learning, ou MAML) dans le domaine de la commande se sont largement concentrées sur l'adaptation du modèle de système pour combler l'écart sim-to-real. Ce document traite de l'écart concernant l'adaptation du contrôleur lui-même (plus précisément la définition de l'objectif et des contraintes de la MPC) à de nouvelles tâches de manière rapide.

Méthodologie
Les auteurs proposent un nouveau cadre qui intègre le Model-Agnostic Meta-Learning (MAML) avec la MPC différentiable et l'identification de système en ligne. L'objectif central est d'apprendre un ensemble de méta-hyperparamètres « généralisés » ($\bar{p}$) de telle sorte que, pour toute nouvelle tâche (trajectoire de référence $r$), un ensemble de paramètres optimaux spécifiques à la tâche ($p_r$) puisse être dérivé avec une interaction minimale (une seule étape de descente de gradient).

La méthodologie se compose de trois composantes clés :

1. Cadre de MPC Différentiable : Les auteurs utilisent le cadre d'optimisation de politique où le coût et les contraintes de la MPC sont traités comme des variables entraînables. Ils emploient la méthodologie Backpropagation-MPC (BP-MPC) pour calculer les gradients du coût en boucle fermée par rapport aux paramètres de la MPC. Cela permet un entraînement de bout en bout malgré la nature non lisse du problème d'optimisation.
2. Identification de Système en Ligne : Pour remédier aux inexactitudes du modèle, le cadre intègre un estimateur de moindres carrés récursifs (RLS). À chaque itération, les paramètres du système ($\theta$) sont mis à jour sur la base de données de trajectoire réelles ($x, u$). Cela remplit un double objectif : affiner le modèle prédictif utilisé dans la linéarisation de la MPC et réduire le biais dans les estimations de gradient utilisées pour l'optimisation de la politique.
3. Adaptation MAML : L'algorithme MAML est adapté au contexte de la MPC.
   • Boucle Interne : Pour un ensemble de références d'entraînement $\mathcal{R}$, l'algorithme calcule les paramètres spécifiques à la tâche $p_r(\bar{p})$ en effectuant une mise à jour de gradient unique sur la fonction de coût complète $C_{full}(r, \bar{p}, \theta_r)$.
   • Boucle Externe : Le paramètre généralisé $\bar{p}$ est mis à jour pour minimiser la somme des coûts atteints par ces paramètres adaptés.
   • Approximation : Pour éviter le coût computationnel du calcul des dérivées de second ordre exactes (Hessiennes) requises pour le gradient MAML exact, les auteurs emploient une approximation Quasi-Newton BFGS. Cela permet d'estimer le gradient de l'objectif méta en utilisant uniquement des informations de premier ordre et des interactions avec le système.

Principales Contributions

• MAML pour l'Optimisation de Politique MPC : Le papier introduit la première application de MAML spécifiquement pour l'adaptation des définitions d'objectifs et de contraintes des contrôleurs MPC, plutôt que simplement le modèle de système.
• Identification de Système Intégrée : Le pipeline optimise simultanément le modèle prédictif et les hyperparamètres de la MPC. Les auteurs démontrent que l'identification de système non seulement améliore la précision de la prédiction, mais améliore également la qualité des estimations de gradient pour le réglage de la politique.
• Cadre Validé sur Matériel : L'approche est implémentée et testée sur un système physique de Balle sur Plaque (Ball-on-Plate - BoP), démontrant sa viabilité dans un environnement réel avec des contraintes matérielles.

Résultats Expérimentaux
La méthode proposée a été validée sur un banc d'essai de type Balle sur Plaque en utilisant des trajectoires circulaires et carrées pour l'entraînement, et une trajectoire en forme de huit pour tester des tâches inédites.

• BP-MPC vs Baselines : Le schéma BP-MPC (combinant optimisation de politique et identification de système) a nettement surpassé les contrôleurs MPC non entraînés, LQR et PID. Plus précisément, il a réduit les erreurs de suivi de 10 % supplémentaires par rapport à une MPC avec des paramètres pré-identifiés mais sans réglage de politique.
• Impact de l'Identification de Système : Les expériences ont montré que l'inclusion de l'identification de système en ligne a réduit les coûts en boucle fermée d'un facteur deux par rapport à la BP-MPC sans identification de système. Même avec un modèle pré-identifié, le raffinement en ligne a fourni des réductions de coût supplémentaires (amélioration de 33 à 44 % par rapport aux baselines).
• Performance du Méta-Apprentissage : Les paramètres initialisés par MAML ($\bar{p}$) ont démontré une adaptabilité supérieure. Lorsqu'ils ont été appliqués à des références inédites (la trajectoire en huit) sans entraînement supplémentaire, le contrôleur initialisé par MAML a produit des erreurs de suivi plus faibles qu'une MPC non entraînée standard. De plus, l'initialisation MAML a fourni un point de départ robuste qui a nécessité moins d'épisodes pour converger vers une performance optimale par rapport à une initialisation aléatoire ou nominale.

Signification et Revendications
Le papier affirme que ce cadre répond avec succès aux goulots d'étranglement computationnels du réglage traditionnel en boucle fermée. En exploitant MAML, le système peut s'adapter à de nouvelles tâches avec un « surcoût minimal », ne nécessant qu'une fraction du coût de calcul et des interactions système nécessaires pour un réentraînement complet.

Les auteurs soulignent que leur approche permet la conception de « contrôleurs MPC hautement adaptables » qui maintiennent des performances exceptionnelles à travers diverses tâches. Crucialement, ils notent que bien que MAML fournisse une initialisation robuste, il ne rend pas les mises à jour en ligne redondantes ; la combinaison de l'initialisation MAML et du réglage ultérieur par BP-MPC produit les meilleurs résultats. Ce travail est présenté comme une étape vers la rendre pratique l'optimisation de MPC par gradient pour les implémentations matérielles où les surcoûts de réinitialisation et le temps d'exécution sont des contraintes critiques.