Data-driven Acceleration of MPC with Guarantees

Résumé technique : Accélération pilotée par les données du MPC avec garanties

Énoncé du problème
Le Contrôle Prédictif de Modèle (MPC) est un cadre dominant pour le contrôle optimal de systèmes dynamiques contraints et de haute dimension. Cependant, sa dépendance à la résolution itérative en ligne de problèmes d'optimisation contraints à horizon glissant crée un goulot d'étranglement computationnel, le rendant souvent inadapté aux applications à faible latence. Bien que le MPC explicite et les approximations par réseaux de neurones aient été proposés pour accélérer le contrôle, ils souffrent d'inconvénients majeurs : les méthodes explicites nécessitent souvent des schémas de projection coûteux ou peinent avec les non-linéarités ; les réseaux de neurones sont difficiles à adapter à de nouvelles données sans réentraînement ; et de nombreuses méthodes non paramétriques manquent de garanties rigoureuses, non asymptotiques, sur la faisabilité et la performance.

Méthodologie
Les auteurs proposent un cadre novateur, piloté par les données, qui accélère le MPC en remplaçant l'optimisation en ligne par une politique non paramétrique construite à partir de solutions MPC hors ligne. La méthodologie centrale comprend trois composantes principales :

1. Formulation conservative du problème hors ligne : Au lieu de résoudre le problème MPC original en ligne, les auteurs résolvent une version légèrement plus conservative hors ligne. Cela implique de rétrécir l'ensemble des contraintes d'état $X$ vers un ensemble érodé de $\epsilon$, noté $X_{-\epsilon}$ (en utilisant la différence de Pontryagin). Résoudre ce problème conservateur garantit que les trajectoires optimales restent strictement à l'intérieur des limites de contraintes originales, fournissant une marge de sécurité.
2. Construction de politique non paramétrique : Un ensemble de données $D$ est construit à partir des solutions hors ligne, composé de tuples $(x_i, u_i, J_i)$, où $x_i$ est un état, $u_i$ est la commande optimale, et $J_i$ est le coût optimal à venir pour le problème conservateur. La politique proposée $\pi_D$ est une règle gloutonne de plus proche voisin : pour un état courant $x$, elle sélectionne la commande $u_i$ associée au point de données $x_i$ qui minimise le coût régularisé $J_i + \lambda \|x - x_i\|$.
3. Garanties théoriques : Les auteurs établissent les conditions sous lesquelles cette politique est récursivement faisable et admet un écart d'optimalité borné.
   • Faisabilité récursive : En exploitant la continuité lipschitzienne de la dynamique du système, les auteurs prouvent que si l'ensemble de données $D$ forme une couverture suffisante de l'espace d'état (spécifiquement, une couverture de $\epsilon/L_f$), la politique reste faisable pour le problème original, non conservateur.
   • Sous-optimalité bornée : En utilisant la continuité lipschitzienne de la fonction de coût à venir, les auteurs construisent des bornes supérieures et inférieures dépendantes des données sur le coût optimal. Ils prouvent que, avec un paramètre de régularisation $\lambda$ suffisamment grand, le coût de la politique est borné supérieurement par une borne supérieure conservative dérivée des données. Cela conduit à une borne prouvable sur l'écart de sous-optimalité relative, qui se resserre à mesure que la couverture de l'ensemble de données s'améliore.

Contributions clés
L'article apporte quatre contributions principales :

1. Politique non paramétrique novatrice : Une politique qui résout approximativement les problèmes MPC en utilisant des données hors ligne issues d'une formulation conservative, évitant ainsi le besoin d'optimisation en ligne.
2. Capacité d'apprentissage continu : La politique prend en charge l'ajout incrémental de nouvelles solutions hors ligne sans réentraînement. Les nouvelles données modifient la politique localement, permettant une amélioration continue.
3. Bornes théoriques rigoureuses : L'établissement de conditions explicites sur la couverture des données hors ligne qui garantissent la faisabilité récursive et des écarts d'optimalité bornés sur l'ensemble du domaine. Ces conditions définissent un compromis clair entre la quantité de données collectées et la précision des bornes de performance.
4. Implémentation efficace : La politique est implémentée comme une règle de recherche (utilisant les k-plus proches voisins via FAISS), ce qui est plusieurs ordres de grandeur plus rapide que la résolution du MPC en ligne.

Résultats expérimentaux
Les auteurs valident leur approche sur deux benchmarks : un pendule inversé et un système LTI instable à temps minimum.

• Vitesse : La politique proposée (étiquetée MINT) atteint des vitesses d'inférence entre 100 et 1000 fois plus rapides que le MPC en ligne standard.
• Performance : La méthode démontre un compromis favorable entre latence et optimalité. Avec une couverture de données suffisante, la politique atteint un écart d'optimalité relative comparable au MPC standard avec des horizons de prédiction plus courts, tout en surpassant significativement ces MPC à horizon court en termes de qualité de solution.
• Vérification : Un algorithme basé sur la division séquentielle du domaine de l'espace d'état (Algorithme 2) est démontré pour vérifier récursivement la faisabilité et les certificats d'optimalité, confirmant que les conditions théoriques sont remplies en pratique.

Signification et revendications
Les auteurs affirment que ce travail comble le fossé entre la rapidité du contrôle explicite/non paramétrique et les garanties rigoureuses du MPC basé sur l'optimisation. Contrairement aux approches par réseaux de neurones, la méthode proposée ne nécessite pas de réentraînement pour de nouvelles données et offre des garanties non asymptotiques. Le cadre quantifie explicitement le compromis entre l'effort de collecte de données (mémoire et calcul hors ligne) et la performance de contrôle (écart d'optimalité et faisabilité). Les résultats suggèrent que cette approche est un candidat viable pour les tâches de contrôle en temps réel où la faible latence est critique, à condition que suffisamment de données hors ligne puissent être collectées pour satisfaire les conditions de couverture. L'article conclut en notant que les travaux futurs se concentreront sur la mise à l'échelle de ces méthodes vers des systèmes de haute dimension et des applications embarquées.