Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

1. Problématique

L'optimisation de politiques de contrôle basées sur des modèles (comme le Contrôle Prédictif de Modèle ou MPC) se heurte souvent à un problème majeur : l'inexactitude des modèles dynamiques du système.

• Le défi : Les méthodes d'optimisation de politique traditionnelles supposent souvent que le modèle dynamique est exact. Lorsque le modèle est imparfait (ce qui est fréquent dans les systèmes réels non linéaires), les garanties de convergence des algorithmes basés uniquement sur le modèle disparaissent, conduisant à des performances en boucle fermée sous-optimales ou à une instabilité.
• L'objectif : Développer un cadre d'optimisation de politique robuste capable de fonctionner même lorsque la dynamique réelle du système $f$ est inconnue, mais qu'un modèle approximatif $g$ est disponible. L'objectif est de minimiser une fonction de coût sur la trajectoire en ajustant les paramètres $\theta$ de la politique MPC.

2. Méthodologie

Les auteurs proposent un cadre d'optimisation hybride qui combine l'estimation de gradient basée sur le modèle et l'optimisation d'ordre zéro (sans gradient explicite).

A. Fondements Théoriques

• Non-lissité du MPC : Les politiques MPC sont intrinsèquement non lisses (en raison des contraintes et de la résolution d'optimisation en ligne). Pour traiter cela, les auteurs utilisent le cadre des fonctions définissables et des Jacobians conservateurs (introduits par Bolte et Pauwels, 2021). Cela permet d'appliquer des règles de chaîne et des théorèmes de point fixe même pour des fonctions non différentiables presque partout.
• Points critiques de Goldstein : En raison du manque d'informations complètes sur la fonction objectif (dynamique inconnue), l'objectif n'est pas de trouver un point stationnaire de Clarke classique, mais un point critique $\delta$ de Goldstein. Ce concept permet de définir l'optimalité dans un voisinage $\delta$ de la fonction, ce qui est plus adapté aux problèmes non lisses et bruités.

B. L'Algorithme Hybride

L'algorithme proposé (Section 6) met à jour les paramètres $\theta_k$ à chaque itération $k$ en combinant deux directions de descente :

1. Estimation de gradient basée sur le modèle (Model-Based) :

   • Utilise le modèle approximatif $g$ pour calculer une estimation du Jacobien de la fonction de coût via la règle de la chaîne (récurrence des Jacobiens conservateurs du MPC et de la dynamique).
   • Avantage : Convergence rapide initiale si le modèle est bon.
   • Inconvénient : Biais potentiel si le modèle est inexact, sans garantie de convergence théorique pure.

2. Estimation d'ordre zéro (Model-Free / Zeroth-Order) :

   • Utilise une approximation lissée de la fonction de coût $C_\delta$ via un lissage aléatoire (randomized smoothing).
   • Estime le gradient en évaluant la fonction de coût sur une perturbation aléatoire de la politique (estimateur à un point).
   • Avantage : Garanties de convergence robustes même avec un modèle très imparfait, car il repose uniquement sur les données réelles.
   • Inconvénient : Convergence plus lente et variance plus élevée.

3. Combinaison pondérée :

   • La direction de mise à jour est une combinaison convexe : $d_k = \eta_k d_{k,1} + (1-\eta_k) d_{k,2}$.
   • Le paramètre $\eta_k \in [0, 1]$ contrôle le compromis. Il est conçu pour décroître au fil du temps ($\eta_k \to 0$), permettant d'exploiter la rapidité du modèle au début et de s'assurer de la convergence vers l'optimum réel via les données à long terme.

3. Contributions Clés

• Cadre théorique robuste : Première méthode d'optimisation de politique MPC qui garantit la convergence vers un point critique de Goldstein même en présence de modèles dynamiques inexacts et de paysages d'optimisation non lisses.
• Fusion Modèle/Données : Une stratégie élégante qui permet de "trader-off" dynamiquement entre la vitesse d'apprentissage du modèle et la robustesse des données réelles, sans nécessiter de réentraînement complet du modèle.
• Gestion de la non-lissité : Application rigoureuse de la théorie des Jacobiens conservateurs aux cartes de solution du MPC, rendant possible l'analyse de convergence pour des contrôleurs MPC réels.
• Validité sur un système complexe : Démonstration sur un modèle de quadricoptère non linéaire à 12 dimensions, un défi significatif pour les méthodes d'optimisation de politique.

4. Résultats Expérimentaux

Les expériences ont été menées sur un modèle de quadricoptère à 12 états (position, vitesse, angles d'Euler, vitesses angulaires) avec des contraintes strictes. Un modèle linéaire approximatif a été identifié pour servir de base au MPC, tandis que la dynamique réelle était non linéaire.

• Comparaison des stratégies :
  • Méthode purement basée sur le modèle : Montre une amélioration rapide au début mais devient instable et échoue à converger vers une solution optimale en raison des erreurs de modélisation.
  • Méthode purement d'ordre zéro : Converge de manière stable mais très lentement.
  • Méthode hybride proposée : Combine le meilleur des deux mondes. Elle bénéficie de la convergence rapide initiale du modèle et de la correction robuste de l'ordre zéro pour atteindre la solution finale.
• Performance finale :
  • Le contrôleur optimisé avec la méthode proposée atteint un coût final de 1084,91.
  • Le contrôleur optimisé avec le modèle non linéaire exact (référence idéale) a un coût de 1081,3.
  • Cela représente une sous-optimalité de moins de 1%, démontrant que la méthode apprend des paramètres quasi-optimaux malgré l'utilisation d'un modèle linéaire approximatif et de gradients bruités.
• Trajectoires : Les trajectoires de position et d'attitude générées par le contrôleur appris sont qualitativement et quantitativement très proches de celles du contrôleur optimisé avec le modèle exact.

5. Signification et Perspectives

• Signification : Ce travail comble un fossé important entre l'apprentissage par renforcement (souvent sans modèle et lent) et le contrôle prédictif (rapide mais dépendant de modèles précis). Il offre une voie pratique pour optimiser des contrôleurs MPC complexes dans des environnements réels où la modélisation parfaite est impossible.
• Robustesse : La méthode offre une robustesse sans sacrifier l'efficacité, ce qui est crucial pour les applications critiques (robotique, aérospatial) où la sécurité et la performance sont primordiales.
• Travaux futurs : Les auteurs prévoient de renforcer les garanties de sécurité de l'approche, notamment pour garantir que les contraintes sont respectées avec une probabilité élevée pendant tout le processus d'apprentissage, et d'explorer des conditions de qualification de contraintes plus fortes pour obtenir des points KKT.

En résumé, cet article présente une avancée théorique et pratique majeure pour le contrôle adaptatif, permettant d'optimiser des politiques MPC complexes sur des systèmes inconnus avec des garanties mathématiques solides.