Safety-Constrained Optimal Control for Unknown System Dynamics

1. Problématique

L'article aborde le défi du contrôle optimal continu sur un horizon fini pour des systèmes dynamiques dont la dynamique réelle (le « plant ») est inconnue ou trop complexe à modéliser avec précision.

• Contexte : Dans de nombreuses applications (comme la conduite autonome), les modèles physiques exacts sont indisponibles. On utilise donc des modèles approximatifs (jumeaux numériques) pour synthétiser les lois de commande.
• Défi principal : L'utilisation d'un modèle imparfait entraîne généralement une dégradation des performances et peut compromettre la stabilité du système en boucle fermée. De plus, la présence de contraintes de sécurité (impliquant à la fois l'état et la commande) rend le problème encore plus complexe.
• Question centrale : Dans quelles conditions une politique de contrôle dérivée d'un modèle approximatif reste-t-elle optimale pour le système réel, malgré les erreurs de modélisation ?

2. Méthodologie

Les auteurs proposent un cadre théorique basé sur le Principe du Minimum de Pontryagin (PMP) et l'analyse convexe.

A. Formulation du problème

• Système réel (Plant) : Décrit par $\dot{\hat{x}} = \hat{f}(t, \hat{x}, u)$ avec des contraintes de sécurité $c(t, \hat{x}, u) \le 0$. La dynamique $\hat{f}$ est inconnue.
• Système modèle : Décrit par $\dot{x} = f(t, x, u)$ avec les mêmes contraintes $c(t, x, u) \le 0$. La dynamique $f$ est connue.
• Approche proposée : Au lieu d'essayer d'identifier parfaitement $\hat{f}$, les auteurs construisent un problème de contrôle surérogatoire (surrogate) basé sur le modèle connu, mais avec une fonction de coût pénalisée.
  • La fonction de coût modifiée inclut un terme de pénalité $\beta(t)\|x(t) - \hat{x}(t)\|^2$ qui quantifie l'écart entre l'état du modèle et l'état observé du système réel.
  • L'idée est que ce terme de pénalité guide l'évolution de l'état et du coût adjoint (costate) sans nécessairement modifier la structure de la minimisation de l'Hamiltonien par rapport à la commande.

B. Analyse de l'Hamiltonien et Conditions d'Optimalité

• Les auteurs dérivent les conditions d'optimalité pour le problème réel et le problème modèle pénalisé en utilisant le PMP.
• Ils établissent que la commande optimale est obtenue par la minimisation ponctuelle de l'Hamiltonien sur l'ensemble des commandes admissibles $U$.
• Condition clé d'équivalence : Ils démontrent que si les minimiseurs de l'Hamiltonien contraint (pour le problème modèle et le problème réel) coïncident, alors les trajectoires de contrôle optimales sont identiques, même si les dynamiques sous-jacentes diffèrent.

C. Résultats Théoriques (Équivalence)

Deux résultats principaux sont établis :

1. Résultat général (Analyse convexe) : Sous des hypothèses de convexité (ensemble de commandes convexe, Hamiltoniens convexes), si les sous-différentiels des Hamiltoniens coïncident en un point, alors les ensembles de minimiseurs sont identiques.
2. Résultat spécifique (Effort de commande quadratique) : Pour une classe de problèmes courante où le coût de commande est quadratique ($u^T R u$) et les termes dépendant de la commande dans l'Hamiltonien sont convexes, les auteurs fournissent des conditions vérifiables.
   • Insight crucial : Le terme de pénalité $\beta\|x - \hat{x}\|^2$ n'apparaît pas explicitement dans la dérivée de l'Hamiltonien par rapport à $u$ (car il ne dépend pas de $u$). Par conséquent, la pénalité influence l'évolution des états et des coûts adjoints, mais ne modifie pas la structure de la minimisation de l'Hamiltonien par rapport à $u$.
   • Si les gradients des Hamiltoniens (hors terme de pénalité) coïncident et que les états sont alignés, les commandes optimales sont identiques.

3. Contributions Clés

1. Extension aux contraintes de sécurité : L'article généralise les travaux précédents sur le contrôle optimal sans modèle pour inclure des contraintes de sécurité actives (état et commande).
2. Conditions structurelles d'équivalence : Identification des conditions sous lesquelles un contrôleur basé sur un modèle imparfait (avec pénalité) reproduit exactement la commande optimale du système réel.
3. Démonstration expérimentale : Validation du cadre théorique sur un banc d'essai robotique réel (essais de régulateur de vitesse adaptatif - ACC) avec des contraintes de distance de sécurité, confirmant que la stratégie basée sur le modèle pénalisé récupère la commande optimale réelle malgré un désaccord de modèle significatif.

4. Résultats Expérimentaux

• Plateforme : Robots LIMO (ROS 2) fonctionnant en tant que véhicules autonomes.
• Scénario : Un véhicule « ego » (contrôlé) suit un véhicule de tête. La dynamique réelle du véhicule ego inclut un gain d'action et un temps de retard ($\hat{k}, \hat{\tau}$) différents de ceux supposés par le modèle ($k, \tau$).
• Résultats :
  • Malgré un désaccord de modèle important (ex: $\hat{\tau}=0.1$ vs $\tau=0.3$), la stratégie de contrôle basée sur le modèle pénalisé produit une trajectoire de commande et de position quasi identique à celle de la commande optimale théorique (qui suppose la connaissance parfaite de la dynamique).
  • Les figures montrent que bien que les gradients des Hamiltoniens soient différents ($\nabla_u \hat{H} \neq \nabla_u H$), les minimiseurs contraints sont les mêmes ($\arg \min \hat{H} = \arg \min H$) en raison de la projection sur l'ensemble de commandes admissibles et de la structure de l'Hamiltonien.
  • La contrainte de sécurité (distance de collision) est respectée dans les deux cas.

5. Signification et Implications

• Changement de paradigme pour le contrôle par apprentissage : L'article suggère que pour le contrôle optimal, il n'est pas toujours nécessaire d'identifier parfaitement les paramètres du système (identification exacte). L'objectif de l'apprentissage devrait plutôt être de préserver les propriétés structurelles qui garantissent l'équivalence des minimiseurs de l'Hamiltonien.
• Robustesse des jumeaux numériques : Cela fournit une justification théorique solide à l'utilisation de modèles approximatifs ou de jumeaux numériques dans des applications critiques, à condition d'incorporer des mécanismes de pénalité adaptés.
• Découplage : La méthode permet de découpler la question de la précision du modèle de celle de l'optimalité du contrôle, offrant une voie prometteuse pour le contrôle de systèmes complexes et incertains.

En résumé, ce papier démontre que l'ajout d'un terme de pénalité basé sur l'erreur d'état dans la fonction de coût permet de compenser les erreurs de modèle, à condition que la structure de minimisation de l'Hamiltonien reste inchangée, permettant ainsi d'obtenir un contrôle optimal même avec une dynamique inconnue.