Résumé Technique : Un Régulateur Neural basé sur l'Adjoint pour le Contrôle Optimal en Temps Réel avec Contraintes d'État

1. Énoncé du Problème

Le contrôle optimal contraint en temps réel de systèmes non linéaires présente un défi significatif pour la robotique et les systèmes autonomes, exigeant que les contrôleurs équilibrent la performance et la satisfaction stricte des contraintes sous des limites de calcul de l'ordre de la milliseconde.

• Commande Prédictive de Modèle Non Linéaire (NMPC) : Bien qu'efficace, la NMPC nécessite de résoudre un problème d'optimisation non linéaire contraint en ligne à chaque pas de temps. Dans les contextes critiques pour la sécurité ou à dynamique rapide, l'optimisation répétée et la latence du solveur rendent cette approche de calcul prohibitive.
• Apprentissage par Renforcement (RL) : Le RL offre une inférence en ligne rapide en amortissant le calcul dans l'entraînement hors ligne. Cependant, les approches de RL standard (par exemple, Soft Actor-Critic) peinent souvent avec l'efficacité de l'échantillonnage, la généralisation aux conditions hors distribution (OOD) et la satisfaction stricte des contraintes. Les filtres de sécurité courants (par exemple, les Fonctions de Barrière de Contrôle ou CBF) appliqués aux politiques de RL peuvent conduire à des corrections conservatrices ou agressives si la politique nominale n'encode pas intrinsèquement la structure d'optimalité du problème.

Le problème central abordé est le développement d'un cadre de contrôle qui atteint la vitesse de calcul des méthodes basées sur l'apprentissage tout en conservant la structure d'optimalité du contrôle optimal et en garantissant la sécurité des contraintes sans la lourde charge d'optimisation en ligne de la NMPC.

2. Méthodologie : Régulateur Neural basé sur l'Adjoint (ANR)

L'article propose le Régulateur Neural basé sur l'Adjoint (ANR), un cadre d'apprentissage qui apprend une politique de co-état (adjoint) neurale plutôt qu'une loi de commande directe. Cette approche est fondée sur le Principe du Minimum de Pontryagin (PMP).

A. Architecture Centrale

Le cadre se compose de deux phases : l'entraînement hors ligne et le déploiement en ligne.

1. Paramétrage du Co-état (CoNN) :

   • Un réseau de neurones, nommé Co-State Neural Network (CoNN), associe l'état actuel du système $x_i$ à une trajectoire de co-état (adjoint) à horizon fini $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$.
   • Contra-rément au RL, qui apprend une politique $\pi(u|x)$, le CoNN apprend la correspondance entre l'état et les variables adjointes, qui représentent la sensibilité de la fonction de valeur par rapport à l'état.

2. Entraînement Hors Ligne :

   • Rollout (Déroulement) : Étant donné une séquence de co-états prédite, la séquence d'entrées de commande est dérivée en minimisant l'Hamiltonien point par point. Pour les coûts quadratiques, cela produit une loi de commande explicite : $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • Fonction de Perte : Le réseau est entraîné de bout en bout en utilisant une perte à trois termes :
     • Coût de Stade : Somme des coûts courants ($x^\top Q x + u^\top R u$) sur l'horizon.
     • Coût Terminal : Coût à l'état final.
     • Régularisation du Co-état : Une pénalité de norme $\ell_1$ sur la trajectoire du co-état pour encourager des prédictions de norme minimale.
   • La perte est rétropropagée à travers le déroulement de l'horizon pour mettre à jour les paramètres du réseau.

3. Déploiement en Ligne (Contrôle en Temps Réel) :

   • À chaque pas de temps $t_k$, le CoNN prédit une séquence de co-états à partir de l'état actuel $x_k$.
   • Le premier co-état prédit $\hat{\lambda}_{0|k}$ est utilisé pour calculer l'entrée de commande.
   • Sécurité et Faisabilité : Au lieu d'une simple projection, l'entrée de commande est déterminée en résolvant un problème de minimisation de l'Hamiltonien contraint en temps réel. Cette optimisation incorpore :
     • Les limites d'actionneurs ($u \in \mathcal{U}$).
     • Les contraintes de sécurité d'état imposées via des Fonctions de Barrière de Contrôle d'Ordre Supérieur (HOCBF).
   • La loi de commande résultante est :
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     sous réserve des contraintes d'entrée et des conditions HOCBF garantissant la sécurité.

3. Principales Contributions

• Cadre Novateur : Introduction de l'ANR, qui découple l'apprentissage de l'optimalité (via l'adjoint) de l'application des contraintes (via la minimisation contrainte en temps réel).
• Préservation de l'Optimalité : En apprenant l'adjoint plutôt que l'action, le cadre encode explicitement la structure d'optimalité indirecte du problème de contrôle contraint, évitant les pièges du "nominal-puis-projection" des méthodes RL-CBF standard.
• Sécurité et Faisabilité Unifiées : La méthode gère simultanément les contraintes d'état strictes (via les HOCBF) et les contraintes d'entrée dans l'étape de minimisation de l'Hamiltonien, assurant la faisabilité sans nécessiter d'ingénierie complexe des récompenses.
• Efficacité de Calcul : L'approche atteint des performances comparables à la NMPC avec un coût de calcul nettement inférieur en remplaçant l'optimisation non linéaire en ligne par une seule inférence de réseau neuronal et un petit Programme Quadratique (QP).

4. Résultats Expérimentaux

Le cadre a été évalué sur un modèle de robot unicycle avec une dynamique $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$, chargé de naviguer vers une référence tout en évitant des obstacles circulaires. Des comparaisons ont été effectuées avec la NMPC (utilisant IPOPT) et le RL (Soft Actor-Critic avec un filtre de sécurité HOCBF-QP).

Métriques de Performance

• Vitesse de Calcul :
  • RL : Le plus rapide (~0,5 ms).
  • ANR : ~1,2–1,4 ms (environ 250 fois plus rapide que la NMPC).
  • NMPC : ~350–1200 ms (selon la complexité du scénario).
• Généralisation (Hors Distribution - OOD) :
  • RL : A échoué à se généraliser de manière fiable à des états initiaux ou des références non vus, même dans la distribution de l'entraînement, atteignant des taux de succès faibles (par exemple, 30 % dans les tests en distribution, échec total dans les tests OOD).
  • ANR : A présenté une performance quasi-invariante à travers des scénarios non vus, incluant des états initiaux OOD et des références non nulles. Les taux de succès étaient comparables à la NMPC (par exemple, 98 % de succès dans les scénarios d'obstacles OOD).
• Précision :
  • L'ANR a atteint des erreurs de convergence absolue (ACE) et des dérivées moyennes quadratiques (MSD) comparables à la NMPC, bien que légèrement supérieures au RL dans les cas en distribution où le RL a fait du surapprentissage (overfitting).
  • Dans les scénarios OOD, l'ANR a nettement surpassé le RL, qui a échoué à atteindre les objectifs ou à satisfaire les contraintes.

Conclusions Spécifiques

• Dans les scénarios sans obstacles, l'ANR a égalé les performances de la NMPC avec un coût de calcul deux ordres de grandeur inférieur.
• Dans les scénarios avec obstacles, l'ANR a maintenu des taux de succès élevés (98 % dans les tests d'obstacles denses randomisés) là où le RL a échoué.
• L'ANR a réussi avec succès les tâches de suivi de référence non nulle dans les contextes OOD, un scénario où les baselines de RL n'ont pas été évaluées en raison de leurs mauvaises performances antérieures.

5. Signification et Revendications

L'article affirme que le cadre ANR parvient à combler le fossé entre l'efficacité de calcul du contrôle basé sur l'apprentissage et les garanties rigoureuses d'optimalité et de sécurité du contrôle optimal.

• Signification : La méthode offre une alternative viable à la NMPC pour les applications nécessitant des décisions de contrôle de l'ordre de la milliseconde, telles que les systèmes à dynamique rapide et la robotique critique pour la sécurité, où l'optimisation non linéaire répétée est prohibitive.
• Robustesse : Contrairement au RL standard, qui nécessite souvent une ingénierie de récompense étendue et peine à se généraliser, l'ANR exploite les propriétés structurelles du PMP pour se généraliser efficacement aux conditions initiales et références non vues.
• Sécurité : En intégrant les HOCBF directement dans la minimisation de l'Hamiltonien, le cadre assure la satisfaction stricte des contraintes d'état et d'entrée sans les limitations structurelles des filtres de sécurité post-hoc appliqués à des politiques nominales non optimales.

Les auteurs concluent que l'approche proposée atteint des performances de niveau NMPC pour une fraction de son coût de calcul, tout en surpassant significativement le RL dans les régimes hors distribution d'entraînement. Les travaux futurs identifient l'extension du cadre aux obstacles dynamiques et aux systèmes de dimension supérieure.