Résumé technique : Commande prédictive non linéaire amortie

Énoncé du problème

La commande prédictive non linéaire (NMPC) offre un cadre puissant pour le contrôle optimal sous contraintes, mais elle fait face à un goulot d'étranglement computationnel important. À chaque instant d'échantillonnage, la NMPC nécessite la résolution d'un programme non linéaire (NLP) contraint en temps réel. Pour les modèles de plantes non linéaires, ce temps de résolution par étape peut être des ordres de grandeur supérieur à celui des systèmes linéaires, rendant souvent l'implémentation en temps réel irréalisable sur du matériel aux ressources limitées ou à des taux d'échantillonnage élevés. Bien que les schémas d'itération en temps réel (RTI) améliorent l'efficacité en effectuant une seule itération de type Newton, le coût de calcul peut encore être prohibitif. De plus, la NMPC explicite non linéaire est généralement intraitable.

Les avancées récentes en apprentissage automatique, spécifiquement l'« optimisation amortie », proposent de remplacer le solveur en ligne par un approximateur de fonctions entraîné hors ligne. Cependant, un défi majeur de cette approche est de préserver les garanties en boucle fermée, telles que la satisfaction des contraintes et la stabilité, lorsque l'approximation apprise s'écarte de la solution exacte.

Méthodologie

Les auteurs proposent un cadre pour les systèmes non linéaires affines en commande (systèmes où la dynamique est affine par rapport à la commande, $x_{k+1} = f(x_k) + G(x_k)u_k$) qui approxime le mouvement de commande optimal en résolvant un programme quadratique (QP) dépendant de l'état en ligne. L'innovation clé est une architecture à réseau unique de type correcteur de résidus qui sépare l'apprentissage des paramètres du problème de l'application des contraintes.

1. Formulation du QP paramétrique

Pour les systèmes affines en commande, la carte d'état d'un pas est affine par rapport à la commande $u_0$. Les auteurs formulent un petit QP pour optimiser le premier mouvement de commande $u_0$ :

• Objectif : Une fonction de coût quadratique $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$, où $H$ et $c$ dépendent de l'état actuel et de la référence.
• Contraintes :
  • Contraintes strictes (Hard Constraints) : Les bornes d'entrée et les contraintes affines en commande (ex: limites de couple) sont appliquées directement.
  • Contraintes souples (Soft Constraints) : Les bornes d'état pour l'étape suivante sont modélisées comme des contraintes souples utilisant des variables d'écart (slack variables) pour garantir la faisabilité du QP.
• Taille : Le QP résultant possède nettement moins de variables de décision ($n_u + n_s$) que l'horizon complet du NLP ($(N+1)n_x + N n_u$).

2. Architecture de réseau Correcteur-Résiduel

Plutôt que d'apprendre la séquence de commande optimale complète ou l'intégralité des paramètres du QP à partir de zéro, le réseau apprend uniquement les corrections de résidus par rapport à une base analytique :

• Base analytique : Dérivée de la linéarisation de la dynamique du système et de la fonction de coût autour de l'état actuel. Cela fournit des estimations initiales pour le facteur de Cholesky de la Hessienne ($L_{an}$) et le vecteur de coût linéaire ($c_{an}$).
• Réseau de neurones ($\phi_\psi$) : Prend en entrée l'état concaténé et la référence, et prédit les corrections ($\Delta L, \Delta c$).
• Mécanisme de correction :
  • Le facteur de Cholesky complet est $L_{full} = L_{an} + \Delta L$.
  • Les éléments diagonaux sont traités par une fonction softplus pour garantir la positivité stricte, assurant que la Hessienne résultante $H_{full} = L_{full}L_{full}^\top$ est définie positive.
  • Le vecteur de coût complet est $c_{full} = c_{an} + \Delta c$.

3. Solveur différentiable et entraînement

• Inférence en ligne : Les paramètres corrigés définissent un petit QP, résolu en ligne par une couche de point intérieur différentiable. Cela garantit que la commande $u_0^*$ satisfait les contraintes du QP par construction.
• Entraînement hors ligne : Le réseau est entraîné sur un jeu de données de solutions optimales de NLP (générées par un solveur comme IPOPT) en utilisant une fonction de perte hybride :
  1. Imitation supervisée ($L_{sup}$) : Pénalise l'écart entre la commande de contrôle prédite et la solution optimale du NLP.
  2. Stationnarité KKT ($L_{KKT}$) : Pénalise la violation de la condition de stationnarité du NLP complet.
  3. Complémentarité de Fischer-Burmeister ($L_{FB}$) : Pénalise les violations des conditions de complémentarité pour les contraintes d'inégalité.
  4. Régularisation ($L_{reg}$) : Maintient les corrections apprises proches de la base analytique.

Contributions clés

1. Architecture Correcteur-Résiduel : Une approche novatrice où un réseau de neurones apprend uniquement les corrections d'une base de QP analytique, plutôt que la solution complète. Cela exploite la structure connue des systèmes affines en commande.
2. Satisfaction des contraintes via des couches différentiables : En intégrant un solveur QP différentiable au sein du réseau, la méthode garantit que la première action de commande satisfait les contraintes strictes, traitant ainsi un mode de défaillance courant dans l'apprentissage par commande.
3. Fonction de perte hybride : L'objectif d'entraînement combine l'imitation supervisée avec des pénalités de résidus KKT et de complémentarité informées par la physique, améliorant les performances et la faisabilité par rapport à l'apprentissage par imitation pure.
4. Scalabilité : L'approche réduit le problème d'optimisation en ligne d'un complexe NLP à un petit QP avec une matrice de coût dépendant de l'état, réduisant drastiquement la complexité de calcul.

Résultats expérimentaux

La méthode a été validée sur un bras robotique planaire à trois segments avec suivi de l'effecteur terminal en coordonnées cartésiennes, soumis à des contraintes de position, de vitesse et d'accélération articulaires, ainsi qu'à des contraintes de couple.

• Performance : La politique amortie a atteint un coût en boucle fermée moyen compris dans 4,7 % de l'optimum IPOPT à horizon complet. En comparaison, le schéma RTI standard (acados) a divergé dans 12 % des scénarios et était 17,5 % moins performant en moyenne, tandis qu'un MLP direct (sans couche QP) a divergé dans 27 % des scénarios et a viole significativement les contraintes strictes.
• Satisfaction des contraintes : Le QP amorti a respecté les bornes strictes de couple et d'accélération avec une précision numérique. Les contraintes d'état souples n'ont été légèrement violées que lors des transitoires (0,7 % des étapes).
• Vitesse de calcul :
  • IPOPT : Temps de résolution médian de ~120 ms.
  • RTI (acados) : Temps de résolution médian de ~2,4 ms.
  • QP Amorti : 0,116 ms de temps de résolution médian.
  • Cela représente un accélération de ~21x par rapport à RTI et un accélération de ~1800x par rapport au solveur NLP complet.

Signification

L'article affirme que cette approche offre une voie pratique pour déployer la NMPC sur du matériel aux ressources limitées ou à des taux d'échantillonnage élevés sans sacrifier la satisfaction des contraintes. En découplant l'apprentissage du paysage de coût (via le réseau) de l'application des contraintes (via le solveur QP), la méthode atteint des accélérations de plusieurs ordres de grandeur par rapport aux solveurs NLP traditionnels tout en maintenant une performance de suivi comparable à la solution optimale. L'utilisation d'une fonction de perte hybride combinant l'apprentissage supervisé et les résidus KKT est soulignée comme un facteur clé pour obtenir une faisabilité et une fiabilité supérieures par rapport aux méthodes qui se contentent de l'ajustement de données ou de l'apprentissage de warm-starts.