Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling

1. Problématique

Le déploiement pratique du Contrôle Prédictif Non Linéaire (NMPC) est souvent limité par les contraintes de calcul en ligne. Résoudre un programme non linéaire à des taux de contrôle élevés sur du matériel embarqué (edge hardware) est coûteux, surtout avec des modèles complexes ou des horizons de prédiction longs.

Les approches d'apprentissage par renforcement ou supervisé tentent de contourner ce problème en remplaçant l'optimisation en ligne par une politique neuronale entraînée hors ligne. Cependant, ces méthodes présentent deux défis majeurs :

• Elles nécessitent souvent de vastes ensembles de données d'experts et des temps d'entraînement coûteux.
• Les politiques neuronales naïves (souvent des réseaux de neurones feed-forward) peuvent générer des séquences de contrôle non réalisables ou dangereuses, compromettant la sécurité du système.

L'objectif est donc de développer une approximation de NMPC basée sur l'apprentissage qui soit efficace en termes de données, robuste et garantie sûre lors du déploiement.

2. Méthodologie

Les auteurs proposent une architecture appelée Sequential-AMPC (Seq-AMPC), intégrée dans un cadre de déploiement sécurisé nommé Safe Seq-AMPC.

A. Architecture Seq-AMPC (Politique RNN)

Contrairement aux approches précédentes utilisant des réseaux de neurones feed-forward (MLP) qui prédisent l'ensemble de l'horizon de contrôle d'un seul coup (sortie de dimension $N \times n_u$), Seq-AMPC utilise une politique récurrente (RNN).

• Fonctionnement : Le réseau génère la séquence de contrôle de manière récursive, étape par étape, sur l'horizon de prédiction $N$.
• Partage de paramètres : Les mêmes poids sont partagés à chaque pas de temps. Cela introduit un biais inductif temporel aligné sur la dynamique des systèmes, permettant au modèle de capturer les dépendances temporelles entre les états et les actions passées.
• Efficacité paramétrique : Selon la Proposition 1 de l'article, le nombre de paramètres d'un MLP croît linéairement avec la longueur de l'horizon $N$ ($O(N)$), tandis que celui d'un RNN reste constant ($O(1)$), indépendamment de $N$.

B. Mécanisme de Sécurité (Safe Seq-AMPC)

Pour garantir la sécurité, la politique RNN est enveloppée dans un mécanisme d'évaluation en ligne et de repli (fallback), basé sur l'algorithme 1 de Hose et al. [5] :

1. Prédiction : Le réseau RNN propose une séquence de contrôle candidate $\hat{u}(t)$.
2. Vérification de faisabilité : Le candidat est vérifié par rapport aux contraintes d'état et d'entrée (faisabilité robuste) et au coût.
3. Sélection :
   • Si le candidat est sûr et améliore le coût, il est appliqué.
   • Sinon, le système utilise une séquence de repli sûre (généralement la solution précédente décalée + un contrôleur terminal).
4. Garantie : Ce mécanisme assure la stabilité en boucle fermée et la satisfaction des contraintes, même si la politique neuronale échoue.

3. Contributions Clés

1. Architecture Séquentielle pour le NMPC : Introduction d'une politique RNN pour approximer le NMPC, remplaçant les approches feed-forward. Cela permet une meilleure modélisation des dépendances temporelles et une réduction drastique du nombre de paramètres nécessaires pour les horizons longs.
2. Efficacité des Données : Démonstration que la structure séquentielle permet d'atteindre de meilleures performances avec moins de données d'entraînement et moins d'époques que les MLP.
3. Cadre de Sécurité Unifié : Intégration de la politique RNN dans un cadre de vérification de sécurité existant, prouvant que l'amélioration de la politique de base (via la récurrence) se traduit directement par une meilleure sécurité en boucle fermée sans modifier le filtre de sécurité lui-même.
4. Analyse des Échecs : Une analyse détaillée des raisons pour lesquelles les candidats sont rejetés (faisabilité, ensemble terminal, coût), identifiant que les échecs futurs proviennent principalement de la difficulté à atteindre l'ensemble terminal dans l'horizon de prédiction.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur trois benchmarks : un quadricoptère, un véhicule à cinématique simple (Single-Track) et un véhicule à dynamique complexe.

• Faisabilité en Boucle Ouverte (Tableau I) :

  • Seq-AMPC (RNN) obtient des taux de faisabilité nettement supérieurs à AMPC (MLP). Par exemple, sur le quadricoptère, la faisabilité passe de 72 % à 83,6 %.
  • L'entraînement est beaucoup plus rapide : Seq-AMPC nécessite 97 % d'époques en moins que le MLP pour converger sur le quadricoptère.

• Sécurité en Boucle Fermée (Tableau II) :

  • Seq-AMPC améliore le pourcentage de trajectoires sûres. Sur le quadricoptère, le taux de sécurité passe de 84,8 % à 89,1 %.
  • Sur le véhicule dynamique, la sécurité passe de 54,1 % à 58,7 %.

• Robustesse aux Données (Tableau III) :

  • Même avec 1/10ème des données d'entraînement, Seq-AMPC maintient une sécurité en boucle fermée de 82,8 %, restant proche de la performance du MLP entraîné sur l'ensemble complet des données.

• Dynamique d'Apprentissage (Figure 2) :

  • Les courbes d'apprentissage montrent que Seq-AMPC converge vers des pertes de validation plus basses et continue de s'améliorer, tandis que le MLP (feed-forward) stagne souvent plus tôt, indiquant un risque d'overfitting ou une incapacité à apprendre la structure séquentielle complexe.

• Analyse des Interventions (Tableau IV) :

  • Bien que Seq-AMPC réduise les échecs de faisabilité (contraintes d'état), les interventions fréquentes sont souvent dues à l'incapacité de la politique à atteindre l'ensemble terminal ($X_f$) ou à réduire le coût par rapport à la solution de repli, plutôt qu'à des violations de contraintes immédiates.

5. Signification et Conclusion

Ce travail démontre que l'utilisation de réseaux de neurones récurrents (RNN) pour approximer les politiques de contrôle prédictif n'est pas seulement une alternative architecturale, mais une amélioration fondamentale pour la fiabilité et l'efficacité.

• Impact Technique : La structure séquentielle réduit la complexité paramétrique et aligne l'induction du modèle avec la nature dynamique du problème de contrôle, permettant un apprentissage plus efficace avec moins de données.
• Impact Sécurité : L'approche "Safe Seq-AMPC" offre une garantie de sécurité formelle tout en améliorant la qualité des propositions de contrôle, réduisant ainsi la fréquence des recours aux solutions de repli conservatrices (qui sont souvent sous-optimales).
• Perspectives Futures : Les auteurs identifient que le goulot d'étranglement principal réside désormais dans la génération de propositions satisfaisant les critères de l'ensemble terminal. Les travaux futurs se concentreront sur l'optimisation des objectifs pour mieux aligner la fonction de perte avec la valeur du NMPC et améliorer l'atteinte de l'ensemble terminal.

En résumé, l'article propose une voie prometteuse pour le déploiement de contrôleurs NMPC complexes sur du matériel embarqué, en combinant l'efficacité de l'apprentissage profond récurrent avec des garanties de sécurité rigoureuses.