Learning-based control of a single-DOF Aero system

Résumé Technique : Contrôle Fondé sur l'Apprentissage d'un Système Aéro à Un Seul Degré de Liberté

Énoncé du Problème
Les systèmes mécatroniques non linéaires, tels que les plateformes aérospatiales et les manipulateurs robotiques, sont confrontés à des défis de contrôle importants dus à de fortes non-linéarités, des incertitudes paramétriques, des dynamiques non modélisées et des perturbations externes. Bien que les techniques de contrôle non linéaire classiques, telles que la linéarisation par rétroaction et le contrôle par mode glissant, offrent des garanties de stabilité formelles, leurs performances dépendent de manière critique de la disponibilité de modèles de système précis. En pratique, les erreurs de modélisation inévitables et les perturbations inconnues dégradent souvent les performances ou compromettent la stabilité. À l'inverse, bien que l'apprentissage par renforcement (RL) offre une adaptabilité grâce à l'interaction avec l'environnement, les algorithmes de RL standards manquent fréquemment de garanties de stabilité formelles et nécessitent une exploration étendue, ce qui les rend difficiles à déployer dans des systèmes critiques pour la sécurité ou hautement non linéaires. Le problème central abordé est le développement d'une architecture de contrôle qui intègre les garanties de stabilité analytique du contrôle fondé sur un modèle avec l'adaptabilité des méthodes fondées sur l'apprentissage pour gérer les incertitudes sans sacrifier la sécurité.

Méthodologie
Les auteurs proposent un cadre de contrôle hybride appliqué à un modèle à un seul degré de liberté (tangage) du système Quanser AERO. La méthodologie combine un contrôleur de linéarisation par rétroaction basé sur Lyapunov avec une composante d'apprentissage par renforcement de type politique de gradient.

1. Architecture de Contrôle :

   • Contrôleur Nominal : Une loi de linéarisation par rétroaction est dérivée pour linéariser la dynamique du système. Ce contrôleur est conçu en utilisant l'analyse de stabilité de Lyapunov pour assurer la stabilité en boucle fermée en présence d'incertitudes de modélisation.
   • Composante d'Apprentissage : Un agent d'apprentissage par renforcement acteur-critique est employé pour estimer et compenser les dynamiques non modélisées et les perturbations externes en ligne. L'agent apprend un compensateur de perturbation ($\hat{d}$) qui est ajouté à la loi de commande nominale.
   • Algorithme : Le module d'apprentissage utilise l'algorithme REINFORCE-with-baseline. La politique (acteur) est modélisée comme une distribution gaussienne, tandis qu'un réseau de neurones distinct (critique) estime la fonction de valeur d'état. Pour stabiliser l'apprentissage et réduire la variance des estimations de gradient de politique, les auteurs emploient l'estimation de l'avantage généralisé (GAE).
   • Fonction de Récompense : La récompense est définie en fonction de l'erreur de suivi combinée ($\eta$), spécifiquement $r = -|\eta| \ln(1 + t)$. Le terme logarithmique dépendant du temps atténue l'influence des erreurs transitoires importantes au début de l'épisode, déplaçant l'attention vers la performance en régime permanent.

2. Analyse de Stabilité :
   L'article fournit une preuve de stabilité basée sur Lyapunov. Il suppose que l'angle de tangage et sa dérivée sont mesurables, que la trajectoire désirée est continûment dérivable et que la perturbation est bornée. L'analyse démontre que si la sortie de l'agent de RL est bornée, l'erreur d'approximation de la perturbation reste bornée. Par conséquent, le système en boucle fermée présente des erreurs de suivi uniformément ultimement bornées (UUB). La stabilité du système est principalement assurée par la linéarisation par rétroaction basée sur Lyapunov, tandis que l'agent de RL fournit une compensation adaptative à l'intérieur de ces bornes de stabilité.

3. Configuration de la Simulation :
   Des simulations numériques ont été réalisées en Python en utilisant la méthode de Runge-Kutta d'ordre quatre. Le système a été soumis à des conditions initiales randomisées et à des trajectoires désirées variant dans le temps. L'agent de RL a été entraîné sur 20 000 épisodes en utilisant l'optimiseur Adam avec un taux d'apprentissage de $1 \times 10^{-4}$.

Résultats Clés

• Performance de l'Algorithme : Les comparaisons entre le REINFORCE classique et le REINFORCE-with-baseline ont montré que la variante avec baseline améliorée a atteint des retours finaux significativement plus élevés et une convergence plus rapide. Le REINFORCE classique présentait un comportement d'apprentissage instable et n'arrivait pas à converger à des taux d'apprentissage plus faibles, tandis que la variante avec baseline a atteint une performance stable en environ 2 500 épisodes.
• Suivi de Trajectoire : Dans des simulations impliquant 100 conditions initiales randomisées, le contrôleur fondé sur l'apprentissage a démontré une précision de suivi de trajectoire supérieure par rapport au contrôleur de linéarisation par rétroaction conventionnel seul. L'approche proposée a considérablement réduit les erreurs de suivi tant en régime permanent qu'en régime transitoire.
• Robustesse : Le contrôleur a maintenu des performances élevées sous des perturbations non modélisées et variables dans le temps (combinaisons sinusoïdales et cosinusoïdales) sans réentraînement. La politique apprise a réussi à s'adapter pour capturer la structure oscillatoire des perturbations injectées, maintenant l'erreur de suivi faible et bornée.
• Effort de Commande : L'amélioration des performances de suivi a été obtenue sans introduire un effort de commande excessif ; les profils de tension de commande sont restés similaires entre les méthodes conventionnelles et celles enrichies par l'apprentissage.

Signification et Revendications
L'article affirme que l'approche hybride proposée combine efficacement les garanties analytiques du contrôle basé sur Lyapunov avec l'adaptabilité de l'apprentissage par renforcement. En utilisant le contrôleur fondé sur le modèle comme fondation stable et le module d'apprentissage comme compensateur de perturbation adaptatif, le système atteint un suivi de trajectoire robuste dans des environnements incertains. Les auteurs soulignent que cette architecture permet un « apprentissage sûr et stable » car l'agent de RL opère à l'intérieur des limites du contrôleur conventionnel, garantissant que les conditions de stabilité du système ne sont pas violées même lorsque l'agent s'adapte aux effets non modélisés. Les résultats suggèrent que l'incorporation d'une base (baseline) dans les méthodes de gradient de politique est cruciale pour améliorer l'efficacité de l'échantillonnage et assurer un apprentissage de politique fiable dans les systèmes mécatroniques non linéaires.