Résumé Technique : Commande Adaptative en Boucle Externe de Quadrirotors par Apprentissage par Renforcement

Énoncé du Problème

Le contrôle de vol autonome de quadrirotors dans des environnements complexes et réels rencontre des défis majeurs dus à des dynamiques non modélisées, telles que des perturbations aérodynamiques sévères, l'usure des actionneurs et des variations soudaines de charge utile. Les méthodes de contrôle traditionnelles (PID, LQR, MPC) reposent sur des modèles mathématiques explicites et se dégradent souvent rapidement face à ces incertitudes. Bien que l'Apprentissage par Renforcement Profond (DRL) offre une alternative sans modèle, les contrôleurs DRL standards entraînés en simulation souffrent de l'écart « simulation-réalité ». La solution prédominante, la Randomisation de Domaine (DR), produit des politiques robustes mais force le contrôleur à apprendre une stratégie unique, excessivement conservatrice, visant à maximiser les performances dans le pire des cas. Cette approche sacrifie l'agilité et les performances optimales dans des conditions nominales, car le contrôleur reste aveugle à l'état instantané de l'environnement.

La question de recherche centrale abordée est la suivante : Comment un contrôleur de vol basé sur l'apprentissage peut-il estimer dynamiquement des perturbations physiques non modélisées à partir d'états passés et utiliser cette information latente pour maintenir des performances de suivi optimales tout en comblant de manière transparente l'écart simulation-réalité ?

Méthodologie

Les auteurs proposent une architecture de contrôle adaptative novatrice qui va au-delà des politiques statiques et conservatrices en permettant au contrôleur de percevoir et de réagir activement aux perturbations instantanées. Le système est construit sur une structure de contrôle en cascade où une politique d'Apprentissage par Renforcement (RL) de haut niveau agit comme un contrôleur en boucle externe, générant des vitesses de rotation de corps et une poussée collective désirées, qui sont suivies par un contrôleur de vitesse PID embarqué.

La méthodologie comprend trois composants principaux :

1. Contrôleur Adaptatif avec Référence Oracle :
   Pour établir une limite supérieure de performance, les auteurs entraînent d'abord une politique RL aux côtés d'un « Oracle » ayant accès aux perturbations environnementales 6D réelles (forces et moments). Cette politique apprend des réponses optimales à des variations dynamiques spécifiques plutôt qu'un compromis généralisé. Cependant, comme les micro-UAV physiques ne disposent pas de capteurs pour mesurer ces forces en temps réel, cet Oracle ne peut pas être déployé directement.

2. Prédicteur de Dynamique Résiduelle (RDP) :
   Pour remplacer l'Oracle lors du déploiement dans le monde réel, les auteurs introduisent un Réseau de Neurones Récurrent (RDP) conçu comme un estimateur d'état non linéaire et implicite. Le RDP estime des forces et moments externes 6D non observés en utilisant uniquement l'historique temporel des états du véhicule et des signaux d'actionnement de bas niveau.

   • Entrée : Le RDP prend une fenêtre d'états cinématiques du véhicule, des actions précédentes de la boucle externe, et, de manière cruciale, les signaux de Modulation de Largeur d'Impulsion (PWM) en 4 dimensions commandés aux moteurs individuels. L'inclusion des signaux PWM est vitale pour capturer les états transitoires des actionneurs et le retard des moteurs.
   • Architecture : Le réseau utilise des Unités Récurrentes à Portes (GRU) pour traiter une fenêtre historique glissante d'observations normalisées, produisant en sortie un vecteur de perturbation 6D prédit.

3. Pont d'Étalonnage Simulation-Réalité Économe en Données :
   Pour résoudre la divergence entre les estimateurs entraînés en simulation et la réalité physique, les auteurs introduisent une couche d'étalonnage linéaire légère. Au lieu d'un réentraînement extensif, ils utilisent un jeu de données minimal (trois échantillons de vol brefs) pour ajuster un modèle de régression linéaire multivariée. Ce pont corrige les décalages en régime permanent (par exemple, dus à des asymétries de répartition de masse ou aux courbes de tension de la batterie). De plus, un mécanisme de correction de poussée en ligne accumule les erreurs de suivi d'altitude pour ajuster les décalages de force verticale constants, assurant ainsi que l'espace latent de l'estimateur s'aligne avec la réalité physique.

Contributions Clés

• Contrôleur RL Adaptatif : Développement d'un contrôleur en boucle externe entraîné avec un Oracle pour apprendre des réponses optimales aux forces externes variables, s'éloignant du caractère conservateur de la DR.
• Prédicteur de Dynamique Résiduelle (RDP) : Conception d'un réseau de neurones récurrent qui prédit implicitement des perturbations physiques 6D en utilisant uniquement l'historique des états et les commandes moteur, remplaçant efficacement le besoin de capteurs de perturbation de vérité terrain.
• Pont Simulation-Réalité Économe en Données : Introduction d'une couche d'étalonnage linéaire peu coûteuse en calcul et d'une correction de poussée en ligne qui alignent les estimateurs entraînés en simulation avec la réalité en utilisant quelques secondes seulement de données de vol, éliminant le besoin de grands jeux de données réels.

Résultats Expérimentaux

L'approche a été validée sur un micro-quadrirotor Bitcraze Crazyflie 2.X dans trois scénarios réels : variation de masse de charge utile centrale, distribution asymétrique de charge utile, et suivi de trajectoire dynamique avec une charge suspendue.

• Variation de Charge Centrale : Le contrôleur adaptatif avec le RDP appris a atteint une Erreur Quadratique Moyenne (RMSE) de 0,024 m à 0,030 m sur des augmentations de charge de 0 % à 25 %. Cela surpasse à la fois le Contrôleur de Base (qui s'est dégradé à 0,160 m à 25 % de charge) et le Contrôleur Robuste (qui a présenté une instabilité oscillatoire sévère même à 0 % de charge). Il est à noter que le contrôleur basé sur le RDP a légèrement mieux performé que la version basée sur l'Oracle, suggérant que la représentation latente apprise compense implicitement les écarts de modélisation mieux que les entrées physiques rigides.
• Charge Asymétrique : Dans des scénarios induisant des perturbations couplées de translation et de rotation, le contrôleur adaptatif a maintenu des erreurs de suivi significativement inférieures par rapport aux références. Le RDP a estimé avec succès les moments de tangage et de roulis induits, permettant au contrôleur de découpler et de contrer ces couples.
• Suivi de Trajectoire Dynamique : Lors du suivi d'une trajectoire en huit avec une charge suspendue, le système a maintenu un vol stable même lorsque l'agressivité de la trajectoire augmentait (période T réduite de 15 s à 3 s). Bien que l'erreur de suivi ait augmenté avec l'agressivité en raison des limitations de bande passante, le système est resté stable sans divergence. Le RDP a capturé avec succès la dynamique oscillatoire variant dans le temps de la charge suspendue.

Importance et Revendications

L'article revendique que l'adaptation active en temps réel est fondamentalement supérieure à la robustesse passive (DR) pour maintenir un suivi de vol stable et optimal. Les insights clés incluent :

• Suffisance de l'Estimation Implicite : Des forces et moments externes complexes 6D peuvent être reconstruits avec précision sans capteurs de couple-force spécialisés, en utilisant uniquement la cinématique embarquée standard et les signaux d'actionneur.
• Estimation Pertinente pour le Contrôle vs. Exacte : La reconstruction précise des grandeurs physiques de vérité terrain n'est pas strictement nécessaire pour des performances élevées. Une erreur d'estimation bornée (par exemple, 3 %–7 % dans l'estimation de masse) est suffisante, à condition que le réseau génère une représentation cohérente et pertinente pour le contrôle des tendances de perturbation.
• Transfert Simulation-Réalité Efficace : La divergence entre simulation et réalité peut être approximée par une relation linéaire d'ordre faible. Cela permet un pontage efficace de l'écart simulation-réalité en utilisant un étalonnage linéaire léger et une correction en ligne, évitant une adaptation de domaine non linéaire complexe ou un réentraînement extensif.
• Efficacité de l'Entraînement Découplé : L'entraînement d'une politique optimale avec un Oracle avant de passer à un estimateur appris contourne l'instabilité et l'inefficacité d'échantillonnage souvent associées au RL de bout en bout dans des environnements partiellement observables.

Les auteurs concluent que cette architecture permet aux micro-quadrirotors d'opérer sous des incertitudes dynamiques sévères, telles que des variations de masse et des charges suspendues dynamiques, avec une précision qui surpasse significativement les références classiques et robustes basées sur le RL. Les travaux futurs visent à étendre ce cadre aux rafales de vent turbulentes et à des plateformes plus grandes.