Résumé Technique : Jumeau de Renforcement pour le Contrôle Hybride de Drones à Ailes Battantes

Définition du Problème

Le contrôle des micro-véhicules aériens à ailes battantes (FWMAV) présente un défi significatif en raison de leur dynamique intrinsèquement instable, fortement non linéaire et variable dans le temps. Ces systèmes sont sous-actionnés et opèrent dans des régimes où les forces visqueuses dominent les effets inertiels, menant à des interactions aérodynamiques complexes telles que les vortex de bord d'attaque. De plus, la fabrication à petite échelle introduit des incertitudes paramétriques, et les données des capteurs sont souvent bruitées.

Les stratégies de contrôle traditionnelles font face à un compromis fondamental :

• Les approches basées sur le modèle (MB) (ex: LQR, MPC) reposent sur des modèles linéaires ou non linéaires simplifiés qui échouent souvent à capturer les incertitudes variables dans le temps et les cinématiques complexes, entraînant des performances médiocres lors de manœuvres agiles.
• Les approches sans modèle (MF) (ex: Apprentissage par renforcement) évitent les hypothèses de modélisation explicites mais souffrent d'une faible efficacité d'échantillonnage, nécessitant une exploration par essais et erreurs étendue et potentiellement dangereuse pour converger.

L'article répond au besoin d'un cadre de contrôle qui combine la robustesse de la modélisation physique avec l'adaptabilité de l'apprentissage fondé sur les données, spécifiquement adapté à l'environnement peu efficace en termes d'échantillonnage et à haut risque du vol des FWMAV.

Méthodologie : Jumeau de Renforcement (RT)

Les auteurs proposent un cadre de Jumeau de Renforcement (RT), une architecture hybride modèle-free/modèle-based conçue pour faciliter la collaboration bidirectionnelle entre deux agents d'apprentissage. Le système fonctionne via les composants suivants :

1. Architecture à Double Agent

Deux politiques de contrôle parallèles sont entraînées simultanément :

• Politique sans modèle ($\pi_{mf}$) : Entraînée à l'aide de l'algorithme Deep Deterministic Policy Gradient (DDPG). Elle interagit directement avec l'environnement réel (une simulation non linéaire variable dans le temps, NLTV, du drone) pour maximiser la récompense cumulée.
• Politique basée sur le modèle ($\pi_{mb}$) : Entraînée au sein d'un Environnement Virtuel (un modèle substitut non linéaire invariant dans le temps, NLTI). Cette politique est optimisée par descente de gradient basée sur l'adjointe pour minimiser le coût de contrôle dans le domaine virtuel.

2. Jumeau Numérique Adaptatif (Environnement Virtuel)

L'environnement virtuel n'est pas un modèle statique mais un jumeau numérique adaptatif. Il utilise une formulation NLTI simplifiée dérivée des forces aérodynamiques moyennées par cycle.

• Loi de Clôture : Les forces aérodynamiques sont représentées par une fonction polynomiale des variables d'état et de contrôle (spécifiquement, une formulation de Modèle 3 incluant des termes de contrôle quadratiques).
• Identification en Ligne : Les paramètres du modèle sont continuellement mis à jour via une procédure d'assimilation de données basée sur l'adjointe. Ce processus minimise l'écart entre les trajectoires virtuelles et les trajectoires réelles stockées dans un « tampon d'assimilation », permettant au modèle de s'adapter aux évolutions dynamiques et aux incertitudes en temps réel.

3. Mécanismes de Coopération

Les deux agents sont coordonnés par un Arbitre de Politique qui gère l'interaction entre les mondes réel et virtuel :

• Arbitrage de Politique : Un arbitre sélectionne quelle politique ($\pi_{mf}$ ou $\pi_{mb}$) agit comme le contrôleur « actif » dans l'environnement réel. Cette décision est basée sur :
  • Ratio de Confiance Réel-Virtuel (RVET) : Une métrique comparant les améliorations prédites dans l'environnement virtuel aux améliorations observées dans l'environnement réel. Si le modèle virtuel est incohérent avec la réalité, la politique sans modèle est déployée.
  • Comparaison de Performance : Si la politique inactive (celle qui n'est pas actuellement déployée) surpasse systématiquement la politique active dans l'environnement virtuel, un basculement peut se produire.
  • Détection de Stagnation : Si l'apprentissage stagne, les poids sont clonés de la politique la plus performante vers la plus faible pour éviter la divergence.
• Expérience Partagée :
  • Les transitions de la politique active (qu'elle soit MF ou MB) alimentent un Tampon de Replay utilisé pour entraîner l'acteur et le critique de la politique MF.
  • Les trajectoires état-action sont stockées dans un Tampon d'Assimilation (mis à jour via un critère de variance maximale pour assurer la diversité) afin d'identifier et de mettre à jour la loi de clôture de l'environnement virtuel.

Principales Contributions

L'article détaille trois contributions techniques majeures :

1. Stratégie d'Identification de Modèle en Ligne : La formulation d'une optimisation adjointe continue pour calibrer un modèle non linéaire invariant dans le temps (NLTI) simplifié à partir de trajectoires à horizon court générées par un environnement non linéaire variable dans le temps (NLTV). Cela permet au modèle de s'adapter aux régions spécifiques de l'espace d'état visitées par la politique de contrôle, plutôt que de compter sur des jeux de données pré-collectés.
2. Mécanisme d'Apprentissage Bidirectionnel : Contrairement au RL basé sur le modèle (MBRL) standard où le modèle soutient principalement la politique, ce cadre établit des interactions réciproques. Le modèle guide l'exploration dans l'espace de contrôle, tandis que l'agent d'apprentissage par renforcement enrichit les données utilisées pour l'identification du modèle.
3. Arbitre de Politique et Collaboration : La conception d'un système d'arbitrage dynamique qui gère le déploiement des agents en fonction de la cohérence réel-virtuel, permettant de basculer entre l'efficacité du modèle et la robustesse du sans-modèle selon l'évolution des conditions.

Résultats

Le cadre a été évalué sur le contrôle longitudinal d'un drone à ailes battantes (ascension verticale vers un état cible) sous trois scénarios d'initialisation distincts :

1. Calibrage Hors Ligne : Lorsque le modèle virtuel était pré-calibré sur un jeu de données riche, le cadre hybride RT a convergé de manière nettement plus rapide et avec une variance plus faible qu'une approche DDPG (sans modèle) autonome. La politique basée sur le modèle a piloté le début de l'entraînement, agissant comme une sécurité pour l'exploration.
2. Apprentissage Entièrement en Ligne (Initialisation Aléatoire) : Dans les scénarios où le modèle et la politique commençaient tous deux avec des paramètres aléatoires (aucune connaissance préalable), l'approche purement basée sur le modèle a échoué à converger efficacement en raison du biais initial du modèle. L'approche purement sans modèle a convergé, mais lentement. Le cadre RT a surpassé les deux bases, atteignant une convergence plus rapide et des récompenses finales plus élevées. Le système a réussi à adapter le modèle de substitution en ligne, passant d'une dominance sans modèle à une dominance basée sur le modèle à mesure que le jumeau numérique gagnait en fidélité.
3. Apprentissage en Ligne avec Biais de Modèle : Lorsqu'un modèle initial a été calibré sur des données présentant des biais importants (ex: augmentation de masse de 33 % ou décalage du centre de pression), le cadre RT a réussi à corriger le modèle de substitution en ligne. Il a maintenu un apprentissage de politique efficace et a atteint l'état cible, démontrant sa robustesse face aux incertitudes paramétriques et aux changements dynamiques.

Sélection de Modèle : L'étude a identifié qu'une loi de clôture polynomiale incluant des termes de contrôle quadratiques (Modèle 3) offrait le meilleur compromis entre précision prédictive et complexité computationnelle, atteignant des coefficients de corrélation de Pearson supérieurs à 0,99 pour les positions longitudinales et verticales.

Signification et Revendications

L'article affirme que le cadre de Jumeau de Renforcement parvient à atténuer le compromis entre l'inefficacité d'échantillonnage de l'apprentissage sans modèle et les inexactitudes de modèle du contrôle traditionnel basé sur le modèle. En permettant une interaction continue et bidirectionnelle entre une politique fondée sur les données et un modèle physique adaptatif, le cadre :

• Améliore l'efficacité d'échantillonnage et la robustesse du contrôle de systèmes hautement non linéaires et variables dans le temps.
• Permet une adaptation en ligne aux évolutions dynamiques et aux incertitudes paramétriques sans nécessiter de données de pré-entraînement étendues.
• Fournit une architecture généralisable pour le contrôle en temps réel dans des environnements évoluant dynamiquement, démontrant spécifiquement son efficacité dans le contexte exigeant du vol des drones à ailes battantes.

Les auteurs notent que bien que l'étude actuelle se concentre sur le contrôle longitudinal avec une estimation d'état idéalisée, les travaux futurs étendront le cadre à la dynamique complète en 3D et valideront les performances par rapport à des simulations CFD de haute fidélité.