High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

Cette étude démontre que, tandis que l'optimisation bayésienne en boucle ouverte a permis d'améliorer avec succès l'efficacité aérodynamique de 10,9 % grâce à un contrôle par jet stationnaire sur une aile à haute portance 30P30N, l'apprentissage par renforcement profond en boucle fermée a produit des gains négligeables en raison d'une fonction de récompense dominée par une pénalité qui a contraint l'exploration.

L'essentiel

Imaginez que vous essayez de piloter un avion lourd. Pour décoller et atterrir en toute sécurité, les ailes doivent générer beaucoup de portance. Pour ce faire, les ingénieurs utilisent des ailes à « haute portance », qui ressemblent à des ailes équipées de volets et de becs supplémentaires (de petites pièces mobiles) qui se déploient pour modifier la forme de l'aile.

Cependant, à des angles prononcés (comme lorsque l'avion grimpe raide ou atterrit), l'air s'écoulant sur ces pièces supplémentaires peut devenir turbulent et se détacher de la surface, provoquant un « décrochage » de l'avion (perte de portance). C'est comme essayer de courir à travers une foule dense ; si vous vous déplacez trop vite ou sous le mauvais angle, les gens vous bousculent, et vous ne pouvez plus avancer efficacement.

Ce document est une étude menée par une équipe de chercheurs qui voulaient résoudre ce problème d'« air turbulent » en utilisant deux stratégies intelligentes différentes. Ils ont employé une simulation informatique ultra-avancée (comme une soufflerie virtuelle) pour tester leurs idées sur un design d'aile spécifique appelé « 30P30N ».

Voici comment ils ont tenté de résoudre le problème, expliqué simplement :

L'Outil : « Jets Synthétiques »

Au lieu d'utiliser de grands volets mécaniques, les chercheurs ont utilisé de minuscules « souffles » d'air invisibles. Imaginez souffler un courant d'air constant à travers de minuscules trous à la surface de l'aile. On les appelle des jets synthétiques. Ils n'ajoutent pas d'air supplémentaire au système (ils le déplacent simplement), mais ils peuvent lisser l'écoulement d'air turbulent, maintenant l'air collé à l'aile afin que l'avion ne décroche pas.

Stratégie 1 : Le « Chercheur Intelligent » (Optimisation Bayésienne)

La première méthode ressemble à un chasseur de trésors très organisé.

• Comment ça marche : L'ordinateur teste différentes combinaisons de soufflage d'air depuis l'avant, le milieu et l'arrière de l'aile. Il ne devine pas au hasard ; il utilise une carte mathématique pour apprendre de chaque tentative. Si un réglage particulier fonctionne bien, il cherche à proximité des réglages encore meilleurs.
• Le Résultat : Cette méthode a été très réussie. Elle a trouvé un motif de « respiration » constant et spécifique qui a rendu l'aile 11 % plus efficace.
• Ce qui s'est passé : Elle a principalement fonctionné en aspirant l'air à l'avant de l'aile (le bec), ce qui a lissé l'écoulement et réduit la traînée (résistance de l'air). C'était comme trouver le rythme parfait pour traverser cette pièce bondée sans bousculer personne.

Stratégie 2 : Le « Joueur de Jeu Vidéo » (Apprentissage par Renforcement Profond)

La deuxième méthode ressemble à l'entraînement d'un personnage de jeu vidéo (un agent IA) pour jouer à un simulateur de vol.

• Comment ça marche : Cette IA reçoit des mises à jour en temps réel provenant de capteurs sur l'aile (comme un joueur voyant l'écran). Elle tente d'ajuster les « souffles » d'air instantanément en fonction de ce que fait l'air en ce moment même. L'objectif est d'apprendre une danse complexe et changeante de contrôle de l'air qu'un humain ne pourrait pas élucider.
• Le Résultat : Cette méthode a lutté. Bien que l'IA ait eu accès à des données instantanées, elle n'a pas beaucoup amélioré les performances de l'aile.
• Pourquoi cela a échoué : Les chercheurs ont réalisé que la « note » qu'ils donnaient à l'IA était trop stricte. L'IA avait tellement peur de faire une erreur (comme perdre un tout petit peu de portance) qu'elle avait peur d'essayer quoi que ce soit de nouveau. Elle est restée coincée dans une boucle sûre et ennuyeuse où elle améliorait à peine quoi que ce soit. C'est comme un étudiant qui a tellement peur de se tromper sur une question qu'il ne lève jamais la main pour essayer une réponse plus difficile.

La Grande Leçon

L'étude a révélé que :

1. Le « Chercheur Intelligent » (Optimisation Bayésienne) a très bien fonctionné. Il a trouvé une solution simple et constante qui a permis à l'aile de voler beaucoup mieux avec très peu de tests informatiques.
2. Le « Joueur de Jeu Vidéo » (Apprentissage par Renforcement Profond) n'a pas bien fonctionné dans ce cas spécifique. L'ordinateur était trop coûteux à exécuter (il a fallu deux semaines de temps de supercalculateur pour une seule session d'entraînement), et les « règles » de l'IA étaient trop strictes, l'empêchant d'apprendre les meilleurs mouvements.

En bref : Pour ce problème d'aile spécifique, une recherche méthodique et constante du meilleur réglage a mieux fonctionné qu'une IA high-tech tentant de réagir instantanément. Les chercheurs ont conclu que si nous voulons utiliser ces méthodes d'IA de type « jeu vidéo » à l'avenir, nous devons leur donner de meilleures règles (récompenses) et des ordinateurs plus rapides afin qu'elles puissent réellement apprendre à mieux voler.

Résumé technique

Résumé technique : Contrôle du décollement sur une aile à portance élevée par optimisation bayésienne et apprentissage par renforcement profond

Énoncé du problème
Cette étude aborde le défi du contrôle du décollement de l'écoulement sur une configuration d'aile à portance élevée 30P30N, une géométrie de référence pour les ailes multi-éléments utilisées lors du décollage et de l'atterrissage. Plus précisément, la recherche vise à atténuer le décrochage à un angle d'attaque élevé ($\alpha = 23^\circ$) et un nombre de Reynolds de $Re_c = 450\,000$. Dans ces conditions, l'écoulement est dominé par le décollement de la couche de cisaillement entre les éléments principal et de volet, ce qui dégrade les performances aérodynamiques. L'objectif est d'appliquer un contrôle actif de l'écoulement (AFC) utilisant des jets synthétiques sur les éléments de bec, d'aile principale et de volet afin de retarder le décollement et d'améliorer l'efficacité aérodynamique ($E = C_l/C_d$). L'étude compare deux stratégies d'optimisation distinctes : l'optimisation bayésienne (BO) en boucle ouverte et l'apprentissage par renforcement profond (DRL) en boucle fermée.

Méthodologie
La recherche utilise des simulations aux grandes échelles (LES) résolues aux parois avec le solveur CFD accéléré par GPU SOD2D, développé en interne, qui résout les équations de Navier-Stokes filtrées incompressibles par une méthode spectrale aux éléments. Le domaine de calcul s'étend sur $20c \times 20c \times 0,1c$ dans les directions longitudinale, transversale et spanwise, respectivement.

• Actionnement : Des jets synthétiques sont placés sur le bec ($x/c = -0,050$), l'élément principal ($x/c = 0,725$) et le volet ($x/c = 1,0$). Les jets fonctionnent avec un flux de masse net nul ; la vitesse du jet du volet est contrainte pour équilibrer le flux de masse des jets du bec et de l'élément principal.
• Optimisation bayésienne (BO) : Cette approche en boucle ouverte traite les vitesses des jets comme des paramètres fixes. Un modèle de substitution par processus gaussien (GP) approxime la relation entre les entrées de contrôle et les sorties aérodynamiques. La fonction objectif maximise l'efficacité tout en imposant des pénalités strictes pour toute réduction de la portance ou augmentation de la traînée par rapport à la configuration de référence. L'optimisation échantillonne itérativement l'espace des paramètres pour trouver une configuration optimale à l'état stationnaire.
• Apprentissage par renforcement profond (DRL) : Cette approche en boucle fermée utilise un cadre d'apprentissage par renforcement multi-agents (MARL). L'agent, implémenté sous forme de réseau de neurones, reçoit des données de pression instantanées provenant de 78 capteurs par pseudo-environnement (couvrant trois domaines 3D) et génère des vitesses de jets dépendantes du temps. L'agent est entraîné à l'aide de l'algorithme d'optimisation de politique proximale (PPO). La fonction de récompense reflète l'objectif de la BO mais est calculée localement pour chaque pseudo-environnement puis agrégée. L'environnement d'entraînement exécute 10 simulations CFD concurrentes pour accélérer la collecte de données.

Contributions et résultats clés

1. Validation de la référence : La configuration LES non contrôlée a été validée par rapport aux données de la littérature (Montalà et al.) obtenues à un nombre de Reynolds légèrement plus élevé ($750\,000$). Deux résolutions de maillage ont été utilisées : un maillage grossier ($p=2$) pour l'entraînement à l'optimisation et un maillage fin ($p=4$) pour l'évaluation finale. Le maillage fin a correctement capturé les statistiques résolues aux parois ($\Delta y^+ < 2$), tandis que le maillage grossier, bien qu'il sous-estime la traînée en raison d'une résolution inférieure, a réussi à capturer les tendances du coefficient de portance et de la topologie de l'écoulement, validant ainsi son utilisation pour la boucle d'optimisation.

2. Succès de l'optimisation bayésienne : Le cadre BO a permis d'identifier avec succès une configuration de jets stationnaires améliorant l'efficacité aérodynamique de +10,9 % sur le maillage fin par rapport à la référence. Cette amélioration a été obtenue principalement grâce à une réduction de la traînée de 9,7 % tout en maintenant la portance ($+0,15 \%$). L'analyse de l'écoulement a révélé que la succion sur le bec a aminci la couche limite et éliminé le sillage du bec, conduisant à la réduction de la traînée. Bien que la traînée sur les éléments principal et de volet ait légèrement augmenté en raison d'une zone de recirculation plus large, l'effet net a été positif. La méthode BO n'a nécessité que 19 évaluations CFD pour converger.

3. Performance et limites du DRL : En revanche, l'agent DRL, bien qu'il exploite des informations d'écoulement instantanées et un cadre MARL pour l'actionnement 3D, n'a obtenu que des améliorations marginales. Bien que l'agent ait légèrement réduit la traînée et maintenu la portance, le gain d'efficacité aérodynamique était négligeable. L'analyse du processus d'entraînement a indiqué que la fonction de récompense était dominée par des termes de pénalité (spécifiquement la pénalité de portance). Comme l'agent n'a pas pu éliminer entièrement la pénalité de portance (la portance n'a jamais dépassé la référence), le terme d'efficacité est resté stagnant. Les auteurs notent que les contraintes « dures » dans la fonction de récompense ont probablement restreint l'exploration de l'espace de contrôle par l'agent, le piégeant dans un optimum local.

4. Défis computationnels : L'étude met en évidence le coût computationnel significatif du DRL à haut nombre de Reynolds. L'entraînement de 990 épisodes MARL a nécessité environ deux semaines sur 30 nœuds du supercalculateur MN5 (environ 48 000 heures-GPU). Ce coût, dû aux petits pas de temps requis pour les LES à $Re_c = 450\,000$, a sévèrement limité la capacité à ajuster les hyperparamètres ou à tester des formulations alternatives de récompense.

Importance et affirmations
L'article affirme que si la BO est un outil robuste et efficace pour identifier des stratégies AFC stationnaires et interprétables avec peu d'évaluations, le DRL fait face à des obstacles majeurs dans le contrôle d'écoulement à haut nombre de Reynolds. L'importance principale de ce travail réside dans la démonstration que :

• La BO peut optimiser efficacement l'actionnement par jets synthétiques stationnaires pour atténuer le décrochage et améliorer l'efficacité sur des ailes complexes à portance élevée en 3D.
• Pour le DRL, la conception de la fonction de récompense est cruciale ; des récompenses dominées par des pénalités peuvent contraindre l'exploration et empêcher la découverte de politiques améliorant les performances.
• Le coût computationnel reste un goulot d'étranglement majeur pour le contrôle d'écoulement basé sur le DRL à haut nombre de Reynolds. Les auteurs suggèrent que les progrès futurs dépendent de stratégies d'accélération telles que la modélisation par substitution, l'apprentissage par transfert à partir de nombres de Reynolds inférieurs, ou une parallélisation accrue, plutôt que d'une simple mise à l'échelle des protocoles d'entraînement actuels.

L'étude ne prétend pas que le DRL est supérieur à la BO pour cette application spécifique ; elle présente plutôt une analyse comparative montrant que, dans les contraintes computationnelles et de récompense actuelles, la BO a surpassé l'approche DRL en boucle fermée en termes de gains d'efficacité.