High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

Diese Studie zeigt, dass die offene bayessche Optimierung zwar die aerodynamische Effizienz durch stationäre Strahlsteuerung an einem 30P30N-Hochauftriebsflügel um 10,9 % steigern konnte, während das geschlossene Deep Reinforcement Learning aufgrund einer von Strafen dominierten Belohnungsfunktion, die die Exploration einschränkte, nur vernachlässigbare Verbesserungen erzielte.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein schweres Flugzeug zu fliegen. Um sicher abzuheben und zu landen, müssen die Flügel viel Auftrieb erzeugen. Um dies zu erreichen, verwenden Ingenieure „High-Lift"-Flügel, die wie Flügel mit zusätzlichen Klappen und Vorflügeln (kleine bewegliche Teile) sind, die herausklappen, um die Form des Flügels zu verändern.

Bei steilen Winkeln (wie beim steilen Steigflug oder bei der Landung) kann die Luftströmung über diese zusätzlichen Teile jedoch chaotisch werden und sich von der Oberfläche lösen, was dazu führt, dass das Flugzeug „strömungsabriss" erleidet (Auftriebsverlust). Dies ist vergleichbar mit dem Versuch, durch eine dicke Menschenmenge zu laufen: Wenn Sie sich zu schnell bewegen oder im falschen Winkel, stoßen die Menschen gegen Sie, und Sie können nicht effizient vorankommen.

Diese Arbeit ist eine Studie eines Forschungsteams, das dieses Problem der „chaotischen Luft" mit zwei verschiedenen intelligenten Strategien beheben wollte. Sie verwendeten eine hochmoderne Computersimulation (wie einen virtuellen Windkanal), um ihre Ideen an einem spezifischen Flügelmodell namens „30P30N" zu testen.

Hier ist, wie sie versuchten, das Problem zu lösen, einfach erklärt:

Das Werkzeug: „Synthetische Strahlen"

Anstatt große mechanische Klappen zu verwenden, nutzten die Forscher winzige, unsichtbare „Atemzüge" von Luft. Stellen Sie sich vor, Sie blasen einen stetigen Luftstrom durch winzige Löcher auf der Flügeloberfläche. Diese werden als synthetische Strahlen bezeichnet. Sie fügen dem System keine zusätzliche Luft hinzu (sie bewegen sie nur um), aber sie können die chaotische Luftströmung glätten, indem sie die Luft am Flügel haften lassen, damit das Flugzeug keinen Strömungsabriss erleidet.

Strategie 1: Der „Intelligente Sucher" (Bayessche Optimierung)

Die erste Methode ist wie ein sehr organisierter Schatzsucher.

• Wie es funktioniert: Der Computer probiert verschiedene Kombinationen aus, um Luft von der Vorder-, Mittel- und Rückseite des Flügels zu blasen. Er rät nicht einfach zufällig; er verwendet eine mathematische Karte, um aus jedem Versuch zu lernen. Wenn eine bestimmte Einstellung gut funktioniert, sucht er in der Nähe nach noch besseren Einstellungen.
• Das Ergebnis: Diese Methode war sehr erfolgreich. Sie fand ein spezifisches, stetiges „Atem"-Muster, das den Flügel um 11 % effizienter machte.
• Was geschah: Es funktionierte hauptsächlich dadurch, dass Luft am vorderen Teil des Flügels (dem Vorflügel) angesaugt wurde, was die Strömung glättete und den Widerstand (Luftwiderstand) verringerte. Es war wie das Finden des perfekten Rhythmus, um durch diesen überfüllten Raum zu gehen, ohne gegen jemanden zu stoßen.

Strategie 2: Der „Videospiele-Spieler" (Deep Reinforcement Learning)

Die zweite Methode ist wie das Trainieren eines Videospiele-Charakters (einer KI-Agentin) zum Spielen eines Flugsimulators.

• Wie es funktioniert: Diese KI erhält Echtzeit-Updates von Sensoren am Flügel (wie ein Spieler, der den Bildschirm sieht). Sie versucht, die Luft„atembzüge" sofort anzupassen, basierend darauf, was die Luft gerade jetzt tut. Das Ziel ist es, einen komplexen, sich verändernden Tanz der Luftsteuerung zu erlernen, den ein Mensch nicht herausfinden könnte.
• Das Ergebnis: Diese Methode hatte Schwierigkeiten. Obwohl die KI Zugriff auf Echtzeitdaten hatte, verbesserte sie die Leistung des Flügels kaum.
• Warum sie scheiterte: Die Forscher stellten fest, dass die „Bewertung", die sie der KI gaben, zu streng war. Die KI hatte solche Angst, einen Fehler zu machen (wie einen winzigen Auftriebsverlust), dass sie Angst hatte, etwas Neues zu versuchen. Sie steckte in einem sicheren, langweiligen Loop fest, in dem sie kaum etwas verbesserte. Es ist wie ein Schüler, der solche Angst hat, eine Frage falsch zu beantworten, dass er nie die Hand hebt, um eine schwierigere Antwort zu versuchen.

Die große Lektion

Die Studie ergab, dass:

1. Der „Intelligente Sucher" (Bayessche Optimierung) hervorragend funktionierte. Er fand eine einfache, stetige Lösung, die den Flügel mit sehr wenigen Computersimulationen deutlich besser fliegen ließ.
2. Der „Videospiele-Spieler" (Deep Reinforcement Learning) in diesem spezifischen Fall nicht gut funktionierte. Der Computer war zu teuer im Betrieb (es dauerte zwei Wochen Supercomputer-Zeit für eine Trainingssitzung), und die „Regeln" der KI waren zu streng, was verhinderte, dass sie die besten Züge erlernte.

Kurz gesagt: Für dieses spezifische Flügelproblem funktionierte eine methodische, stetige Suche nach der besten Einstellung besser als eine High-Tech-KI, die versuchte, sofort zu reagieren. Die Forscher kamen zu dem Schluss, dass wir, wenn wir diese „Videospiele"-KI-Methoden in der Zukunft einsetzen wollen, ihnen bessere Regeln (Belohnungen) und schnellere Computer geben müssen, damit sie tatsächlich lernen können, besser zu fliegen.

Technische Zusammenfassung

Technische Zusammenfassung: Steuerung der Strömungsablösung an Hochauftriebsflügeln mittels Bayes-Optimierung und Deep Reinforcement Learning

Problemstellung
Diese Studie adressiert die Herausforderung der Kontrolle der Strömungsablösung an einer 30P30N-Hochauftriebsflügelkonfiguration, einer Referenzgeometrie für mehrflügelige Tragflächen, die während des Starts und der Landung verwendet werden. Insbesondere richtet sich die Forschung auf die Minderung des Strömungsabrisses bei einem hohen Anstellwinkel ($\alpha = 23^\circ$) und einer Reynoldszahl von $Re_c = 450.000$. Unter diesen Bedingungen wird die Strömung durch die Scherablösung zwischen dem Hauptflügel und dem Klappenelement dominiert, was die aerodynamische Leistung verschlechtert. Das Ziel ist der Einsatz von Aktiver Strömungskontrolle (AFC) mittels synthetischer Jets auf dem Vorflügel, dem Hauptflügel und dem Klappenelement, um die Ablösung zu verzögern und den aerodynamischen Wirkungsgrad ($E = C_l/C_d$) zu verbessern. Die Studie vergleicht zwei unterschiedliche Optimierungsstrategien: die offene Bayes-Optimierung (BO) und das geschlossene Deep Reinforcement Learning (DRL).

Methodik
Die Forschung verwendet wandaufgelöste Large-Eddy-Simulationen (LES) mit dem internen, GPU-beschleunigten CFD-Löser SOD2D, der die gefilterten inkompressiblen Navier-Stokes-Gleichungen mittels einer Spektral-Elemente-Methode löst. Der Rechendomäne erstreckt sich über $20c \times 20c \times 0,1c$ in Strömungsrichtung, quer zur Strömung und in Spannweitenrichtung.

• Aktuation: Synthetische Jets sind am Vorflügel ($x/c = -0,050$), am Hauptflügel ($x/c = 0,725$) und an der Klappe ($x/c = 1,0$) positioniert. Die Jets arbeiten mit einem Nettomassenfluss von null; die Geschwindigkeit des Klappenjets ist so beschränkt, dass sie den Massenstrom der Vorflügel- und Hauptflügel-Jets ausgleicht.
• Bayes-Optimierung (BO): Dieser offene Ansatz behandelt die Jetgeschwindigkeiten als feste Parameter. Ein Gauß-Prozess- (GP) Surrogatmodell approximiert die Beziehung zwischen Steuereingaben und aerodynamischen Ausgaben. Die Zielfunktion maximiert den Wirkungsgrad, während strenge Strafen für jede Verringerung des Auftriebs oder jede Erhöhung des Widerstands im Vergleich zur Basislinie auferlegt werden. Die Optimierung sampelt iterativ den Parameterraum, um eine stationäre optimale Konfiguration zu finden.
• Deep Reinforcement Learning (DRL): Dieser geschlossene Ansatz nutzt ein Multi-Agent Reinforcement Learning (MARL)-Rahmenwerk. Der Agent, implementiert als neuronales Netz, empfängt instantane Druckdaten von 78 Sensoren pro Pseudo-Umgebung (die drei 3D-Domänen abdecken) und gibt zeitabhängige Jetgeschwindigkeiten aus. Der Agent wird mit dem Proximal Policy Optimization (PPO)-Algorithmus trainiert. Die Belohnungsfunktion spiegelt das BO-Ziel wider, wird jedoch lokal für jede Pseudo-Umgebung berechnet und aggregiert. Die Trainingsumgebung führt 10 parallele CFD-Simulationen durch, um die Datensammlung zu beschleunigen.

Hauptbeiträge und Ergebnisse

1. Validierung der Basislinie: Das ungesteuerte LES-Setup wurde gegen Literaturdaten (Montalà et al.) validiert, die bei einer leicht höheren Reynoldszahl ($750.000$) gewonnen wurden. Zwei Gitterauflösungen wurden verwendet: ein grobes Gitter ($p=2$) für das Optimierungstraining und ein feines Gitter ($p=4$) für die abschließende Bewertung. Das feine Gitter erfasste wandaufgelöste Statistiken genau ($\Delta y^+ < 2$), während das grobe Gitter trotz einer Unterschätzung des Widerstands aufgrund der geringeren Auflösung den Auftriebsbeiwert und die Trends der Strömungstopologie erfolgreich erfasste, was seine Verwendung für die Optimierungsschleife validiert.

2. Erfolg der Bayes-Optimierung: Das BO-Rahmenwerk identifizierte erfolgreich eine stationäre Jetkonfiguration, die den aerodynamischen Wirkungsgrad auf dem feinen Gitter im Vergleich zur Basislinie um +10,9 % verbesserte. Diese Verbesserung wurde primär durch eine Widerstandsreduktion von 9,7 % erreicht, während der Auftrieb erhalten blieb ($+0,15 \%$). Eine Strömungsanalyse ergab, dass die Sogwirkung am Vorflügel die Grenzschicht verdünnte und den Vorflügel-Nachlauf eliminierte, was die Widerstandsreduktion vorantrieb. Obwohl der Widerstand am Hauptflügel und an der Klappe aufgrund eines größeren Rezirkulationsbereichs leicht anstieg, war der Nettoeffekt positiv. Die BO-Methode benötigte nur 19 CFD-Bewertungen zur Konvergenz.

3. DRL-Leistung und Grenzen: Im Gegensatz dazu erzielte der DRL-Agent, trotz der Nutzung instantaner Strömungsinformationen und eines MARL-Rahmenwerks für die 3D-Aktuation, nur marginale Verbesserungen. Während der Agent den Widerstand leicht reduzierte und den Auftrieb hielt, war der Gewinn im aerodynamischen Wirkungsgrad vernachlässigbar. Eine Analyse des Trainingsprozesses zeigte, dass die Belohnungsfunktion von Straftermen dominiert wurde (insbesondere dem Auftriebs-Strafterm). Da der Agent den Auftriebs-Strafterm nicht vollständig eliminieren konnte (der Auftrieb überstieg nie die Basislinie), blieb der Wirkungsgrad-Term stagnierend. Die Autoren stellen fest, dass die „harten" Beschränkungen in der Belohnungsfunktion die Exploration des Agenten im Steuerungsraum wahrscheinlich einschränkten und ihn in einem lokalen Optimum festhielten.

4. Rechnerische Herausforderungen: Die Studie hebt die erheblichen Rechenkosten der DRL-Steuerung bei hohen Reynoldszahlen hervor. Das Training von 990 MARL-Episoden erforderte etwa zwei Wochen auf 30 Knoten des MN5-Supercomputers (ca. 48.000 GPU-Stunden). Diese Kosten, getrieben durch die kleinen Zeitschritte, die für LES bei $Re_c = 450.000$ erforderlich sind, beschränkten die Möglichkeit zur Feinabstimmung von Hyperparametern oder zum Testen alternativer Belohnungsformulierungen erheblich.

Bedeutung und Behauptungen
Die Studie behauptet, dass BO ein robustes und effizientes Werkzeug zur Identifizierung stationärer, interpretierbarer AFC-Strategien mit wenigen Bewertungen ist, während DRL bei der Strömungskontrolle bei hohen Reynoldszahlen erhebliche Hürden hat. Die primäre Bedeutung der Arbeit liegt in der Demonstration, dass:

• BO die Optimierung der stationären synthetischen Jet-Aktuation effektiv durchführen kann, um Strömungsabriss zu mindern und den Wirkungsgrad auf komplexen 3D-Hochauftriebsflügeln zu verbessern.
• Für DRL die Gestaltung der Belohnungsfunktion kritisch ist; von Strafen dominierte Belohnungen können die Exploration einschränken und die Entdeckung leistungssteigernder Politiken verhindern.
• Die Rechenkosten weiterhin ein Hauptengpass für DRL-basierte Strömungskontrolle bei hohen Reynoldszahlen darstellen. Die Autoren schlagen vor, dass zukünftiger Fortschritt von Beschleunigungsstrategien wie Surrogatmodellierung, Transfer-Learning von niedrigeren Reynoldszahlen oder erhöhter Parallelisierung abhängt, anstatt einfach die aktuellen Trainingsprotokolle zu skalieren.

Die Studie behauptet nicht, dass DRL für diese spezifische Anwendung BO überlegen ist; vielmehr präsentiert sie eine vergleichende Analyse, die zeigt, dass unter den aktuellen rechnerischen und Belohnungsbeschränkungen BO die geschlossene DRL-Annäherung hinsichtlich der Wirkungsgradsteigerungen übertraf.