Acoustics-based Active Control of Unsteady Flow Dynamics using Reinforcement Learning Driven Synthetic Jets

Dieser Beitrag stellt ein Deep-Reinforcement-Learning-Framework vor, das Fernfeld-Akustikmessungen als primäres Rückkopplungssignal nutzt, um die synthetische Strahlungsanregung zu steuern, wodurch die instationären Nachlaufdynamiken hinter einem zylindrischen Körper erfolgreich unterdrückt sowie signifikante Reduktionen des abgestrahlten Schalls und des Widerstands erreicht werden, ohne auf herkömmliche Geschwindigkeits- oder Drucksensoren zurückzugreifen.

Das Wesentliche

Stellen Sie sich vor, Sie stehen an einem windigen Tag neben einer Fahnenstange. Der Wind weht nicht einfach an der Stange vorbei; er erzeugt ein rhythmisches „Flattern" und lässt die Stange vibrieren. In der Physik nennt man dies eine „Nachlaufströmung", bei der sich die Luft in rotierende Wirbel (wie winzige Tornados) verwandelt, die einen Widerstand erzeugen (was Dinge verlangsamt) und Lärm verursachen.

Seit Jahrzehnten versuchen Ingenieure, dieses Wackeln und den Lärm zu stoppen. Normalerweise geschieht dies durch den Einbau von Sensoren, die die Windgeschwindigkeit oder den Druck direkt neben der Stange messen, um einem Computer mitzuteilen, wie er eingreifen soll.

Dieser Artikel stellt eine neue, clevere Idee vor: Was wäre, wenn wir einfach dem Lärm zuhören würden, anstatt den Wind zu messen?

Hier ist eine einfache Aufschlüsselung, wie die Forscher es mit alltäglichen Analogien umgesetzt haben:

1. Das Problem: Die wackelnde Stange

Die Forscher simulierten Wind, der an einem runden Zylinder (wie einem Rohr oder einer Fahnenstange) vorbeiströmt. Wenn der Wind darauf trifft, entsteht eine „Wirbelstraße" – eine Reihe sich drehender Luftblasen, die sich von oben und unten lösen. Dies bewirkt zwei negative Dinge:

• Widerstand: Das Objekt wird stärker zurückgedrückt.
• Lärm: Die rotierende Luft erzeugt ein summendes Geräusch (wie ein Pfeifen).

2. Die Lösung: Das „smarte Ohr" und die „künstlichen Lungen"

Anstatt komplexe Windsensoren zu verwenden, setzte das Team einen Deep-Reinforcement-Learning-(DRL)-Agenten ein. Stellen Sie sich diesen Agenten als einen superschlauen Schüler vor, der lernt, ein Videospiel zu spielen.

• Die „Ohren" (Rückkopplung): Anstatt den Wind zu betrachten, „hört" der Agent den Schalldruck (Lärm), der durch die wirbelnde Luft erzeugt wird, mithilfe eines virtuellen Mikrofonarrays stromabwärts.
• Die „Lungen" (Aktuatorik): Der Zylinder verfügt über zwei winzige „Münder" (synthetische Strahlen) an seiner Ober- und Unterseite. Diese können Luft ausstoßen oder einsaugen und fungieren wie künstliche Lungen, die stoßen oder einatmen können, um den Weg des Windes zu verändern.

3. Der Lernprozess: Versuch und Irrtum

Der KI-Agent kannte zunächst die Regeln der Physik nicht. Er musste durch Tun lernen, ähnlich wie ein Baby, das durch Hinfallen und erneuten Versuch zu laufen lernt.

• Das Ziel: Die einzige Anweisung des Agenten lautete: „Machen Sie den Lärm leiser."
• Die Strategie: Der Agent würde Luft aus den oberen oder unteren Strahlen ausstoßen. Wenn der Lärm leiser wurde, erhielt er eine „Belohnung" (wie eine hohe Punktzahl in einem Spiel). Wenn der Lärm lauter wurde, erhielt er eine Strafe.
• Die Entdeckung: Durch Tausende von Versuchen fand die KI genau heraus, wann und wie stark sie Luft ausstoßen muss, um die rotierenden Wirbel auszulöschen, bevor sie laut werden können und Vibrationen verursachen.

4. Die Ergebnisse: Leiser und glatter

Der Artikel berichtet, dass dieser „zuhörende" Ansatz überraschend gut funktionierte. Durch einfaches Reagieren auf den Sound:

• Lärmreduktion: Das „Summen" des Windes sank um etwa 9,5 %.
• Widerstandsreduktion: Die Kraft, die gegen den Zylinder drückte, sank um 23,8 %.
• Stabilität: Die heftigen Vibrationen (Oszillationen) der Nachlaufströmung wurden erheblich beruhigt.

Die große Erkenntnis

Der Artikel behauptet, dass man den Wind nicht sehen muss, um ihn zu kontrollieren; man muss ihn nur hören. Indem der Schall als primäres Signal verwendet wurde, lernte die KI, die Luftströmung wie ein Musiker ein Instrument zu „stimmen" und einen chaotischen, lauten und widerstandsbehafteten Fluss in einen glatten, leisen und effizienten zu verwandeln.

Kurz gesagt: Sie lehrten einen Computer, auf die „Beschwerden" des Windes zu „hören" und genau die richtige Menge an Luft zu „blasen", damit er aufhört zu jammern, was zu einem leiseren und effizienteren Fluss führt.

Technische Zusammenfassung

Technisches Fazit: Akustische Strömungskontrolle mittels Reinforcement Learning

Problemstellung
Die Aktive Strömungskontrolle (AFC) hat sich traditionell auf Zustandsvariablen wie Geschwindigkeit, Druck oder Wirbelstärke als Rückkopplungssignale zur Regulierung instationärer Strömungsdynamiken verlassen. Diese Methoden erfordern jedoch oft komplexe Zustandsraumapproximationen und Übertragungsfunktionsberechnungen, die fallabhängig und nicht verallgemeinerbar sind. Darüber hinaus nutzen bestehende Studien zum Deep Reinforcement Learning (DRL) in der Strömungsmechanik vorwiegend Geschwindigkeitsfeldbeobachtungen oder Kraftbeiwerte als Rückkopplung. Diese Arbeit schließt die Lücke bei der Nutzung akustischer Observablen als primäres Steuersignal. Die Autoren gehen davon aus, dass, da die Wirbelablösung die Quelle strömungsinduzierter Geräusche ist (wie in Lighthills akustischer Analogie beschrieben), die akustische Signatur des Nachlaufs ausreichende Informationen zur Strömungskontrolle enthält. Das untersuchte spezifische Problem ist die Unterdrückung instationärer Nachlaufdynamiken und die Minderung strömungsinduzierter Störungen hinter einem Kreiszylinder bei einer Reynolds-Zahl von 100 unter Verwendung von Schall als einzigem Rückkopplungsmechanismus.

Methodik
Die Studie verwendet ein Deep Q-Network (DQN)-Rahmenwerk, das mit synthetischer Jet-Aktuation an einem Kreiszylinder integriert ist.

• Simulationsaufbau: Das Rechengebiet basiert auf dem DFG 2D-3 Benchmark (Strömung um einen Zylinder) unter Verwendung des DOLFINx-Lösers. Die Strömung ist inkompressibel mit einer Reynolds-Zahl ($Re$) von 100.
• Aktuation: Zwei synthetische Jets sind auf der Ober- und Unterseite des Zylinders positioniert (senkrecht zur Strömung). Diese Jets arbeiten durch Einblasen und Absaugen und werden unabhängig vom DRL-Agenten gesteuert.
• Rückkopplungsformulierung (Die Neuheit): Anstatt Geschwindigkeit oder Wirbelstärke direkt zu messen, verwendet das System Schalldruckpegel (SPL), die aus hydrodynamischen Druckschwankungen abgeleitet werden. Ein dichter Sensorarray aus 2.500 Sensoren (2.000 horizontal, 500 vertikal) umgibt den Zylinder, um Druckfelder zu erfassen. Der effektive SPL ($SPL_{eff}$) wird als quadratischer Mittelwert der Druckschwankungen relativ zum Durchschnittsdruck berechnet. Dieser SPL dient als Zustandsinput für den DQN-Agenten.
• DRL-Architektur: Der Agent nutzt ein neuronales Netzwerk mit vier vollvernetzten Schichten (je 50 Knoten) und ReLU-Aktivierung. Der Input ist ein 4-dimensionaler Vektor, bestehend aus den SPLs der oberen und unteren Sensorarrays sowie den aktuellen Geschwindigkeiten der beiden Jets. Der Output ist die Steueraktion (Anpassung der Jet-Geschwindigkeiten).
• Trainingsstrategie: Die Simulation ist in zwei Stufen unterteilt:
  1. Exploration: Der Agent erkundet einen weiten Bereich von Jet-Geschwindigkeitsinkrementen ($\pm0,01$ bis $\pm0,5$), um optimale Steuerungsmuster zu identifizieren.
  2. Test: Der Agent arbeitet mit einem festen Satz diskreter Jet-Geschwindigkeitswerte, um Stabilität und Leistung zu verifizieren.
• Belohnungsfunktion: Die Belohnung ist strikt an die Reduktion des SPL gekoppelt. Hohe Belohnungen werden für SPL-Werte unter 66 dB vergeben, während für Werte über 74,5 dB Strafen verhängt werden.

Hauptbeiträge

1. Akustisch getriebenes Steuerungsrahmenwerk: Diese Arbeit stellt eine direkte Verbindung zwischen fernfeldakustischen Emissionen und nahfeldaktuation her und zeigt, dass alleinige akustische Sensorik ausreichende Informationen für eine effektive geschlossene Strömungskontrolle ohne explizite Geschwindigkeits- oder Wirbelstärkesensorik liefern kann.
2. DRL für akustische Regelung: Sie führt eine auf DQN basierende Strategie ein, die speziell darauf ausgelegt ist, Schalldruckpegel zu minimieren, die durch Wirbelablösung erzeugt werden, und behandelt die Geräuschreduktion als primäres Ziel zur Strömungsstabilisierung.
3. Quantitative Leistung: Die Studie liefert quantitative Belege dafür, dass akustisches Feedback gleichzeitig die abgestrahlte Geräuschentwicklung und den aerodynamischen Widerstand reduzieren kann, und übertrifft dabei ungesteuerte Basisströmungen sowie DRL-Konfigurationen auf Geschwindigkeitsbasis.

Ergebnisse
Die Simulationen liefen 20 Sekunden (10.000 Zeitschritte) bei einer Reynolds-Zahl von 100.

• Geräuschreduktion: Die Steuerstrategie reduzierte die abgestrahlten Geräusche erfolgreich. Der Basis-SPL lag bei etwa 73,5 dB.
  • Testfall 1 (niedrigere Jet-Geschwindigkeiten) reduzierte den SPL auf 69,0 dB (6,1 % Reduktion).
  • Testfall 2 (höhere Jet-Geschwindigkeiten) reduzierte den SPL auf 66,5 dB (9,5 % Reduktion).
• Widerstandsreduktion: Die Methode dämpfte auch den Widerstandsbeiwert ($C_D$) signifikant.
  • Der mittlere Basis-$C_D$ betrug 3,15.
  • Testfall 1 reduzierte $C_D$ auf 2,65 (15,9 % Reduktion).
  • Testfall 2 reduzierte $C_D$ auf 2,40 (23,8 % Reduktion).
• Nachlaufstabilisierung: Die Kontrolle führte zu einer deutlichen Abschwächung der Nachlaufoszillationen. Die Standardabweichung des Auftriebsbeiwerts und die zeitgemittelte Schwankung der Strömungsgeschwindigkeit im stromabwärtigen Bereich wurden signifikant reduziert, was auf die Unterdrückung kohärenter Nachlaufstrukturen hindeutet.
• Validierung: Netzunabhängigkeits- und Zeitschritt-Sensitivitätsanalysen bestätigten die Zuverlässigkeit der Ergebnisse. Die statistische Konvergenz wurde nach etwa 20 Wirbelablösungszyklen erreicht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass diese Forschung die Durchführbarkeit der Nutzung akustisch informierten Reinforcement Learning für adaptive Nachlaufstabilisierung unter nichtlinearen Strömungsbedingungen demonstriert. Die Autoren betonen, dass ihre Ergebnisse das Potenzial der akustischen Sensorik als nicht-invasive Rückkopplungsmodalität für die gekoppelte aerodynamische und aeroakustische Optimierung von Strömungen um stumpfe Körper hervorheben.

Die Studie legt nahe, dass die Kontrolle der „Quelle" des Geräusches (Wirbelstärke) über akustisches Feedback ein logischer und effektiver Ansatz für Strömungskontrollprobleme ist. Obwohl die Autoren anerkennen, dass das aktuelle Rahmenwerk nicht im strengen mathematischen Sinne eine global optimale Kontrolle anstrebt, kommen sie zu dem Schluss, dass die DRL-gesteuerte Strategie konsistent dynamisch wirksame Aktuationsregime identifiziert. Die Arbeit dient als Sprungbrett zur Integration von maschinellen Lernverfahren zur Steigerung der Effizienz aktiver Strömungskontrollsysteme mit potenziellen Auswirkungen auf die Reduktion strömungsinduzierter Vibrationen und des Widerstands in technischen Anwendungen wie marinen Strukturen und Flugzeugen. Die Autoren geben ausdrücklich an, dass die Codes verfügbar sind, um weitere Forschung in diesem Bereich zu erleichtern.