Acoustics-based Active Control of Unsteady Flow Dynamics using Reinforcement Learning Driven Synthetic Jets

Dit artikel presenteert een framework voor deep reinforcement learning dat akoestische metingen op grote afstand gebruikt als primair feedbacksignaal om synthetische jet-activering aan te sturen, waarmee onstabiele wake-dynamiek achter een cilindrische cilinder succesvol wordt onderdrukt en aanzienlijke verminderingen van uitgestraald geluid en weerstand worden bereikt zonder te vertrouwen op traditionele snelheids- of druksensoren.

De kern

Stel je voor dat je op een winderige dag naast een vlaggenstok staat. De wind waait niet zomaar voorbij de stok; hij creëert een ritmisch 'flapperend' geluid en zorgt ervoor dat de stok trilt. In de fysica wordt dit een 'wake' genoemd, waarbij de lucht in draaiende wervels (zoals kleine tornado's) opdraait die weerstand (vertraging) en lawaai veroorzaken.

Decennialang hebben ingenieurs geprobeerd deze trillingen en het lawaai te stoppen. Meestal doen ze dit door sensoren te installeren die de windsnelheid of de druk direct naast de stok meten, zodat een computer weet hoe het probleem opgelost moet worden.

Dit artikel introduceert een nieuw, slim idee: Wat als we gewoon naar het lawaai luisteren in plaats van de wind te meten?

Hier is een eenvoudige uitleg van hoe de onderzoekers dit deden, met behulp van alledaagse analogieën:

1. Het probleem: De trillende stok

De onderzoekers simuleerden wind die voorbij een ronde cilinder (zoals een pijp of een vlaggenstok) waait. Wanneer de wind erop slaat, ontstaat er een 'wervelstraat' – een rij draaiende luchtbellen die zich losmaken van de boven- en onderkant. Dit veroorzaakt twee slechte dingen:

• Weerstand: Het object wordt harder naar achteren geduwd.
• Lawaai: De draaiende lucht creëert een zoemend geluid (zoals een fluitje).

2. De oplossing: Het 'slimme oor' en de 'kunstmatige longen'

In plaats van complexe windsensoren te gebruiken, gebruikte het team een Deep Reinforcement Learning (DRL)-agent. Denk aan deze agent als een superslimme student die een videospel leert spelen.

• De 'oren' (Feedback): In plaats van naar de wind te kijken, 'luistert' de agent naar de geluidsdruk (het lawaai) die door de draaiende lucht wordt gegenereerd, met behulp van een virtuele microfoonarray die stroomafwaarts is geplaatst.
• De 'longen' (Activering): De cilinder heeft twee tiny 'monden' (synthetische jets) aan de boven- en onderkant. Deze kunnen lucht uitblazen of inzuigen, en fungeren als kunstmatige longen die kunnen puffen of inademen om het pad van de wind te veranderen.

3. Het leerproces: Proberen en fouten maken

De AI-agent kende de regels van de fysica aanvankelijk niet. Het moest leren door te doen, vergelijkbaar met hoe een baby leren lopen door te vallen en het opnieuw te proberen.

• Het doel: De enige instructie van de agent was: "Maak het geluid stiller."
• De strategie: De agent zou lucht uit de boven- of onderste jets puffen. Als het geluid stiller werd, kreeg het een 'beloning' (zoals een hoge score in een spel). Als het geluid luider werd, kreeg het een straf.
• De ontdekking: Door duizenden pogingen kwam de AI erachter precies wanneer en hoe hard de lucht gepufft moest worden om de draaiende wervels te annuleren voordat ze luid konden worden en trillingen konden veroorzaken.

4. De resultaten: Stillere en soepelere flow

Het artikel meldt dat deze 'luisterende' aanpak verrassend goed werkte. Door simpelweg te reageren op het geluid:

• Lawaai-reductie: Het 'zoemen' van de wind daalde met ongeveer 9,5%.
• Weerstand-reductie: De kracht die tegen de cilinder duwde, daalde met 23,8%.
• Stabiliteit: Het gewelddadige trillen (oscillaties) van de wake werd aanzienlijk gekalmeerd.

De grote conclusie

Het artikel beweert dat je de wind niet hoeft te zien om hem te controleren; je hoeft hem alleen maar te horen. Door geluid als primair signaal te gebruiken, leerde de AI de luchtstroom te 'stemmen' zoals een muzikant een instrument stemt, en veranderde een chaotische, lawaaierige en weerstandrijke stroming in een soepele, stille en efficiënte stroming.

Kortom: Ze leerden een computer om naar de klachten van de wind te 'luisteren' en precies de juiste hoeveelheid lucht te 'blazen' om het te laten stoppen met klagen, wat resulteerde in een stillere en efficiëntere stroming.

Technische samenvatting

Technische Samenvatting: Akoestische Stroomregeling met Versterkt Leren

Probleemstelling
Actieve Stroomregeling (AFC) heeft traditioneel vertrouwd op toestandvariabelen zoals snelheid, druk of werveling als feedbacksignalen om onstabiele stroomdynamica te reguleren. Deze methoden vereisen echter vaak complexe benaderingen van de toestandruimte en berekeningen van overdrachtsfuncties die gevalafhankelijk en niet-generiek zijn. Bovendien maken bestaande studies over Deep Reinforcement Learning (DRL) in de fluïdynamica voornamelijk gebruik van waarnemingen van het snelheidsveld of krachtscoëfficiënten als feedback. Dit artikel adresseert het gat in het gebruik van akoestische observabelen als primair controlesignaal. De auteurs stellen dat, aangezien wervelafschuiving de bron is van door stroming gegenereerd geluid (zoals beschreven in de Akoestische Analogie van Lighthill), het akoestische signatuur van de wake voldoende informatie bevat om de stroming te regelen. Het specifieke onderzochte probleem is het onderdrukken van onstabiele wake-dynamica en het mitigeren van stromingsinducerede verstoringen achter een cilindrische cilinder bij een Reynoldsgetal van 100, waarbij geluid als enig feedbackmechanisme wordt gebruikt.

Methodologie
De studie hanteert een Deep Q-Network (DQN)-kader geïntegreerd met synthetische jet-actuatie op een cilindrische cilinder.

• Simulatieopstelling: Het computationele domein is gebaseerd op de DFG 2D-3-benchmark (stroming langs een cilinder) met behulp van de DOLFINx-oplosser. De stroming is incompressibel met een Reynoldsgetal ($Re$) van 100.
• Actuatie: Twee synthetische jets zijn gepositioneerd op de boven- en onderkant van de cilinder (loodrecht op de stroming). Deze jets werken via blazen en zuigen, onafhankelijk van elkaar aangestuurd door de DRL-agent.
• Feedbackformulering (De Noviteit): In plaats van snelheid of werveling direct te meten, gebruikt het systeem Geluidsdrukniveaus (SPL) afgeleid van hydrodynamische drukfluctuaties. Een dicht raster van 2.500 sensoren (2.000 horizontaal, 500 verticaal) omringt de cilinder om drukvelden vast te leggen. Het effectieve SPL ($SPL_{eff}$) wordt berekend als een wortel-gemiddelde-kwadraatwaarde van de drukfluctuaties ten opzichte van de gemiddelde druk. Dit SPL dient als de toestandsinput voor de DQN-agent.
• DRL-architectuur: De agent maakt gebruik van een neurale netwerk met vier volledig verbonden lagen (elk 50 knopen) en ReLU-activering. De input is een 4-dimensionale vector bestaande uit de SPL's van de boven- en onderste sensorarrays en de huidige snelheden van de twee jets. De output is de controleactie (aanpassing van jetsnelheden).
• Trainingsstrategie: De simulatie is verdeeld in twee fasen:
  1. Exploratie: De agent verkent een breed scala aan jet-snelheidsincrementen ($\pm0,01$ tot $\pm0,5$) om optimale controlepatronen te identificeren.
  2. Testen: De agent opereert met een vaste set discrete jet-snelheidswaarden om stabiliteit en prestaties te verifiëren.
• Beloningsfunctie: De beloning is strikt gekoppeld aan de reductie van SPL. Hoge beloningen worden gegeven voor SPL-waarden onder de 66 dB, terwijl straffen worden toegepast voor waarden boven de 74,5 dB.

Belangrijkste Bijdragen

1. Akoestisch-gedreven Controlekader: Dit werk vestigt een directe link tussen akoestische emissies in het verre veld en actuatie in het nabije veld, en demonstreert dat akoestische sensing alleen voldoende informatie kan bieden voor effectieve gesloten-lus stroomregeling zonder expliciete snelheids- of wervelingssensing.
2. DRL voor Akoestische Regulatie: Het introduceert een op DQN gebaseerde strategie die specifiek is toegespitst op het minimaliseren van Geluidsdrukniveaus gegenereerd door wervelafschuiving, waarbij geluidsreductie wordt behandeld als het primaire doel voor stroomstabilisatie.
3. Kwantitatieve Prestaties: De studie levert kwantitatief bewijs dat akoestische feedback tegelijkertijd uitgestraald geluid en aerodynamische weerstand kan verminderen, prestaties die beter zijn dan die van ongestuurde basisstromen en concurrerende resultaten laten zien ten opzichte van op snelheid gebaseerde DRL-configuraties.

Resultaten
De simulaties liepen 20 seconden (10.000 tijdstappen) bij een Reynoldsgetal van 100.

• Geluidsreductie: De controlestrategie slaagde erin het uitgestraalde geluid te verminderen. Het basis-SPL bedroeg ongeveer 73,5 dB.
  • Testgeval 1 (lagere jetsnelheden) verlaagde het SPL naar 69,0 dB (6,1% reductie).
  • Testgeval 2 (hogere jetsnelheden) verlaagde het SPL naar 66,5 dB (9,5% reductie).
• Weerstandreductie: De methode mitigeerde ook significant de weerstandscoëfficiënt ($C_D$).
  • De gemiddelde basis $C_D$ bedroeg 3,15.
  • Testgeval 1 verlaagde $C_D$ naar 2,65 (15,9% reductie).
  • Testgeval 2 verlaagde $C_D$ naar 2,40 (23,8% reductie).
• Wake-stabilisatie: De controle leidde tot een duidelijke demping van wake-oscillaties. De standaardafwijking van de liftcoëfficiënt en de tijd-gemiddelde fluctuatie van de stroomsnelheid in het downstreamgebied werden aanzienlijk gereduceerd, wat wijst op onderdrukking van coherente wake-structuren.
• Validatie: Mesh-onafhankelijkheids- en tijdstap-sensitiviteitsanalyses bevestigden de betrouwbaarheid van de resultaten. Statistische convergentie werd bereikt na ongeveer 20 cycli van wervelafschuiving.

Betekenis en Claims
Het artikel stelt dat dit onderzoek de haalbaarheid aantoont van het gebruik van akoestisch geïnformeerd versterkt leren voor adaptieve wake-stabilisatie onder niet-lineaire stromingsomstandigheden. De auteurs stellen dat hun bevindingen het potentieel van akoestische sensing als een niet-invasieve feedbackmodaliteit benadrukken voor gekoppelde aerodynamische en aeroakoestische optimalisatie in stromingen rondom blinde lichamen.

De studie suggereert dat het regelen van de "bron" van geluid (werveling) via akoestische feedback een logische en effectieve aanpak is voor stroomregelingsproblemen. Hoewel de auteurs erkennen dat het huidige kader geen globaal optimale controle nastreeft in de strikte wiskundige zin, concluderen zij dat de door DRL geleide strategie consistent dynamisch effectieve actuatieregimes identificeert. Het werk dient als een stapsteen naar de integratie van machine learning-technieken om de efficiëntie van actieve stroomregelsystemen te verbeteren, met potentiële implicaties voor het verminderen van stromingsinducerede trillingen en weerstand in technische toepassingen zoals mariene constructies en vliegtuigen. De auteurs stellen expliciet dat de codes beschikbaar zijn om verder onderzoek op dit domein te faciliteren.