Experimental Demonstration of SDRL Controller for TS Wave Suppression with DBD Actuator

Dit artikel presenteert een experimentele windtunnelstudie waarin een modelvrije single-step deep reinforcement learning (SDRL) controller succesvol wordt ingezet om, via een DBD-plasma-actuator, Tollmien-Schlichting-golven in een grenslaag te onderdrukken en zo de overgang naar turbulentie uit te stellen.

De kern

De Grote Droom: Vliegen alsof je door boter snijdt

Stel je voor dat je een vliegtuig wilt bouwen dat extreem zuinig is. Het grootste probleem? De luchtweerstand. Als lucht over de vleugel stroomt, begint het eerst rustig en glad (zoals een rustige rivier), maar op een bepaald punt wordt het onrustig en turbulent (zoals een stromende, schuimende rivier). Dit heet de overgang van 'laminaire' naar 'turbulente' stroming.

Wanneer die onrust begint, neemt de weerstand enorm toe, wat betekent dat vliegtuigen meer brandstof verbruiken. De wetenschappers in dit artikel willen die onrust voorkomen of vertragen.

Het Probleem: De "Tollmien-Schlichting" (TS) Golfjes

De onrust begint vaak met heel kleine, onzichtbare golfjes in de luchtstroom. In de vakwereld heten deze TS-golven. Als je ze laat groeien, worden ze groot en veroorzaken ze die vervelende turbulentie.

De uitdaging is: hoe stop je die golfjes voordat ze groot worden?

De Oplossing: Een Slimme "Golf-Annihilator"

De onderzoekers hebben een slim systeem bedacht dat werkt als een geluidsdempende koptelefoon, maar dan voor luchtstroom.

1. De Oren (Sensoren): Er zit een microfoon voor op de vleugel die de aankomende golfjes "hoort".
2. De Mond (Actuator): Er zit een speciale "luchtmotor" (een DBD-plasma-actuator) op de vleugel. Dit is een plaatje dat een heel zwakke, onzichtbare windstoot kan geven.
3. De Brein (De AI): Tussen de oren en de mond zit een computer die een Single-Step Deep Reinforcement Learning (SDRL) algoritme gebruikt.

Hoe werkt het?
Stel je voor dat je in een zwembad staat en iemand gooit een steen in het water, waardoor er een golf op je afkomt.

• De oude manier: Je probeerde de golf te voorspellen door de natuurkundeformules uit je hoofd te kennen. Als de wind verandert, faalt je voorspelling.
• De nieuwe manier (SDRL): Je hebt een robot die niet weet hoe de natuurkunde werkt, maar wel heel snel leert.
  • De robot ziet de golf aankomen (via de microfoon).
  • De robot probeert een tegengolf te maken met de "luchtmotor".
  • Als de golf na de robot kleiner is, krijgt de robot een puntje (beloning).
  • Als de golf groter is, krijgt hij een straf.
  • Na heel veel pogingen (in slechts een paar minuten!) leert de robot precies wanneer en hoe hard hij moet duwen om de golf te vernietigen.

Wat hebben ze gedaan in het lab?

De onderzoekers bouwden dit in een windtunnel in Delft. Ze maakten kunstmatige golfjes in de luchtstroom en lieten de AI het oplossen. Ze testten drie scenario's:

1. Eén enkele toon: Als er maar één soort golfje aankomt (zoals een fluitje), leert de AI dit heel snel.
2. Meerdere tonen: Als er een akkoord klinkt (verschillende golfjes tegelijk), moet de AI iets slimmer worden om ze allemaal te stoppen.
3. Wit lawaai: Als er een heel rommelig geluid aankomt (zoals een storm), is het de moeilijkste test. De AI moet een breed spectrum aan golfjes onderdrukken.

De Resultaten: Een Succesverhaal

De resultaten waren indrukwekkend:

• Snelheid: De AI leerde in een paar minuten hoe hij de golfjes moest stoppen.
• Kracht: Ze konden de golfjes met wel 60% verkleinen.
• Robuustheid: Het systeem werkte zelfs als de snelheid van de wind veranderde. Het was niet nodig om de computer opnieuw te programmeren; hij paste zich automatisch aan.
• Visueel bewijs: Ze gebruikten speciale camera's (PIV) om te zien wat er met de lucht gebeurde. Zonder controle zag je een sterke, onrustige golf. Met de AI aan zag je de golf bijna verdwijnen, alsof je een rimpeling in een vijver gladstrijkt.

Waarom is dit belangrijk?

Vroeger hadden zulke systemen een ingewikkeld model nodig van hoe de lucht stroomt (net als een piloot die een heel dik boek met regels moet kennen). Dit nieuwe systeem heeft geen boek nodig. Het leert gewoon door te proberen, net zoals een kind leert fietsen.

Dit is een grote stap naar vliegtuigen die stiller zijn en minder brandstof verbruiken, omdat we de luchtstroom "glad" kunnen houden. Het is alsof we een onzichtbare schildklimaat hebben gevonden dat de luchtstroom op zijn plaats houdt, zodat het vliegtuig soepeler door de lucht glijdt.

Kortom: Ze hebben een slimme robot gebouwd die in real-time leert hoe hij luchtgolfjes moet "dempenen" door precies de tegenovergestelde beweging te maken. En dat werkt!

Technische samenvatting

Titel: Experimentele demonstratie van een SDRL-controller voor TS-golfonderdrukking met een DBD-actuator

1. Probleemstelling

Het verminderen van aerodynamische weerstand is een centraal uitdaging in de luchtvaarttechniek, aangezien wrijvingsweerstand een groot deel van de totale weerstand uitmaakt. Deze weerstand neemt sterk toe wanneer de stroming overgaat van laminaire naar turbulente stroming (transitie). In tweedimensionale, laag-verstoord grenslagen wordt deze transitie voornamelijk geïnitieerd door de versterking en instabiliteit van Tollmien-Schlichting (TS) golven.

Traditionele actieve stromingscontrole (AFC) methoden zijn vaak modelgebaseerd (zoals LQG of MPC) of gebruiken lineaire aanpassingsalgoritmen (zoals FXLMS). Modelgebaseerde methoden zijn gevoelig voor modelonzekerheden, terwijl klassieke modelvrije methoden soms moeite hebben met complexe, niet-lineaire tijdsafhankelijkheden en trage convergentie. Hoewel Deep Reinforcement Learning (DRL) potentieel biedt, zijn volledige DRL-pijplijnen vaak te rekenintensief voor real-time toepassing in vloeistofmechanica. Er is dus behoefte aan een efficiënte, modelvrije aanpak die robuust is, snel convergeert en goed werkt onder realistische experimentele omstandigheden (zoals ruis, vertragingen en actuatorbeperkingen).

2. Methodologie

De auteurs presenteren de eerste experimentele implementatie van een Single-Step Deep Reinforcement Learning (SDRL) controller in een windtunnel, specifiek ontworpen voor het onderdrukken van TS-golven in een grenslaag op een vlakke plaat.

• Opstelling: Het experiment vond plaats in de anechoïsche A-Tunnel van de TU Delft. De opstelling bestond uit een modulaire vlakke plaat met twee spanwijdte-gelijkmatige DBD-plasma-actuatoren en een lineaire array van veertien flush-mounted microfoons.
  • T-DBD (Trigger): Een upstream actuator die kunstmatige TS-golven genereert via sinusoidale modulatie (enkelvoudige frequentie, multi-frequentie of breedbandig witte ruis).
  • C-DBD (Control): Een downstream actuator die wordt aangestuurd door de SDRL-controller om de golven te onderdrukken.
  • Sensoren: Een referentiemicrofoon (upstream) en een foutmicrofoon (downstream) meten de drukfluctuaties.
• Controle Architectuur (SDRL):
  • De controller is modelvrij en werkt in een feedforward-configuratie.
  • In plaats van de volledige stromingstoestand te reconstrueren, parameteriseert de agent een causaal Finite Impulse Response (FIR) filter. Dit filter mapt het referentiesignaal (drukfluctuaties stroomopwaarts) direct naar het actuatiebevel.
  • De FIR-coëfficiënten worden geoptimaliseerd door een SDRL-agent. De agent samplet kandidaat-acties (sets van FIR-coëfficiënten) uit een geparametriseerde multivariate normale verdeling en past de parameters aan op basis van een beloning (reward).
  • Beloning (Reward): Gebaseerd op de vermindering van de RMS-waarde van het gefilterde foutsignaal (drukfluctuaties stroomafwaarts) ten opzichte van het referentiesignaal, met compensatie voor convectietijdvertraging.
• Testgevallen: De prestaties werden getest onder toenemend complexe omstandigheden:
  • Case A: Enkelvoudige frequentie (monochromatisch).
  • Case B1/B2: Multi-frequentie (twee of drie tonen).
  • Case C1/C2: Breedbandig witte ruis (stochastische excitatie) bij twee verschillende vrije stromingssnelheden ($U_\infty = 20$ en $22.5$ m/s).
• Validatie: Naast drukmetingen werd 2D Particle Image Velocimetry (PIV) gebruikt om de veranderingen in het snelheidsveld en de onderdrukking van de TS-golven visueel te verifiëren.

3. Belangrijkste Bijdragen

• Eerste experimentele validatie: Dit is het eerste bewijs dat een SDRL-gebaseerde controller succesvol kan worden toegepast in een fysieke windtunnelomgeving, inclusief de uitdagingen van ruis, elektromagnetische interferentie en actuator-saturatie.
• Efficiëntie en Real-time prestatie: De SDRL-aanpak (single-step) vereist geen complexe tijdsreeks-modellering of zware rekenkracht, waardoor real-time adaptieve controle mogelijk is zonder expliciete systeemidentificatie.
• Robuustheid: De controller toonde robuustheid tegenover variaties in de vrije stromingssnelheid en verschillende spectra van inkomende verstoringen.
• Fysische interpretatie: De geleerde FIR-filters vertonen fysisch interpreteerbare eigenschappen (amplitude-fase compensatie) die overeenkomen met de convectieve vertraging van de TS-golven.

4. Resultaten

De resultaten tonen een consistente en significante onderdrukking van de TS-golven over alle geteste scenario's:

• Convergentie: De controller convergeerde snel, vaak binnen 100 generaties (ongeveer enkele minuten operationele tijd), naar een stabiel beleid dat effectieve amplitude-fase tegenwerking levert.
• Onderdrukking:
  • Bij multi-frequentie excitatie (Case B2) werd de hoogste onderdrukking bereikt, tot 62,2% vermindering van de golfamplitude.
  • Bij breedbandige excitatie (Case C1/C2) werd een amplitudevermindering van 37-39% bereikt, met een spectrale energiereductie van ongeveer 65-68%.
  • De controller presteerde zelfs beter bij de hogere vrije stromingssnelheid ($U_\infty = 22.5$ m/s), waarschijnlijk door een betere signaalcoherentie en stabielere convectievertraging.
• PIP-Validatie: PIV-metingen bevestigden dat de drukreductie overeenkomt met een daadwerkelijke vermindering van de kinetische energie van de verstoringen in de grenslaag. De fluctuaties in de stroomrichting ($\sigma_u$) namen aanzienlijk af (bijv. van ~2,15% naar ~0,67% $U_\infty$ in Case B1).
• Downstream Persistentie: De onderdrukking bleef behouden stroomafwaarts van de fout-sensor (tot op 134 mm stroomafwaarts), wat aantoont dat de controller de instabiliteit fysiek onderdrukt en niet alleen het meetpunt "stillegt". Dit suggereert een uitstel van de transitie naar turbulente stroming.
• Filterkarakteristieken:
  • Bij enkelvoudige frequentie leerde de controller een eenvoudige vertraging-versterking mapping.
  • Bij breedbandige excitatie ontwikkelde het filter een echt breedbandig compensator-gedrag met frequentie-afhankelijke fasecompensatie.

5. Betekenis en Conclusie

De studie bewijst dat SDRL een veelbelovende, praktische route is voor adaptieve, datagedreven stromingscontrole. De methode combineert de voordelen van modelvrije aanpassing met de rekenefficiëntie die nodig is voor real-time toepassingen.

De belangrijkste implicaties zijn:

1. Transitievertraging: De techniek kan effectief worden ingezet om de overgang van laminaire naar turbulente stroming uit te stellen, wat leidt tot lagere wrijvingsweerstand en brandstofbesparing.
2. Toepasbaarheid: De compacte vormgeving en lage rekenkosten maken SDRL geschikt voor toepassingen waar complexe modellering onpraktisch is.
3. Toekomstperspectief: De resultaten vormen een basis voor verdere ontwikkeling, zoals het uitbreiden naar multi-step DRL voor state-afhankelijke beleidsvorming, het coördineren van meerdere sensoren/actuatoren (spanwijdte-variërende controle), en het testen onder adverse pressure gradient omstandigheden.

Kortom, dit werk markeert een belangrijke stap van numerieke simulaties naar fysieke realisatie van geavanceerde, datagedreven stromingscontrole voor de luchtvaart.