Prediction of Extreme Events in Multiscale Simulations of Geophysical Turbulence using Reinforcement Learning

Deze paper introduceert SMARL, een reinforcement learning-methode die stabiele en nauwkeurige subgrid-schaal sluitingen voor geofysische turbulentie leert door alleen het enstrofie-spectrum als beloning te gebruiken, waardoor extreme gebeurtenissen effectief kunnen worden voorspeld met aanzienlijk minder rekenkracht.

De kern

Hoe AI extreme weerspatronen voorspelt: Een verhaal over slimme agenten en de "grote chaos"

Stel je voor dat je een gigantische, complexe puzzel probeert op te lossen: het weer en het klimaat van de aarde. De aarde is een enorme, draaiende bol met lucht en water die constant in beweging zijn. Deze bewegingen zijn zo klein en chaotisch (denk aan wervelingen in een kopje koffie, maar dan over de hele oceaan) dat ze voor onze supercomputers te klein zijn om direct te zien.

In de wetenschap noemen we deze kleine, onzichtbare wervelingen de "subgrid-scale" (de dingen die kleiner zijn dan de pixels van onze simulatie).

Het oude probleem: De te zware deken

Om het weer te voorspellen, gebruiken wetenschappers modellen die de aarde opdelen in een rooster (een soort schaakbord). Maar omdat onze computers niet oneindig krachtig zijn, zijn de vakjes op dit schaakbord vaak te groot. Ze missen de kleine details.

Om dit op te lossen, gebruiken wetenschappers "slimme schattingen" (in het Engels: closures). Stel je voor dat je een deken over een bed legt.

• De oude manier: De oude methoden legden een deken die te dik en te zwaar was. Deze deken drukte alle beweging plat. Het resultaat? De simulatie werd te rustig. Extreme gebeurtenissen, zoals zware stormen of hittegolven (de "extremen"), werden onderdrukt of genegeerd. Het was alsof je een storm probeerde te simuleren, maar je deken maakte er een zachte briesje van.
• Het probleem: Als je deze modellen gebruikt om het klimaat in de toekomst te voorspellen, mis je de gevaarlijkste momenten. En dat is precies wat we nodig hebben om ons voor te bereiden.

De nieuwe oplossing: Een team van slimme agenten

In dit artikel introduceren de auteurs een nieuwe, slimme manier om die "deken" te maken. Ze gebruiken Reinforcement Learning (Versterkend Leren), maar dan in een speciaal teamverband: SMARL (Scientific Multi-Agent Reinforcement Learning).

Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De Agenten (De slimme schilders)

Stel je voor dat je een muur hebt die je moet schilderen, maar je kunt niet naar de hele muur kijken. In plaats daarvan heb je honderden kleine schilders (agenten) die over de muur lopen.

• Elke schilder kijkt alleen naar een klein stukje van de muur (de energie van de luchtstroom).
• Ze hebben een gezamenlijke "hersenen" (een kunstmatige intelligentie) die hen vertelt hoe ze moeten schilderen.
• Hun doel is niet om perfect te schilderen, maar om ervoor te zorgen dat het gehele plaatje (de totale energie van de storm) eruitziet zoals het echte plaatje.

2. De Beloning (De scorebord)

Hoe leren de schilders? Ze krijgen geen volledige foto van de echte storm (dat zou te duur zijn om te maken). In plaats daarvan krijgen ze een scorebord.

• Ze kijken naar een heel korte video van een echte, super-dure simulatie (de "DNS").
• Ze proberen hun eigen simulatie zo te sturen dat het geluid (de frequentie van de golven, ofwel het "enstrophy spectrum") overeenkomt met dat van de echte video.
• Als hun simulatie klinkt als de echte storm, krijgen ze een beloning. Als het niet klopt, krijgen ze een straf.
• Ze leren door te proberen, te vallen en weer op te staan, net als een kind dat fietsen leert.

3. Het Magische Resultaat: De "Grijze Zwaan"

Het meest indrukwekkende aan dit onderzoek is dat deze agenten leren om extreme gebeurtenissen te voorspellen.

• In de wereld van data noemen we zeldzame, extreme gebeurtenissen (zoals een superstorm die nog nooit is gezien) vaak "grijze zwanen".
• De oude methoden (de zware deken) zagen deze zwanen niet.
• De nieuwe SMARL-agenten hebben echter geleerd dat ze soms de "deken" moeten verwijderen in plaats van erop te drukken. Ze leren niet alleen hoe ze energie moeten verspreiden (diffusie), maar ook hoe ze energie terug moeten geven aan de grote stromingen (backscattering).
• Kortom: Ze leren de storm zijn eigen weg te laten vinden, waardoor de extreme pieken (de zwanen) niet worden afgevlakt.

Waarom is dit zo belangrijk?

1. Minder data nodig: Normaal gesproken heb je duizenden jaren aan data nodig om zo'n model te trainen. Deze agenten leren met slechts een handvol korte samples. Ze zijn extreem efficiënt.
2. Stabiel en snel: Ze kunnen simulaties draaien die 160 tot 16.000 keer grover zijn dan de echte simulatie, maar geven toch hetzelfde resultaat. Dit betekent dat we veel sneller en goedkoper weer- en klimaatmodellen kunnen draaien.
3. Generalisatie: Als je de agenten traint op een "normale" storm, kunnen ze die kennis toepassen op een storm die 15 keer krachtiger is, zonder dat je ze opnieuw hoeft te trainen. Ze hebben het principe geleerd, niet alleen de feiten.

De conclusie in één zin

De auteurs hebben een team van slimme, lerende agenten bedacht die, door te luisteren naar het "geluid" van de luchtstroom, een perfecte balans vinden tussen rust en chaos. Hierdoor kunnen we voor het eerst betrouwbare voorspellingen doen over de gevaarlijkste, zeldzaamste weerspatronen, zelfs met computers die niet superkrachtig zijn.

Het is alsof we eindelijk een deken hebben gevonden die precies de juiste dikte heeft: warm genoeg om de simulatie stabiel te houden, maar dun genoeg om de stormen van de toekomst echt te voelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Prediction of Extreme Events in Multiscale Simulations of Geophysical Turbulence using Reinforcement Learning", geschreven in het Nederlands.

Titel: Voorspelling van Extreme Gebeurtenissen in Multischaal Simulaties van Geofysische Turbulentie met Behulp van Versterkingslering

1. Het Probleem

Het nauwkeurig voorspellen van extreme weers- en klimaatgebeurtenissen (zoals zware stormen en hittegolven) is van cruciaal belang voor de samenleving, maar vormt een enorme uitdaging voor klimaatmodellen.

• Resolutie vs. Kosten: Wereldwijde klimaatmodellen (GCM's) moeten efficiënt genoeg zijn om lange tijdsperiodes te simuleren, wat betekent dat ze vaak werken met een lage resolutie (O(10)–O(100) km).
• Subgrid-schaal (SGS) sluiting: Omdat deze modellen niet alle schalen van de fysica kunnen oplossen, moeten ze gebruikmaken van parameterisaties (sluitingen) voor de niet-opgeloste schalen. Traditionele, op fysica gebaseerde sluitingen (zoals Smagorinsky en Leith) hebben structurele fouten; ze genereren vaak te veel diffusie. Dit "dempt" extreme gebeurtenissen en leidt tot onnauwkeurige statistieken, vooral in de staarten van verdelingen (de zeldzame, extreme events).
• Beperkingen van AI: Bestaande AI-aanpakken, zoals toezichtloos leren (supervised learning) met diepe neurale netwerken (DNN's), vereisen enorme hoeveelheden hoogwaardige trainingsdata (Direct Numerical Simulations of DNS) en leiden vaak tot instabiele simulaties. Online-leeralgoritmen die afhankelijk zijn van differentieerbare oplosprogramma's of schaalbare optimalisatoren, zijn moeilijk toe te passen op bestaande klimaatmodellen.

2. Methodologie: Wetenschappelijk Multi-Agent Versterkingsleren (SMARL)

De auteurs introduceren een nieuw raamwerk genaamd Scientific Multi-Agent Reinforcement Learning (SMARL) om SGS-sluitingen te ontwikkelen voor geofysische turbulentie.

• Aanpak: In plaats van een DNN te trainen om lokale stromingsgrootheden te voorspellen (zoals in toezichtloos leren), wordt een DNN getraind als een agent binnen een versterkingsleringscyclus die direct gekoppeld is aan een Low-Resolution Large-Eddy Simulation (LES) solver.
• Toestand (State): De agenten observeren het enstrofie-spectrum ($\hat{Z}(k, t)$) van de LES-simulatie tot aan het Nyquist-golfgetal. Dit is een globaal statistisch kenmerk van de stroming.
• Actie (Action): De agenten voorspellen de lokale coëfficiënt ($c_l$) voor een fysiek gebaseerde sluiting (het Leith-model). Deze coëfficiënt bepaalt de turbulentie-ewwviscositeit. De acties worden gegenereerd door een gedeeld beleid (policy) dat over het hele domein wordt toegepast.
• Beloning (Reward): De beloningsfunctie is ontworpen om het enstrofie-spectrum van de LES te laten overeenkomen met dat van een korte, hoogwaardige DNS-simulatie. De beloning is omgekeerd evenredig met de logaritmische afstand tussen de spectra.
  • Voordeel: Dit vereist slechts een beperkt aantal hoogwaardige steekproeven (5 snapshots) voor training, wat veel minder is dan nodig is voor toezichtloos leren.
• Oplosser: De LES-oplosser hoeft niet differentieerbaar te zijn, wat de toepasbaarheid op bestaande klimaatmodellen vergroot.
• Algoritme: Er wordt gebruikgemaakt van het V-RACER-algoritme met "Remember and Forget" ervaringherhaling (ReFER) voor multi-agent training.

3. Belangrijkste Bijdragen

1. Data-efficiëntie: SMARL leert effectieve sluitingen met slechts een handvol DNS-steekproeven, wat een grote doorbraak is ten opzichte van de data-hongerige toezichtloze methoden.
2. Stabiliteit en Extreme Gebeurtenissen: De ontwikkelde sluitingen zorgen voor stabiele simulaties die extreme gebeurtenissen (de staarten van de waarschijnlijkheidsdichtheidsfunctie van werveling) nauwkeurig reproduceren, in tegenstelling tot traditionele modellen die deze dempen.
3. Generalisatie: Het model toont een sterke generalisatievermogen. Een model getraind op een stroming met een Reynolds-getal ($Re$) van 20.000 werkt direct en effectief op een stroming met $Re = 300.000$ (een factor 15 hoger) zonder extra training.
4. Interpreteerbaarheid: Door middel van Sobol-indexen wordt aangetoond dat het model zowel diffusie als "backscattering" (energetische terugvoer van subgrid naar opgeloste schalen) leert te modelleren, wat essentieel is voor het vastleggen van de juiste energie-overdracht.

4. Resultaten

De methode werd getest op vijf verschillende 2D-turbulentie-cases die kenmerkend zijn voor atmosferische en oceanische stromingen (inclusief jetstreams en Coriolis-effecten).

• Extreme Gebeurtenissen: De waarschijnlijkheidsdichtheidsfunctie (PDF) van de werveling ($\omega$) van de SMARL-gebaseerde LES komt zeer goed overeen met de DNS, zelfs in de staarten (extreme waarden). Traditionele modellen (DSmag en DLeith) vertonen een te sterke diffusie en onderschatten extreme waarden aanzienlijk.
• Energie- en Enstrofie-overdracht: SMARL voorspelt de interschaal overdracht van enstrofie nauwkeuriger dan traditionele modellen. Het model leert dat de meeste bijdrage aan de sluitingscoëfficiënt komt van de lage golfgetallen (grote schalen) en het gebied rond het cut-off golfgetal, wat logisch is gezien de energie-injectie en overdracht.
• Resolutie: De simulaties werden uitgevoerd met een ruimtelijke en temporele resolutie die $10^3$tot$10^4$ keer grover was dan de DNS, maar produceerden toch statistieken die overeenkwamen met de hoge-resolutie referentie.
• Generalisatie: Een model getraind op Case 1 ($Re=20.000$) werd succesvol toegepast op Case 5 ($Re=300.000$). Het slaagde erin om zowel het kinetische energiespectrum als de PDF van extreme gebeurtenissen nauwkeurig te voorspellen, wat aantoont dat het model de fundamentele fysica van de schaalinteracties heeft geleerd in plaats van alleen de specifieke data te memoriseren.

5. Betekenis en Conclusie

Dit onderzoek markeert een belangrijke stap in de toepassing van kunstmatige intelligentie op klimaatmodellering.

• Paradigmaverschuiving: Het bewijst dat online versterkingslering (SMARL) superieur is aan toezichtloos leren voor het ontwikkelen van SGS-sluitingen, omdat het minder data vereist, stabielere simulaties mogelijk maakt en geen differentieerbare oplosprogramma's nodig heeft.
• Toekomstperspectief: De methode biedt een potentieel krachtig instrument om klimaatmodellen te verbeteren, waardoor we extreme weersgebeurtenissen in een veranderend klimaat nauwkeuriger kunnen voorspellen. Het opent de weg naar het schalen van deze technieken naar complexe, realistische GCM's en aardse systeemmodellen.

Kortom, SMARL biedt een robuust, data-efficiënt en interpreteerbaar raamwerk om de "grijze zwanen" (extreme en zeldzame gebeurtenissen) in geofysische turbulentie te modelleren, wat essentieel is voor betrouwbare klimaatprojecties.