A Machine Learning accelerated geophysical fluid solver

Deze scriptie onderzoekt het gebruik van machine learning om geofysische vloeistofstromingen te versnellen door middel van datagestuurde discretisatiemethoden, waarbij de nauwkeurigheid en stabiliteit van klassieke numerieke oplossingen voor de ondiepwatervergelijkingen en de Euler-vergelijkingen worden verbeterd.

De kern

Stel je voor dat je een enorme, hyperrealistische simulatie van het weer of de oceaan probeert te maken op je computer. Je wilt precies weten hoe een tsunami zich verplaatst of hoe een storm over de wereld reist.

Het probleem? De natuur is ontzettend ingewikkeld. Om dit perfect na te bootsen, heeft een computer een gigantische hoeveelheid rekenkracht nodig. Het is alsof je een hele stad probeert te tekenen, maar je mag alleen maar met een dikke viltstift werken: je mist alle details, of het duurt jaren voordat je klaar bent.

Dit masterthesis van Yang Bai gaat over een slimme manier om dit probleem op te lossen door Wiskunde te combineren met Kunstmatige Intelligentie (AI).

Hier is de uitleg in begrijpelijke taal:

1. De "Oude Methode": De strenge wiskundige

Traditioneel gebruiken wetenschappers de Finite Volume Method. Zie dit als een raster van miljoenen kleine blokjes (zoals de pixels op je scherm) die de wereld opdelen. Voor elk blokje moet de computer met extreem ingewikkelde formules uitrekenen wat er gebeurt: stroomt het water weg? Komt er een golf aan?

Dit is super nauwkeurig, maar het is alsof je een legpuzzel van 10 miljoen stukjes probeert te leggen terwijl je een handleiding moet lezen voor elk individueel stukje. Het kost enorm veel tijd en energie.

2. De "Nieuwe Methode": De AI-assistent

De onderzoeker zegt: "Wat als we de AI het zware rekenwerk laten doen?"

In plaats van dat de computer voor elk klein blokje opnieuw de hele moeilijke wiskunde moet doen, traint hij een AI (een neuraal netwerk). Je kunt de AI zien als een ervaren schilder. De schilder heeft duizenden prachtige landschappen gezien. Als hij nu een nieuw landschap moet schilderen, hoeft hij niet elk grassprietje met een microscoop te bestuderen; hij weet ongeveer hoe gras eruitziet en kan het heel snel en realistisch tekenen.

De AI in dit onderzoek kijkt naar de omgeving van een blokje en "voorspelt" de details die de wiskunde normaal gesproken heel traag zou uitrekenen.

3. De vier experimenten: De zoektocht naar de beste assistent

De schrijver heeft vier verschillende manieren (modellen) geprobeerd om de AI in te zetten. Je kunt dit zien als vier verschillende soorten assistenten die hij in de keuken heeft gezet:

• Assistent 1 (De snelle maar slordige): Deze probeert direct de hele beweging te voorspellen. Resultaat: De AI raakt de weg kwijt en de simulatie stort in. Het is alsof je een kok vraagt: "Maak een maaltijd!" zonder ingrediënten te geven.
• Assistent 2 (De gokker): Deze probeert de randen van de blokjes te raden. Resultaat: Het wordt een rommeltje en de berekeningen worden onbruikbaar (NaN - "niet een getal").
• Assistent 3 (De goede tekenaar): Deze kijkt naar de omgeving en tekent de randen van de blokjes heel netjes na. Resultaat: Dit werkt! Het is een stuk sneller en ziet er goed uit, al zijn er soms nog kleine "ruisjes" (foutjes) in het beeld.
• Assistent 4 (De meester-architect): Dit is de winnaar. In plaats van alles te raden, geeft de AI de wiskunde een klein zetje in de goede richting door de "helling" (de richting waarin het water stroomt) te verbeteren. Resultaat: Dit is de meest stabiele en nauwkeurige methode. Het is alsof je een ervaren architect vraagt om de schets te verbeteren, waarna de bouwers (de wiskunde) het werk perfect afmaken.

De conclusie

De belangrijkste ontdekking is dat we AI niet moeten gebruiken om de wiskunde volledig te vervangen (want dan wordt het een rommeltje), maar om de wiskunde te helpen.

Door de AI de "moeilijke details" te laten voorspellen, kunnen we simulaties maken die zowel snel als nauwkeurig zijn. Dit is de toekomst voor het voorspellen van klimaatverandering, tsunami's en andere natuurverschijnselen!

Technische samenvatting

Technische Samenvatting: Machine Learning-versnelde Geofysische Fluid Solver

1. Het Probleem (Problem Statement)

De simulatie van complexe fysische systemen via niet-lineaire partiële differentiaalvergelijkingen (PDE's), zoals de Shallow Water Equations (SWE) en de Euler-vergelijkingen, is cruciaal voor het voorspellen van klimaatverandering, weerspatronen en tsunami's.

De traditionele numerieke methoden (zoals Finite Volume Methods - FVM) kampen met een fundamenteel dilemma: om nauwkeurige resultaten te krijgen bij complexe fenomenen zoals schokgolven, zijn extreem fijne roosters (grids) nodig. Dit leidt tot een enorme computationele belasting die voor wereldwijde modellen vaak onhaalbaar is. Hoewel Machine Learning (ML) succesvol is in beeldverwerking, is de toepassing ervan op PDE's uitdagend vanwege de strikte wiskundige beperkingen (zoals behoudswetten en stabiliteit) die behouden moeten blijven.

2. Methodologie (Methodology)

De auteur onderzoekt de "data-driven discretization" methode. In plaats van de volledige PDE door een neuraal netwerk te laten oplossen, wordt ML geïntegreerd in een bestaande klassieke numerieke solver. Het doel is om de coëfficiënten van de numerieke stencils (de rekenregels voor de naburige cellen) te voorspellen, waardoor een grof rooster de nauwkeurigheid van een fijn rooster kan benaderen.

De thesis is opgebouwd uit twee hoofdfasen:

1. Ontwikkeling van een klassieke solver: Er is een eigen solver geïmplementeerd voor SWE en Euler-vergelijkingen in 1D, 2D (planair) en op een sfeer (met behulp van een logisch rechthoekig rooster). Deze is gebouwd op de DACE (Data-Centric Parallel Programming) en PyTorch frameworks.
2. Implementatie van vier ML-gebaseerde benaderingen:
   • Methode 1: Directe voorspelling van de numerieke flux door een Convolutioneel Neuraal Netwerk (CNN).
   • Methode 2: Gebruik van CNN om lineaire coëfficiënten te genereren voor de reconstructie van randwaarden (boundary states).
   • Methode 3: Directe reconstructie van de randwaarden ($Q_L$ en $Q_R$) door een CNN.
   • Methode 4: Gebruik van CNN om reconstructie-hellingen (slopes) te voorspellen, vergelijkbaar met de WENO-methode (Weighted Essentially Non-Oscillatory).

3. Belangrijkste Bijdragen (Key Contributions)

• Nieuwe Implementatie: De ontwikkeling van een hoogwaardige klassieke solver die sneller en nauwkeuriger blijkt te zijn dan de bestaande Pyclaw-solver.
• Sferische Modellering: Een effectieve implementatie van de SWE op een sfeer met behulp van een specifieke mapping, wat essentieel is voor geofysische toepassingen.
• Vergelijking van ML-architecturen: Een systematische evaluatie van hoe verschillende manieren om ML in een FVM-framework te "bedden" de stabiliteit en nauwkeurigheid beïnvloeden.
• Model-Consistent Training: Het gebruik van een verliesfunctie (loss function) die de totale fout over meerdere tijdstappen minimaliseert, wat de stabiliteit van de numerieke integratie bevordert.

4. Resultaten (Results)

De resultaten laten een duidelijk onderscheid zien tussen de vier ML-methoden:

• Methode 1 & 2: Deze bleken niet levensvatbaar. Methode 1 produceerde foutieve momentumwaarden, en methode 2 leidde tot instabiliteit (NaN-waarden) door discontinuïteiten in de geïnterpoleerde waarden of negatieve waterhoogtes.
• Methode 3: Deze methode is bruikbaar. De CNN-reconstructie van randwaarden leverde resultaten op die vergelijkbaar waren met klassieke eerste-orde en tweede-orde solvers, hoewel er enige ruis aanwezig was door onvoldoende training.
• Methode 4 (De beste methode): De voorspelling van reconstructie-hellingen bleek de meest stabiele en nauwkeurige methode. Deze methode produceert geen ruis, behoudt de energiebalans goed en presteert op een sferisch rooster bijna even goed als een klassieke tweede-orde solver, maar met de potentie van een grof rooster.

5. Betekenis (Significance)

Dit onderzoek toont aan dat ML niet de klassieke numerieke methoden moet vervangen, maar ze moet versterken. Door ML te gebruiken om de lokale geometrie en gradiënten (hellingen) te begrijpen, kunnen we de nauwkeurigheid van simulaties verhogen zonder de computationele kosten van een extreem fijn rooster. De conclusie dat het voorspellen van hellingen (methode 4) superieur is aan het direct voorspellen van fluxen of waarden, biedt een belangrijk pad voor toekomstig onderzoek naar AI-versnelde Computational Fluid Dynamics (CFD).