NORi: An ML-Augmented Ocean Boundary Layer Parameterization

NORi is een nieuw, op natuurkunde gebaseerd machine learning-parameterisatieschema dat neurale gewone differentiaalvergelijkingen combineert met een Richardson-getal-afhankelijke sluiting om turbulentie en instroomdynamica in de oceaanbodemlaag in klimaatmodellen nauwkeurig en stabiel te simuleren, waarbij het traditionele methoden overtreft terwijl het minimale trainingsdata vereist en langetermijn numerieke stabiliteit garandeert.

De kern

Het Grote Probleem: De Oceaan is Te Klein Om Te Zien

Stel je voor dat je probeert het weer voor de hele planeet te voorspellen. Je hebt een gigantische kaart, maar deze is gemaakt van enorme tegels, elk 10 kilometer breed. Op deze kaart kun je grote stormen en oceaanstromingen zien. De oceaan zit echter vol met kleine, chaotische wervelingen en mengprocessen die plaatsvinden in de bovenste paar honderd meter—zoals het schuim op een golf of de manier waarop koude lucht het oppervlaktewater afkoelt. Deze kleine wervelingen zijn te klein om op je gigantische kaarttegels te passen.

In de klimaatwetenschap noemen we deze kleine processen "subgrid-scale" processen. Om onze grote kaarten werkbaar te maken, moeten wetenschappers raden wat deze kleine wervelingen doen. Ze gebruiken "parameterisaties"—wat in feite vereenvoudigde handleidingen of formules zijn die zeggen: "Wanneer de wind zo hard waait, mengt het water zo veel."

De Oude Handleidingen versus De Nieuwe Hybrid

Decennia lang hebben wetenschappers fysica-gebaseerde handleidingen gebruikt. Denk hierbij aan een handleiding geschreven door een strenge ingenieur. Ze zijn gebaseerd op bekende wetten (zoals hoe warmte van warm naar koud beweegt).

• Het Goede: Ze zijn snel en stabiel.
• Het Slechte: Ze missen wat lastige fysica. Specifiek hebben ze moeite om entrainment uit te leggen.

Wat is Entrainment? Stel je een pot soep op het fornuis voor. Als je de bovenkant afkoelt, zakt de koude soep, maar stopt hij niet gewoon aan het oppervlak. Hij duikt naar beneden als een zuiger, en trekt de warme soep van onderen mee de koude laag in. Deze "duikende" actie is niet-lokaal; het gebeurt aan de onderkant van de gemengde laag, maar wordt veroorzaakt door wat er bovenaan gebeurt. Oude handleidingen zijn als een recept dat alleen weet hoe je de pot zachtjes moet roeren; ze weten niet hoe ze die diepe, duikende duik moeten simuleren.

NORi: De "Slimme Assistent"

De auteurs hebben een nieuw hulpmiddel bedacht dat NORi heet (Neural Ordinary differential equations Richardson number). Denk aan NORi niet als een vervanging voor de oude handleiding, maar als een slimme assistent die eraan vastzit.

1. De Basis (De Ingenieur): NORi begint met een simpele, fysica-gebaseerde formule (de "Base Closure"). Dit deel regelt het makkelijke werk: het zachte roeren veroorzaakt door wind en lokale temperatuurverschillen. Het is als de motor van een auto—het doet het zware tillen.
2. Het Neuronale Netwerk (De AI Co-piloot): De auteurs hebben een klein, zeer expressief Kunstmatige Intelligentie (AI) brein toegevoegd. Deze AI probeert niet de hele oceaan vanaf nul te leren. In plaats daarvan leert het alleen het ontbrekende stuk: de diepe duik (entrainment) die de formule van de ingenieur mist.

De Analogie: Stel je voor dat je een auto rijdt (het oceaanmodel). De motor (fysica) zorgt dat je beweegt. Maar soms moet je een lastige, kronkelende bergweg navigeren (entrainment). De AI is een co-piloot die alleen het stuur overneemt wanneer de weg bochtig wordt, en de auto door de bochten leidt die de motor alleen zou missen.

Hoe Ze Het Trainden: Leren van de "Toekomst"

Normaal gesproken train je een AI door het een momentopname te laten zien en te vragen: "Wat is het antwoord nu?" (bijvoorbeeld: "Hier is de windsnelheid; wat is de mengflux?"). De auteurs ontdekten dat dit de AI instabiel maakte. Het was als een student leren een toets te halen door antwoorden op losse vragen te memoriseren, maar wanneer ze het eindexamen deden (het model jaren laten draaien), faalden ze omdat ze het verloop van het verhaal niet begrepen.

In plaats daarvan gebruikten ze A Posteriori Training (leren van het resultaat).

• De Methode: Ze draaiden een supergedetailleerde, hoog-resolutie simulatie (de "Ground Truth") die elke kleine werveling vastlegde. Vervolgens lieten ze hun simpele NORi-model er naast draaien.
• De Les: Ze vroegen de AI niet om de flux op één specifiek seconde te matchen. Ze vroegen: "Nadat je 2 dagen hebt gedraaid, komen je temperatuur en zoutgehalte overeen met de hoog-resolutie simulatie?"
• Het Resultaat: De AI leerde zijn gedrag in de tijd aan te passen om ervoor te zorgen dat de hele reis correct was, niet alleen één enkele stap. Dit is als een student leren door te zeggen: "Krijg niet alleen het juiste antwoord voor vraag 1; zorg ervoor dat je het hele verhaalprobleem correct kunt oplossen."

Waarom Het Een Game-Changer Is

Het paper beweert dat NORi drie grote problemen tegelijk oplost:

1. Nauwkeurigheid: In tests matchte NORi de hoog-resolutie "ground truth" simulaties veel beter dan de oude handleidingen, vooral wanneer de oceaan afkoelde en duikte (convectie). Het presteerde net zo goed als de meest complexe, dure modellen (zoals het $k-\epsilon$ model), maar was veel eenvoudiger.
2. Stabiliteit: Dit is de grootste winst. Veel AI-modellen crashten of exploderen als ze langere tijd worden gedraaid (zoals een videogame-karakter dat na 10 uur vastloopt). Omdat NORi was getraind om de hele tijdlijn stabiel te houden, draaide het 100 jaar in een simulatie zonder te crashen, zelfs al was het alleen getraind op 2-daagse momentopnames.
3. Snelheid: NORi is een "zero-equation" model, wat betekent dat het geen extra complexe wiskundige vergelijkingen hoeft op te lossen zoals de zware modellen doen. Het kan draaien met veel grotere tijdstappen (tot 1 uur), waardoor het veel sneller is voor globale klimaatsimulaties.

De Realiteitstest

De auteurs testten NORi tegen echte wereldgegevens van Ocean Weather Station Papa in de Stille Oceaan. Ze draaiden het model 120 dagen (herfst tot winter) met echte weergegevens.

• Het Resultaat: NORi voorspelde de temperatuur en het zoutgehalte van de oceaan bijna perfect, en kwam overeen met de waarnemingen net zo goed als de state-of-the-art modellen.
• De Verrassing: Hoewel NORi was getraind op geïdealiseerd, constant weer, hanteerde het het rommelige, veranderlijke echte weer perfect. Het wist wanneer het zijn AI-brein moest "aanzetten" (tijdens sterke afkoeling) en wanneer het de simpele fysica-motor de leiding moest laten nemen (tijdens rustige wind).

Samenvatting

NORi is een nieuwe manier om het mengsel aan het oppervlak van de oceaan te modelleren. In plaats van te proberen een gigantische, complexe AI te bouwen om fysica te vervangen, bouwden de auteurs een simpele fysica-motor en gaven ze deze een kleine, slimme AI-assistent om zijn blinde vlekken te repareren. Door deze assistent te trainen om te zorgen voor de lange termijn-reis in plaats van alleen het directe moment, creëerden ze een model dat snel, honderd jaar stabiel en zeer nauwkeurig is. Het is een "het beste van twee werelden" aanpak die de kloof overbrugt tussen simpele fysica en krachtig machine learning.

Technische samenvatting

Technische Samenvatting: NORi: Een ML-gestuurde Parameterisering van de Oceanische Grenslaag

Probleemstelling
Globale oceaan-klimaatmodellen werken doorgaans met resoluties van 10 km of grover, waardoor ze niet in staat zijn om subgrid-schaal turbulente mengingsprocessen in de bovenste oceanische grenslaag (BL) expliciet op te lossen; deze processen vinden plaats op schalen van meters tot centimeters. Deze mengingsprocessen, aangedreven door wind, afkoeling en verdamping, reguleren de uitwisseling van warmte, koolstof en tracers tussen de atmosfeer en het oceaaninterieur. Traditionele parameterisaties staan voor een afweging: eenvoudige diffusiële afsluitingen van de eerste orde (bijv. Pacanowski-Philander) zijn rekenkundig efficiënt maar falen in het vastleggen van niet-lokale entrainment aan de basis van de BL, terwijl complexere tweevergelijkingmodellen (bijv. $k$-$\epsilon$) of bulk-schema's (bijv. KPP) betere nauwkeurigheid bieden maar vaak hoge rekenkosten met zich meebrengen of worstelen met numerieke stabiliteit over lange integratietijden. Bovendien lijden puur datagedreven machine learning (ML) benaderingen vaak aan numerieke instabiliteit en fysieke inconsistentie wanneer ze worden ingezet in langetermijn-klimaat simulaties, met name wanneer ze a priori worden getraind op instantane fluxen in plaats van op temporele trajecten.

Methodologie
De auteurs introduceren NORi (Neural Ordinary Differential equations Richardson number), een hybride parameterisering die een eenvoudige op fysica gebaseerde afsluiting verrijkt met neurale netwerken die zijn getraind via een a posteriori strategie.

1. Hybride Architectuur:

   • Basisafsluiting ("Ri"): Een diffusiële afsluiting van de eerste orde gebaseerd op de lokale gradiënt Richardson-getal ($Ri$). Dit onderdeel vangt lokale menging op die wordt aangedreven door schuif en convectie, waardoor het model voldoet aan bekende fysieke schaalwetten en statische stabiliteit behoudt ($N^2 \geq 0$).
   • Neuraal Netwerk Component ("NO"): Neuronale Gewone Differentiaalvergelijkingen (NODE's) worden ingezet om niet-lokale entrainment-fluxen van temperatuur en zoutgehalte aan de basis van de gemengde laag te voorspellen. Deze netwerken zijn verticaal "geconvolueerd", delen gewichten over gridpunten, en zijn alleen actief binnen een specifieke "entrainment zone" (gediagnosticeerd via het $Ri$-criterium). Invoer omvat lokale tracergradiënten, het Richardson-getal en de niet-lokale oppervlakte-oppervlakte drijfkrachtflux. De netwerken voorspellen residuale fluxen die de basisafsluiting mist, specifiek de verdieping van de BL door convectieve plumes.

2. Trainingsstrategie (A Posteriori Kalibratie):

   • In tegenstelling tot traditionele a priori training die instantane subgrid-fluxen matcht, wordt NORi a posteriori getraind. De verliesfunctie hangt af van de volledige tijd-geïntegreerde trajecten van grofkorrelige variabelen (temperatuur, zoutgehalte, snelheid) in plaats van instantane fluxen.
   • De training maakt gebruik van een 1D kolommodel dat voorwaarts in de tijd wordt geïntegreerd met volledig differentieerbare ODE-oplossers (geïmplementeerd in Julia met Lux.jl en Enzyme.jl). Gradienten worden teruggepropageerd door de ODE-oplosser om de netwerkgewichten bij te werken.
   • Curriculum Learning: Training verloopt in fasen met progressief langere integratieramen (15, 23,3 en 43,3 uur) om numerieke stabiliteit en generalisatie te waarborgen.
   • Data Bron: Hoogwaardige Large-Eddy Simulaties (LES) gegenereerd met Oceananigans.jl dienen als grondwahrheid. De dataset omvat diverse regimes, waaronder schuifgedreven, convectie-gedreven en gemengde turbulentie, met variërende rotatie, stratificatie en thermodynamische omstandigheden (met gebruik van de TEOS-10 toestandsvergelijking).

3. Fysieke Beperkingen:

   • De architectuur handhaaft tracerbehoud door oppervlakte- en bodemfluxen van het neurale netwerkkomponent op nul te stellen.
   • De basisafsluiting zorgt ervoor dat het model voldoet aan de hydrostatische benadering en voorkomt spuriële dichtheidsinversies die puur ML-modellen in hydrostatische kaders vaak teisteren.

Belangrijkste Resultaten

• Nauwkeurigheid versus LES: In configuraties met een enkele kolom komt NORi met hoge precisie overeen met LES-oplossingen en presteert het aanzienlijk beter dan de basisafsluiting alleen in convectieve regimes waar entrainment overheerst. Het presteert vergelijkbaar met de state-of-the-art $k$-$\epsilon$ afsluiting en de recent ontwikkelde CATKE (Convective Adjustment TKE) parameterisering.
• Generalisatie: NORi toont sterke generalisatie naar ongezette validatiegevallen, inclusief scenario's met niet-lineaire thermodynamica (regimes van de Zuidelijke Oceaan) en tijdsvariërende oppervlaktefluxen, ondanks training op scenario's met constante fluxen.
• Observatie Validatie: Bij testen tegen 70 jaar data van Ocean Weather Station Papa (OWS Papa), reproduceert NORi de seizoensgebonden evolutie van de grenslaag met vaardigheid vergelijkbaar met $k$-$\epsilon$ en CATKE.
• Numerieke Stabiliteit: Een cruciale bevinding is de stabiliteit van NORi in langetermijn-integraties. Hoewel getraind op horizonnen van 2 dagen, blijft NORi numeriek stabiel gedurende ten minste 100 jaar in een geïdealiseerde dubbele gyre-simulatie. Daarentegen lijden puur ML-benaderingen die a priori zijn getraind vaak aan eind-tijd explosie (finite-time blowup).
• Tijdstap Onafhankelijkheid: NORi behoudt nauwkeurigheid met tijdstappen tot 1 uur, terwijl het $k$-$\epsilon$ model tijdstappen onder de 30 minuten vereist voor convergentie. Dit suggereert dat NORi rekenkundige voordelen kan bieden in grootschalige modellen die vertrouwen op langere tijdstappen.
• Rekenkosten: In een naïeve implementatie is NORi ongeveer 15% trager per tijdstap dan $k$-$\epsilon$. Gezien echter het vermogen om tijdstappen te ondersteunen die twee keer zo lang zijn als die van $k$-$\epsilon$, betogen de auteurs dat het een netto rekenkundig voordeel biedt voor grootschalige simulaties.

Betekenis en Claims
Het artikel claimt dat NORi een nieuw paradigma vertegenwoordigt voor het ontwerpen van parameterisaties voor klimaatmodellen door succesvol op fysica gebaseerde modellering en machine learning te verbinden. De auteurs betogen dat:

1. Augmentatie boven Vervanging: Het starten met een eenvoudige, fysiek rigoureuze basisafsluiting en deze verrijken met ML om ontbrekende fysica (residuen) vast te leggen, effectiever is dan het trainen van een neurale net om de volledige parameterisering vanaf nul te leren. Deze benadering vermindert drastisch de data-eisen en modelgrootte terwijl de generalisatie verbetert.
2. Stabiliteit via A Posteriori Training: Het gebruik van a posteriori kalibratie, waarbij het verlies wordt gedefinieerd door de evolutie van toestandsvariabelen in plaats van instantane fluxen, is essentieel voor het bereiken van numerieke stabiliteit in langetermijn-klimaatintegraties. Dit brengt de trainingsverdeling in overeenstemming met de inferentievoorwaarden en bevordert impliciet stabiliteit.
3. Praktijktoepasbaarheid: NORi is ontworpen om compatibel te zijn met bestaande oceaanmodellen (gedemonstreerd via integratie in Oceananigans.jl) en ondersteunt realistische niet-lineaire thermodynamica (TEOS-10), waardoor het een levensvatbare kandidaat is voor het verbeteren van biases in de diepte van de gemengde laag in globale klimaatmodellen zonder de prohibitieve kosten van tweevergelijking-afsluitingen.

De auteurs erkennen beperkingen, zoals de huidige vaste gridresolutie (8 m) en de uitsluiting van diepe convectie-fysica en herstratificatie-processen, en merken op dat toekomstig werk zal focussen op ondersteuning van variabele grids en gezamenlijke kalibratie binnen globale oceaan-simulaties.