Technische Samenvatting: Samudra 2: Het schalen van oceaanemulatoren over resoluties heen

Probleemstelling

Ocean General Circulation Models (OGCM's) zijn fundamenteel voor klimaatwetenschap voor het simuleren van het transport van warmte, zout, koolstof en momentum. De computationele kosten ervan beperken echter drastisch de mogelijkheid om grote ensembles te draaien of diverse forcering-scenario's te verkennen, vooral wanneer een hoge ruimtelijke resolutie vereist is om mesoschaal-wervels (eddies) en scherpe frontale structuren te resolveren. Hoewel neurale emulatoren potentieel bieden voor versnelling, hebben bestaande oceaanemulatoren moeite gehad om fijne ruimtelijke resolutie te combineren met langetermijn dynamische stabiliteit.

De auteurs identificeren drie specifieke faalmodi in hun voorganger, Samudra, die beperkt was tot een resolutie van $1^\circ$:

1. Variantie-instorting (Variance Collapse): Autoregressieve foutaccumulatie zorgt ervoor dat voorspellingen terugkeren naar het klimatologische gemiddelde, waardoor de temporele variabiliteit wordt onderdrukt, met name in de diepe oceaan.
2. Imprinting-artefacten: Ruimtelijke patronen uit snelheidvelden "lekken" naar temperatuur- en saliniteitsvelden, wat leidt tot nietfysische banding en hoogfrequente ruis die over multi-jaar rollouts wordt versterkt.
3. Resolutiebeperking: Het onvermogen om op resoluties fijner dan $1^\circ$ te opereren verhindert de emulatie van mesoschaal-wervels en westelijke randstroomstructuren die cruciaal zijn voor de klimaatvariabiliteit.

Methodologie

Samudra 2 pakt deze uitdagingen aan via twee complementaire architecturale en trainingswijzigingen toegepast op een U-Net backbone gebouwd van aangepaste ConvNeXt-stijl blokken.

1. Architecturale Schaling

Om hogere resoluties ($1/2^\circ$ en $1/4^\circ$) te ondersteunen, hebben de auteurs de U-Net backbone verbreed in plaats van verdiept.

• Kanaalbreedte: De kanaalbreedtes over de encoder-decoder stadia werden verhoogd van $[200, 250, 300, 400]$ naar $[280, 380, 480, 520]$.
• Expansiefactor: De interne expansiefactor binnen de aangepaste ConvNeXt-blokken werd verminderd van 4 naar 2. Dit ontwerp verschuift de parametrische capaciteit van de interne bottleneck van het blok naar de inter-stage feature dimensies, wat de representatieve capaciteit balanceert met de computationele kosten.

2. Dynamische Verliesfunctie

Om variantie-instorting en imprinting aan te pakken, hebben de auteurs de standaard Mean Squared Error (MSE) loss vervangen door een dynamische, kanaal-gewogen loss.

• Mechanisme: Standaard MSE wordt gedomineerd door variabelen met een hoge variantie in de oppervlakte, waardoor de optimizer de traag evoluerende signalen in de diepe oceaan verwaarloost. De nieuwe loss functie herweegt elk outputkanaal invers proportioneel aan de lopende voorspellingsfout.
• Implementatie: Gewichten worden online bijgewerkt met behulp van een Exponential Moving Average (EMA) van de inverse per-kanaal MSE. Dit versterkt adaptief het gradiëntsignaal voor kanalen met kleine fouten (typisch voor diepe oceaanvelden) terwijl het voorkomt dat oppervlaktekanalen met een hoge variantie de loss domineren.
• Clamping: Gewichten worden afgeklemd naar een ratio (gesteld op $L=20$) om over-amplificatie van kanalen met een verwaarloosbaar leerbaar signaal te voorkomen.

Training en Evaluatie Setup

• Data: De modellen worden getraind op output van het GFDL OM4p25 oceaanmodel ($1/4^\circ$ natieve resolutie), geregrid naar $1^\circ$, $1/2^\circ$, en $1/4^\circ$.
• Variabelen: De emulator voorspelt 77 kanalen (potentiële temperatuur, saliniteit, zonale/meridionale snelheid op 19 diepteniveaus, en zeetemperatuur/zeezijde hoogte) gedreven door atmosferische forcering.
• Rollouts: Training maakt gebruik van korte autoregressieve rollouts ($K=4$ stappen, 40 dagen). Evaluatie omvat lange-horizon autoregressieve rollouts van ongeveer 8 jaar (~580 stappen) zonder grondwaarheid-feedback, waarbij metrieken zoals temporele variantie, spectrale distributies en klimaatindices (bijv. Niño 3.4) worden beoordeeld.

Belangrijkste Bijdragen

1. Samudra 2 Model: Een verbeterde AI oceaanemulator die een bredere ConvNeXt U-Net integreert met een dynamische variantie-gewogen loss. Het slaagt erin variantie-instorting en imprinting-artefacten te mitigeren in langetermijn autoregressieve emulatie.
2. Multi-Resolutie Schaling: De eerste demonstratie van multi-jaar oceaanemulatie op $1/2^\circ$ en $1/4^\circ$ resoluties. De modellen herstellen mesoschaal-structuren (wervels, meanders, filamenten) en scherpe westelijke randstromen die onopgelost blijven bij $1^\circ$.
3. Diagnostisch Framework: Een uitgebreide evaluatie die aantoont dat hoewel kortetermijn nauwkeurigheid noodzakelijk is, langetermijn klimaatdiagnostiek (variantie, spectrale distributie) essentieel is voor het valideren van oceaanemulatoren bedoeld voor klimaatprojecties.

Resultaten

Prestaties bij $1^\circ$ Resolutie

• Bovenste Oceaan: De $R^2$ voor de wereldwijde gemiddelde bovenste oceaan-temperatuur verbeterde van 0.56 (Samudra) naar 0.87 (Samudra 2).
• Diepe Oceaan: De temperatuurfout in de diepe oceaan werd met ongeveer zevenvoudig verminderd. Hoewel de $R^2$-waarden negatief bleven (wat duidt op prestaties slechter dan een temporele gemiddelde baseline), werd de magnitude van de fout aanzienlijk verminderd (van $-111.36$ naar $-16.14$).
• Imprinting: Visuele en statistische analyse bevestigde de onderdrukking van de snelheid-imprinting artefacten in de diepe oceaan temperatuur- en saliniteitsvelden.

Multi-Resolutie Prestaties ($1/2^\circ$ en $1/4^\circ$)

• Ruimtelijke Getrouwheid: Hogere resoluties losten progressief fijnere ruimtelijke schalen op. Het $1/4^\circ$ model ving mesoschaal-wervels en westelijke randstroom hotspots (Golfstroom, Kuroshio, Agulhas) met variantiestructuren die nauw overeenkomen met de OM4 referentie.
• Spectrale Getrouwheid: Het $1/4^\circ$ model breidde het opgeloste golfgetalbereik (wavenumber range) met een factor vier uit ten opzichte van het $1^\circ$ model, waardoor het toegang kreeg tot mesoschaal-dynamiek die afwezig is op grovere roosters.
• Temporele Tracking: Alle resoluties volgden de variabiliteit van de bovenste oceaan goed ($R^2 = 0.84–0.92$). Prestaties op intermediale diepte verbeterden met de resolutie (bijv. $R^2$ op $1/4^\circ$ benaderde 0.01), hoewel tracking in de diepe oceaan ($2000–7000$ m) een open uitdaging bleef met negatieve $R^2$ over alle resoluties.

Ablatie Studies

Ablatie-experimenten bij $1^\circ$ toonden een sterke synergetische interactie tussen de twee modificaties:

• Wider Architectuur Alleen: Verbeterde de prestaties van de bovenste oceaan niet ($R^2 = 0.50$) en verslechterde de saliniteit op intermediale diepte.
• Dynamische Loss Alleen: Verbeterde de prestaties van de bovenste oceaan niet ($R^2 = 0.51$) maar was de primaire drijfveer voor het verminderen van de diepe oceaan fout.
• Gecombineerd (Samudra 2): Bereikte $R^2 = 0.87$ in de bovenste oceaan, wat aantoont dat de bredere architectuur de noodzakelijke capaciteit biedt voor de dynamische loss om effectief te functioneren.

Betekenis en Claims

Het artikel claimt dat Samudra 2 grotere ensembles mogelijk maakt voor zeeniveau-projecties, studies naar oceaanwarmte-opname en klimaatvariabiliteit door op een enkele GPU te draaien. Door mesoschaal-kenmerken te resolveren op $1/4^\circ$, biedt de emulator een werkbare alternatief voor het bestuderen van processen die afhankelijk zijn van wervel-dynamica (eddy dynamics).

De auteurs hanteren een bescheiden standpunt over de getrouwheid van de diepe oceaan, waarbij ze erkennen dat voorspellingen onder $\sim700$ m een open uitdaging blijven vanwege extreem zwakke trainingssignalen en de dominantie van achtergrondvariantie. Ze positioneren Samudra 2 als een belangrijke stap voorwaarts die specifieke langetermijn autoregressieve faalmodi (variantie-instorting, imprinting) aanpakt en schaalt naar hogere resoluties, terwijl ze opmerken dat natuurkundige simulaties nog steeds de meest betrouwbare referentie zijn voor de variabiliteit in de diepe oceaan. Het werk wordt geframed als een bijdrage aan een bredere klasse van langetermijn autoregressieve ML-problemen, waarbij problemen zoals spectrale bias en cross-variabele loss-imbalans worden geadresseerd.