climt-paraformer: Stable Emulation of Convective Parameterization using a Temporal Memory-aware Transformer

Probleemstelling

Het nauwkeurig weergeven van sub-grid schaal processen, zoals vochtige convectie, blijft een van de grootste uitdagingen in globale klimaatmodellen (GCM's). Traditionele parameterisatieschema's (zoals het Emanuel-schema) zijn computationeel duur en moeilijk te schalen naar hogere resoluties. Hoewel neurale netwerken (NN) een veelbelovend alternatief bieden om deze schema's te emuleren, hebben de meeste bestaande modellen een fundamenteel tekortkoming: ze zijn geheugenloos. Ze voorspellen convectieve neigingen op basis van slechts de onmiddellijke atmosferische toestand, terwijl convectie in werkelijkheid een tijdsafhankelijk proces is dat afhangt van eerdere atmosferische toestanden en de evolutie van thermodynamische structuren. Bestaande methoden om "geheugen" toe te voegen, behandelen vaak het verleden als onafhankelijke kenmerken in plaats van expliciete temporale afhankelijkheden te modelleren, wat leidt tot fouten in timing, intensiteit en stabiliteit bij langdurige simulaties.

Methodologie

De auteurs ontwikkelen een nieuw type emulator genaamd climt-paraformer, gebaseerd op een Transformer-architectuur die specifiek is ontworpen om temporale geheugen (memory) te integreren.

• Doel: Het emuleren van het Emanuel convectie-schema binnen een enkel-kolom klimaatmodel (SCM) genaamd climt.
• Architectuur: In plaats van een standaard Multi-Layer Perceptron (MLP) die alleen de huidige toestand gebruikt, of een LSTM die recurrente mechanismen gebruikt, maakt de Transformer gebruik van zelf-attentie (self-attention). Dit stelt het model in staat om complexe, niet-lineaire interacties en correlaties over een reeks van opeenvolgende atmosferische toestanden te leren.
• Input: Het model neemt een tijdsvenster ($T_w$) van opeenvolgende atmosferische kolommen als input (temperatuur, specifieke vochtigheid, oppervlaktefluxen, etc.).
• Fysieke Beperkingen: Om fysieke consistentie te garanderen, worden harde verticale beperkingen toegepast. Boven een bepaalde drukniveau ($k_0 = 19$, ca. 268 hPa) worden convectieve neigingen geforceerd op nul, omdat convectie daar niet optreedt. Dit voorkomt dat het model artefacten leert in de bovenste lagen.
• Training: De modellen worden getraind op data gegenereerd door het Emanuel-schema in een Radiative-Convective Equilibrium (RCE) configuratie. Er wordt gebruik gemaakt van een SmoothL1-verliesfunctie en een hyperparameteroptimalisatie (Optuna) om de beste architectuur te vinden.
• Validatie: De prestaties worden getest in twee fasen:
  1. Offline: Vergelijking met ground-truth data zonder terugkoppeling in het dynamische model.
  2. Online: Integratie van de NN in het klimaatmodel voor een 10-jarige simulatie om stabiliteit en cumulatieve fouten te testen.

Belangrijkste Bijdragen

1. Expliciete Temporele Modellering: Het is een van de eerste studies die een Transformer toepast op convectieparameterisatie om expliciete temporale afhankelijkheden te modelleren, in plaats van alleen statische inputs te gebruiken.
2. Stabiliteit in Lange Simulaties: Het bewijst dat een Transformer-emulator stabiel kan blijven gedurende een 10-jarige online simulatie, een cruciale vereiste voor klimaattoepassingen waar andere NN-modellen vaak instabiel worden.
3. Optimalisatie van Geheugenduur: De studie identificeert dat er een "sweet spot" is voor de lengte van het tijdsvenster. Te weinig geheugen mist dynamiek, maar te veel geheugen leidt tot foutopbouw.
4. Fysieke Beperkingen als Noodzaak: Het toont aan dat het toepassen van fysieke beperkingen (zoals het onderdrukken van convectie in de bovenste atmosfeer) essentieel is voor numerieke stabiliteit en het voorkomen van onrealistische waarden.

Resultaten

• Offline Prestaties: De Transformer presteert significant beter dan zowel een geheugenloze MLP als een LSTM-model. De Transformer bereikt de laagste genormaliseerde RMSE (nRMSE) voor zowel verwarmings- als bevochtigingsneigingen.
• Invloed van Geheugenlengte ($T_w$):
  • Een tijdsvenster van ongeveer 100 minuten (10 tijdstappen van 10 minuten) levert de beste prestaties op.
  • Langere vensters (bijv. 150-200 minuten) leiden tot een systematische afname van de nauwkeurigheid, zowel offline als online, waarschijnlijk door cumulatieve fouten en over-smoothing.
• Online Stabiliteit:
  • De MLP (zonder geheugen) en LSTM modellen crashten tijdens de online simulatie (respectievelijk na 2620 en 1388 tijdstappen) door instabiliteiten en oscillerende fouten.
  • De Transformer met een optimale geheugenlengte bleef stabiel gedurende de volledige 10 jaar.
• Variabelen: Het voorspellen van bevochtigingsneigingen ($dq/dt$) is moeilijker dan het voorspellen van verwarming ($dT/dt$).
• Neerslag: Hoewel convectieve neerslag in offline tests redelijk goed werd voorspeld, vertoonde het in online simulaties de grootste discrepanties. De NN-modellen slaagden er niet volledig in de multimodale verdeling van de neerslag van het Emanuel-schema na te bootsen, wat wijst op de moeilijkheid om regime-afhankelijk gedrag te vangen in gekoppelde systemen.

Betekenis en Conclusie

Deze studie demonstreert dat het expliciet modelleren van temporale geheugen via Transformer-architecturen een doorbraak is voor het emuleren van convectie in klimaatmodellen. Het onderstreept dat:

1. Tijdsafhankelijkheid cruciaal is: Convectie kan niet worden begrepen zonder rekening te houden met de recente geschiedenis van de atmosfeer.
2. Stabiliteit prioriteit heeft: Een model dat goed presteert in offline tests, garandeert geen stabiliteit in online simulaties; langdurige koppelingstests zijn onmisbaar.
3. Balans nodig is: Er is een optimale lengte voor het tijdsvenster (rond de 100 minuten in deze setting); meer informatie is niet altijd beter en kan de prestaties zelfs verslechteren.

De resultaten bieden een robuust fundament voor het ontwikkelen van AI-gedreven parameterisaties die toekomstige klimaatmodellen sneller en mogelijk accurater kunnen maken, hoewel uitdagingen zoals generalisatie naar verschillende klimaatscenario's en de schaalbaarheid van Transformers naar volledige GCM's nog verder onderzoek vereisen.