TianQuan-S2S: A Subseasonal-to-Seasonal Global Weather Model via Incorporate Climatology State

TianQuan-S2S is een nieuw wereldwijd model voor weersvoorspelling op subseizoens- tot seizoensschaal dat klimaatstaten integreert en een uncertainty-augmented Transformer gebruikt om de prestaties van bestaande numerieke en datagedreven methoden te overtreffen.

De kern

Titel: TianQuan-S2S: De Weerprofeet die de 'Grootte' van het Klimaat kent

Stel je voor dat we proberen het weer te voorspellen voor de komende 15 tot 45 dagen. Dat is een heel lastige klus. Het is alsof je probeert te raden hoe een enorme, chaotische dansgroep er over een maand uit zal zien, terwijl ze nu nog maar net de dansvloer op zijn gegaan.

Deze paper introduceert TianQuan-S2S, een nieuw computerprogramma (een AI-model) dat dit probleem oplost door slimme trucs te gebruiken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vervagende Foto"

Tot nu toe hadden we twee soorten weersvoorspellers:

• De Supercomputers (NWP): Deze doen alles uit de natuurwetten. Ze zijn heel goed voor de korte termijn (tot 15 dagen), maar ze zijn traag en maken na verloop van tijd kleine fouten die oplopen. Na een maand is de voorspelling vaak een wazige, saaie foto waar niets meer op te zien is.
• De AI-modellen (Data-driven): Deze zijn supersnel en leren van historische data. Maar ze hebben een groot nadeel: naarmate je verder in de toekomst kijkt, worden hun voorspellingen steeds saaier en minder gedetailleerd. Ze "smelten" letterlijk weg tot een egale, saaie kleur. Dit noemen de auteurs modelinstorting (model collapse). Het is alsof je een foto steeds opnieuw kopieert; na een tijdje is het beeld volledig vervagen.

2. De Oplossing: TianQuan-S2S

De makers van TianQuan-S2S (wat zoiets betekent als "Weer-Hub") hebben twee slimme ideeën bedacht om dit op te lossen.

Idee 1: De "Grootte" van het Klimaat toevoegen (Climatology)

Stel je voor dat je probeert te raden wat de temperatuur zal zijn in augustus in Nederland. Als je alleen kijkt naar de temperatuur van gisteren, heb je weinig info. Maar als je ook weet dat augustus gemiddeld warm is (dat noemen we het klimaat), heb je een veel betere basis.

• De Analogie: Stel je voor dat je een schilderij maakt van een landschap. De AI kijkt alleen naar de huidige wolken (het begin van de storm). TianQuan-S2S kijkt ook naar een oude, geleide kaart van hoe het landschap er altijd uitziet in deze maand.
• Hoe het werkt: Het model pakt niet alleen de huidige weersdata, maar mixt die direct met de "gemiddelde" weersdata van de afgelopen 38 jaar. Hierdoor weet het model: "Oké, het is nu koud, maar we weten dat het in deze periode normaal gesproken warmer wordt." Dit geeft het model een stevig anker, zodat het niet verdwaalt in de chaos.

Idee 2: Een beetje "ruis" toevoegen (Uncertainty)

In de echte wereld is het weer nooit 100% zeker. Soms is er een kleine windvlaag die alles verandert. Veel AI-modellen proberen alles perfect te voorspellen, waardoor ze alles te glad en te saai maken.

• De Analogie: Stel je voor dat je een groep mensen vraagt om een tekening te maken van een storm. Als ze allemaal precies hetzelfde moeten doen, krijgen ze een saaie, statische tekening. Maar als je ze een beetje "ruis" (een beetje chaos) geeft, gaan ze elk een iets andere, maar realistische storm tekenen.
• Hoe het werkt: TianQuan-S2S voegt tijdens het rekenen opzettelijk een beetje willekeurige "ruis" (Gaussisch ruis) toe aan de berekeningen. Dit zorgt ervoor dat het model niet vastloopt in één saaie voorspelling, maar een verscheidenheid aan mogelijke scenario's kan zien. Het houdt de details scherp en voorkomt dat de voorspelling "instort" tot een saaie vlek.

3. Het Resultaat: Een Beter Voorspeller

De auteurs hebben hun model getest tegen de beste bestaande systemen (zoals die van het Europese ECMWF en andere AI-modellen zoals FuXi).

• De Uitslag: TianQuan-S2S wint het overal. Het maakt minder fouten (lagere RMSE) en voorspelt de patronen beter (hogere ACC).
• Specifiek voordeel: Waar andere modellen na 25 dagen al erg wazig worden, blijft TianQuan-S2S scherp en gedetailleerd, zelfs tot 45 dagen vooruit. Het slaagt erin om de "ruis" van het echte weer na te bootsen, in plaats van hem weg te filteren.

Samenvattend

TianQuan-S2S is als een ervaren weerman die niet alleen naar de huidige wolken kijkt, maar ook naar zijn oude dagboeken (het klimaat) om te weten wat er normaal gebeurt. En hij is niet bang om een beetje chaos toe te staan in zijn berekeningen, zodat hij realistische, gedetailleerde voorspellingen blijft maken, zelfs als we ver in de toekomst kijken.

Dit is een grote stap voorwaarts voor boeren (die plannen moeten maken), energiebedrijven (die wind en zon nodig hebben) en hulpdiensten (die zich moeten voorbereiden op stormen).

Technische samenvatting

1. Het Probleem

Subseizoens- tot seizoensvoorspellingen (S2S, 15 tot 45 dagen vooruit) zijn cruciaal voor landbouw, energieproductie en rampenbeheer. Hoewel numerieke weersmodellen (NWP) goed presteren op korte termijn, kampen ze op de S2S-tijdschaal met twee fundamentele problemen:

• Chaotische aard van het weer: De initiële condities worden naarmate de voorspellingstijd langer wordt, minder informatief.
• Modelinstorting (Model Collapse): Data-gedreven modellen (AI) hebben de neiging om bij langere voorspellingstijden steeds "gladder" te worden. Ze verliezen fijne details en realistische variabiliteit, wat leidt tot onrealistische, over-gemiddelde voorspellingen die de waarheid niet meer nabootsen.
• Onvoldoende klimaatintegratie: Bestaande AI-modellen focussen vaak alleen op de initiële weerscondities en negeren de langzame, persistente klimaatstaten (klimatologie) die essentieel zijn voor S2S-voorspellingen.

2. Methodologie: TianQuan-S2S

De auteurs stellen TianQuan-S2S voor, een globaal S2S-voorspellingmodel dat twee kerninnovaties combineert om de bovengenoemde beperkingen op te lossen. Het model is gebaseerd op een Vision Transformer (ViT) architectuur.

A. Patch Embedding met Klimatologie-integratie
In plaats van alleen de initiële weersdata te gebruiken, integreert het model expliciet klimatologische informatie (historische gemiddelden) in de invoer:

• Convolutie: Er worden meervoudige convolutielagen gebruikt om trends en ruimtelijke patronen uit de klimatologische data ($X_{clim}$) te extraheren.
• Attention-based Fusion: Een speciaal module fuseert de initiële weerscondities met de geëxtraheerde klimatologische kenmerken. Dit gebeurt via een attention-mechanisme dat ruimtelijke weegfactoren berekent om te bepalen hoe belangrijk de klimatologie is ten opzichte van de initiële toestand per locatie. Dit helpt het model om de "basislijn" van het klimaat te behouden.
• Fourier-Embedding: Om ruimtelijke (lengte- en breedtegraad) en temporele (jaarlijkse cyclus) periodiciteit te behouden, worden Fourier-encodings gebruikt voordat de data de Transformer ingaat.

B. Uncertainty-Augmented Transformer (Ruisinjectie)
Om het probleem van "over-smoothing" en modelinstorting te bestrijden, wordt de Transformer-architectuur aangepast:

• Gestuurde Ruis: In tegenstelling tot traditionele ensemble-methoden die alleen de initiële condities verstoren, injecteert TianQuan-S2S leerbare Gaussische ruis in elke laag van de Transformer-blokken tijdens de forward pass.
• Mechanisme: De uitgang van een laag wordt niet alleen bepaald door de transformatie, maar ook door een term met ruis: $E^{(n+1)} = E^{(n)} + h_n(E^{(n)}) + g_n(E^{(n)}) \cdot \mathcal{N}(0, I)$.
• Doel: Deze continue injectie van onzekerheid voorkomt dat het model vastloopt in één deterministische traject, stimuleert het behoud van variabiliteit en imiteert de natuurlijke groei van onzekerheid bij langere voorspellingstijden.

C. Trainingsstrategie
Het model wordt getraind op de ERA5-hervormingsdataset (1979-2018). In plaats van één model dat autoregressief voorspelt (wat foutopbouw veroorzaakt), worden aparte modellen getraind voor specifieke voorspellingstijden (15, 20, ..., 45 dagen) die vervolgens worden gecombineerd.

3. Belangrijkste Bijdragen

1. Klimatologie als Priors: Het paper benadrukt en demonstreert dat het expliciet integreren van klimatologische staten in de patch-embedding essentieel is voor data-gedreven S2S-voorspellingen.
2. Uncertainty-Augmented Transformer: De introductie van leerbare ruisinjectie in elke Transformer-laag is een nieuwe aanpak om modelinstorting te voorkomen en realistische variabiliteit te behouden, superieur aan methoden die alleen de initiële condities verstoren.
3. State-of-the-Art Prestaties: Het model presteert beter dan zowel geavanceerde numerieke modellen (ECMWF-S2S) als de beste data-gedreven concurrenten (Fuxi-S2S, ClimaX) op zowel deterministische als ensemble-metingen.

4. Resultaten

De experimenten zijn uitgevoerd op de ERA5-dataset met een resolutie van 1.40625° en 5.625°.

• Deterministische Voorspelling: TianQuan-S2S overtreft consistent alle baselines (ECMWF-S2S, Fuxi-S2S, ClimaX) in RMSE (Root Mean Square Error) en ACC (Anomaly Correlation Coefficient) voor variabelen zoals temperatuur op 2m (T2m), temperatuur op 850hPa (T850), wind op 10m (Wind10) en geopotentiële hoogte op 500hPa (Z500).
  • Voorbeeld: Bij Wind10 op dag 45 behaalt TianQuan-S2S een ACC van 0.297, terwijl ClimaX 0.172 en ECMWF-S2S slechts 0.112 haalt.
• Ensemble Voorspelling: Door het gebruik van de leerbare ruis kan het model goedkope ensemble-voorspellingen genereren. Het ensemble-middelpunt presteert beter dan het klimaatgemiddelde (Climatology baseline) en andere ensemble-methoden.
• Ablatie Studies:
  • Het verwijderen van klimatologie leidt tot een significante stijging in RMSE na dag 25.
  • Het verwijderen van de ruisinjectie leidt tot meer "gladde" en minder accurate voorspellingen op lange termijn.
  • De combinatie van beide (Default) levert de beste resultaten op.
• Visualisatie: Visuele vergelijkingen tonen aan dat TianQuan-S2S beter in staat is om complexe weerpatronen en details vast te houden, terwijl concurrenten zoals ClimaX neigen naar een te gladde, onrealistische weergave.

5. Betekenis en Toekomst

TianQuan-S2S markeert een belangrijke stap in de evolutie van AI-gebaseerde weersvoorspelling. Het lost het fundamentele probleem op van "modelinstorting" bij langere voorspellingstijden door een hybride aanpak te gebruiken die de sterktes van klimatologische kennis (statistische stabiliteit) combineert met de kracht van diepe neurale netwerken (variabiliteit en patronenherkenning).

De studie toont aan dat data-gedreven modellen nu concurrerend kunnen zijn met, en zelfs superieur kunnen zijn aan, traditionele supercomputer-gebaseerde numerieke modellen voor de subseizoensvoorspelling. Dit heeft grote implicaties voor de efficiëntie (voorspellingen in seconden in plaats van uren) en de toepasbaarheid in sectoren die afhankelijk zijn van langetermijnweersplanning.

Toekomstig werk richt zich op het verhogen van de resolutie en het integreren van extra aardse systemen zoals oceanen, landoppervlakken en zee-ijs om de fysieke consistentie verder te verbeteren.