Evaluating the Predictability of Selected Weather Extremes with Aurora, an AI Weather Forecast Model

Hoewel het AI-weermodel Aurora uitstekende prestaties laat zien bij het voorspellen van weerextremen op korte termijn (1-7 dagen), neemt de nauwkeurigheid voor de intensiteit van deze gebeurtenissen na 7-10 dagen sterk af en convergeert het model naar klimaatnormen, wat aantoont dat de voorspelbaarheidsgrens voor dergelijke AI-modellen wordt bepaald door de intrinsieke dynamiek van de atmosfeer.

De kern

De Weerprofeet met een Korte Aandachtsspanne: Een Simpele Uitleg over Aurora

Stel je voor dat je een nieuwe, super-snelle weerprofeet hebt genaamd Aurora. Deze profeet is geen mens, maar een kunstmatige intelligentie (AI) die is getraind op een enorme berg historische weergegevens. In plaats van dagenlang te rekenen met supercomputers (zoals traditionele weermodellen doen), kan Aurora een voorspelling maken in een flits, net zo snel als het opstarten van je telefoon.

Maar hoe goed is deze digitale profeet eigenlijk? Dat is wat deze studie onderzoekt. Ze kijken niet alleen naar "zonnig of regenachtig", maar naar de grote rampen: orkanen, hittegolven, extreme kou en overstromingen.

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. De "Gouden Week": De eerste week is fantastisch

Voor de eerste 1 tot 7 dagen is Aurora een ster.

• Orkanen: Als je wilt weten waar een orkaan over 3 dagen landt, is Aurora vaak net zo goed als de beste menselijke experts. Het kan de route van de storm heel nauwkeurig volgen.
• Hitte en Kou: Als er een hittegolf of een extreme vorst aankomt, ziet Aurora precies waar die gaat gebeuren. Het weet dat er een "koude luchtbank" of een "hittekoepel" in aantocht is.

De analogie: Stel je voor dat je een vriend vraagt: "Zal het morgen regenen?" Aurora zegt: "Ja, zeker, en het zal hier op de hoek zijn." En dat klopt bijna altijd.

2. De "Grijze Zone": Wat gebeurt er na een week?

Hier wordt het interessant. Als je vraagt: "Wat gebeurt er over 2 of 3 weken?", begint Aurora te twijfelen.

• Het patroon blijft, de kracht verdwijnt: Aurora blijft nog wel goed zien welk soort weer er komt. Het ziet bijvoorbeeld dat er een groot blokkerend systeem komt dat koude lucht naar Europa brengt. Het "patroon" is nog steeds te zien.
• De intensiteit is weg: Maar de kracht van dat weer? Die is verdwenen. Aurora zegt dan: "Ja, er komt koude lucht," maar in plaats van te zeggen: "Het wordt -20°C", zegt het: "Het wordt misschien -5°C." Het voorspelt een zachte winter, terwijl het een ijskoude winter wordt.

De analogie: Stel je voor dat je een film kijkt. Aurora kan over 2 weken perfect vertellen dat de film een actie-thriller is (het patroon). Maar het kan niet voorspellen of de ontploffing in de film nu een kleine knal is of een enorme explosie die het hele gebouw platlegt (de intensiteit). Het voorspelt de soort film, maar niet de kracht van de scene.

3. De "Vergeten Hoekjes": Regen en Overstromingen

Bij extreme regenval en overstromingen is het iets lastiger.

• Aurora is goed in het voorspellen van grote regenbuien die over een heel land gaan vallen (zoals de moesson in Pakistan).
• Maar bij kleine, hevige onweersbuien die alleen één stadje overstromen (zoals in de VS of Europa), heeft Aurora het moeilijk. Het ziet de grote "natte wolk" wel, maar het mist precies waar de zwaarste regenbui terechtkomt. Het zegt vaak: "Het regent overal een beetje," terwijl het in werkelijkheid "hier een overstroming is en daar droog" is.

De analogie: Het is alsof je een schilderij van een regenbui bekijkt. Aurora ziet de grijze lucht en de druppels, maar het kan niet precies voorspellen waar de emmer water omvalt.

4. Waarom is dit zo? (De "Wet van de Natuur")

De onderzoekers concluderen dat dit niet per se een fout is van de computer, maar een fundamentele limiet van de natuur.
De atmosfeer is chaotisch. Kleine veranderingen vandaag kunnen grote gevolgen hebben over twee weken. Zelfs de slimste computer ter wereld kan die chaos niet perfect voorspellen. Aurora is heel slim, maar het kan de natuur niet "hacken".

• Kortetermijn (1-7 dagen): De natuur is voorspelbaar. Aurora is een superheld.
• Lange termijn (14-21 dagen): De natuur wordt te chaotisch. Aurora ziet de grote lijnen, maar mist de details en de extreme kracht.

Wat betekent dit voor ons?

• Gebruik Aurora voor korte termijn: Als je wilt weten of je je paraplu moet meenemen of of je een orkaan moet voorbereiden, is Aurora een geweldig hulpmiddel. Het is snel en vaak accuraat.
• Wees voorzichtig met lange termijn: Als je wilt weten of er over 3 weken een extreme hittegolf komt, vertrouw dan niet blind op het exacte getal. Aurora kan je wel waarschuwen dat er "iets groots" aankomt, maar de exacte temperatuur of hoeveelheid regen is dan nog onzeker.

Kortom: Aurora is een razendsnelle, slimme voorspeller die de komende week uitstekend kent, maar na twee weken begint het te gissen over de kracht van de storm, zelfs als het het type storm nog wel herkent. Het is een geweldig hulpmiddel, maar geen kristallen bol.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Evaluating the Predictability of Selected Weather Extremes with Aurora, an AI Weather Forecast Model", vertaald en samengevat in het Nederlands.

Probleemstelling

De afgelopen jaren hebben AI-gebaseerde weermodellen (foundation models) een opmerkelijke vooruitgang geboekt en presteren ze vaak vergelijkbaar met of zelfs beter dan traditionele numerieke weermodellen (NWP) zoals het IFS van ECMWF, tegen een veel lagere rekenkost. Echter, de voorspelbaarheid van deze AI-modellen voor hoog-impact weerextremen (zoals tropische cyclonen, hittegolven, vorst en overstromingen) over verschillende dynamische regimes en op subseizoens tijdschalen (14-21 dagen) blijft onzeker. Bestaande evaluaties focussen vaak op globale aggregatemetrieken of individuele gebeurtenissen, zonder een systematische analyse van hoe de voorspelbaarheid evolueert voor verschillende soorten extremen binnen een unified raamwerk. Er is een kritische kennislacune over de intrinsieke grenzen van AI-modellen bij het voorspellen van de intensiteit en timing van deze gebeurtenissen op langere voorspelhorizons.

Methodologie

De auteurs evalueren Aurora (een AI-weather foundation model ontwikkeld door Microsoft/DeepMind met 1,3 miljard parameters en een Transformer-architectuur) aan de hand van een gecurateerde, gebeurtenisgebaseerde framework.

• Gebeurtenisselectie: Er zijn specifieke, maatschappelijk relevante extreme weergebeurtenissen geselecteerd uit verschillende dynamische regimes:
  • Tropische cyclonen (4 gevallen, o.a. Sandy, Ian, Hinnamnor).
  • Vorstgolf (2 gevallen: "Beast from the East" 2018 en Texas 2021).
  • Hittegolven (2 gevallen: Brits-Columbia 2021 en Zuidwest-Europa 2023).
  • Atmosferische rivieren (2 gevallen: Iran 2019 en Californië 2022-23).
  • Extreme neerslag (4 gevallen: Pakistan 2010, Soedan 2020, West-Europa 2021, Appalachia 2022).
  • De selectie omvat zowel "in-sample" gevallen (binnen het trainingsdataset 1979-2020) als "out-of-sample" gevallen (na 2020).
• Experimenteel Ontwerp:
  • Fase 1: Evaluatie van de afhankelijkheid van de leidtijd (lead time) door startdata te variëren (1, 3, 5, 7, 14, 21 dagen) terwijl een kritieke fase (bijv. landfall of piekintensiteit) wordt aangehouden.
  • Fase 2: Analyse van sub-dagelijkse initialisatiegevoeligheid en ruimtelijke/fysische diagnostiek.
• Validatie:
  • De voorspellingen worden vergeleken met ERA5 reanalyse-data, die ook dient als initialisatiebron (om initialisatiefouten uit te sluiten).
  • Metrieken: RMSE (wiskundige fout), Bias, Ruimtelijke correlatie (Pearson), Ruimtelijke uitbreiding (Extent) en Intersection over Union (IoU) voor drempelwaarde-overschrijdingen (bijv. T < 0°C of T > 30°C).
  • Voor neerslag wordt een externe decoder gebruikt (Lehmann et al., 2025) om Aurora's latent state om te zetten naar neerslag, gevalideerd tegen MSWEP v3 data.

Belangrijkste Bijdragen

1. Universeel Evaluatiekader: De eerste systematische evaluatie van Aurora over een breed scala aan extreme weerfenomenen (cyclonen, temperatuur, vocht, neerslag) binnen één raamwerk.
2. Identificatie van een Subseizoens Falingspatroon: De studie onthult een consistente "failure mode" waarbij AI-modellen op lange termijn (14-21 dagen) de grote circulatiepatronen nog redelijk goed voorspellen, maar de intensiteit van de extremen volledig instort (regressie naar het klimaatgemiddelde).
3. Praktische Voorspelbaarheidsgrens: Het vaststellen dat de praktische voorspelbaarheidshorizon voor deterministische AI-voorspellingen van extremen beperkt blijft tot ongeveer 7-10 dagen, vanwege intrinsieke atmosferische dynamische limieten.
4. In-sample vs. Out-of-sample Prestaties: Een gedetailleerde analyse van hoe het model presteert binnen en buiten zijn trainingsdistributie, met name voor neerslaggebeurtenissen.

Resultaten

• Tropische Cyclonen:
  • Korte termijn (1-3 dagen): Sterke prestaties met baanfouten van 20-60 km, vergelijkbaar met operationele benchmarks.
  • Lange termijn: Prestaties verslechteren sterk, vooral bij systemen die een extratropische overgang ondergaan of recureren (bijv. Tyfoon Hinnamnor), waarbij baanfouten honderden kilometers kunnen bedragen. Intensiteitsvoorspellingen vertonen vaak bias.
• Temperatuur Extremen (Vorst en Hittegolven):
  • 1-7 dagen: Zeer hoge ruimtelijke correlatie (>0.90) en IoU-waarden. Het model voorspelt de locatie en het optreden van extremen nauwkeurig.
  • 14-21 dagen: Een opvallend fenomeen treedt op: de ruimtelijke correlatie blijft gematigd hoog (het model "weet" waar de koude/hitte zou moeten zijn), maar de drempelwaarde-voorspelbaarheid (IoU) stort in. De voorspellingen regresseren naar het klimaatgemiddelde; de amplitude van de temperatuur wordt onderschat. Bij vorst is er een warme bias, bij hittegolven een koude bias.
• Atmosferische Rivieren:
  • Korte termijn (1-3 dagen): De structuur van de vochttransport (IVT) en landingslocaties worden goed gereproduceerd.
  • Lange termijn: Er treedt een systematische onderschatting van de intensiteit op. Ruimtelijke fouten nemen toe, vooral bij landingspunten, waardoor lokale risico's op langere termijn onbetrouwbaar worden.
• Extreme Neerslag:
  • Prestaties zijn het zwakst van alle categorieën, vooral voor convectieve gebeurtenissen (buiten het trainingsdataset).
  • Er is een consistente "droge bias" (onderschatting van intensiteit) gecombineerd met een "ruimtelijke overschatting" (te brede voorspellingen).
  • Voor monsoon-gebaseerde gebeurtenissen (in-sample) zijn de resultaten op korte termijn redelijk, maar voor lokale overstromingen (zoals Appalachia 2022) is de voorspelbaarheid minimaal.

Betekenis en Conclusie

De studie concludeert dat Aurora een krachtig hulpmiddel is voor korte tot middellange termijn (1-7 dagen) voorspellingen van weerextremen, met een snelheid en nauwkeurigheid die operationeel bruikbaar is. Het model is uitstekend in het identificeren van synoptische regimes (bijv. blokkeringen, jetstream posities).

Echter, de studie waarschuwt dat deterministische voorspellingen van de intensiteit van extremen op subseizoens schaal (14-21 dagen) fundamenteel beperkt zijn door de chaos in de atmosfeer, niet alleen door tekortkomingen van het AI-model. Het model behoudt de "sfeer" van het weer (grote patronen), maar verliest de "kracht" (extreme amplitude).

Operationele Implicaties:

• Aurora is ideaal voor snelle ensemble-ontwerp en korte-termijn besluitvorming.
• Voor langetermijnvoorspellingen (>10 dagen) moeten AI-voorspellingen worden gecombineerd met fysieke modellen, bias-correctie en ensemble-methoden om betrouwbare impact-voorspellingen te genereren.
• De resultaten onderstrepen dat foundation models, hoewel revolutionair, de fundamentele voorspelbaarheidsgrenzen van de atmosfeer erven en geen "wondermiddel" zijn voor langetermijn-extreemweerprognoses zonder fysieke correcties.