FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead

FengWu is een geavanceerd AI-gebaseerd weersvoorspellsysteem dat, dankzij een innovatieve multi-modale architectuur en replay-buffer, de nauwkeurige globale medium-range weersvoorspelling voor het eerst uitbreidt tot meer dan 10 dagen.

De kern

FengWu: De Super-Weerprofeet die de Wereld Begrijpt

Stel je voor dat je een enorme, ingewikkelde puzzel hebt: de atmosfeer van de aarde. Deze puzzel verandert elke seconde. Soms regent het, soms waait het, en soms is het stil. Mensen proberen dit al duizenden jaren te voorspellen, van oude Chinezen die naar de wind keken tot moderne supercomputers die zware wiskunde doen.

Maar er is een nieuw speler in het veld: FengWu.

FengWu is geen gewone computer die alleen naar cijfers kijkt. Het is een kunstmatige intelligentie (AI) die de weersvoorspelling voor de komende twee weken (de "middeltermijn") heeft verbeterd tot een niveau dat nog nooit eerder bereikt is door een AI. Laten we kijken hoe het werkt, met een paar simpele vergelijkingen.

1. Het Kijken met Verschillende Brillen (Multi-modaal)

Stel je voor dat je een orkest hoort. Een oude manier om muziek te analyseren is om alle instrumenten door elkaar te horen als één grote "geluidsmuur". Maar FengWu doet het anders.

FengWu kijkt naar het weer alsof het een orkest is met verschillende secties: de strijkers (temperatuur), de blazers (wind), en de percussie (luchtdruk). In plaats van alles door elkaar te gooien, geeft FengWu elke sectie zijn eigen bril (een speciaal onderdeel van het brein) om te luisteren.

• De ene bril kijkt alleen naar de wind.
• De andere kijkt alleen naar de temperatuur.

Daarna laten ze deze verschillende perspectieven met elkaar praten via een vertaler (een Transformer-netwerk). Zo begrijpt de AI hoe een verandering in de wind de temperatuur beïnvloedt, net zoals een dirigent die ziet hoe de trompetten de fluiten beïnvloeden. Dit maakt de voorspelling veel scherper.

2. De Slimme Leraar die Niet Alles Even Zwaar Weegt (Multi-task & Onzekerheid)

Stel je voor dat je een klas hebt met 189 verschillende leerlingen (elk een ander weertype, zoals regen, wind of hitte). Sommige leerlingen zijn lastig, anderen makkelijk.

Oude computersystemen behandelden iedereen hetzelfde: "Iedereen moet 100% goed zijn!" Maar dat werkt niet. FengWu is een slimme leraar die weet dat sommige leerlingen meer moeite hebben dan anderen.

• Hij gebruikt een speciale onrust-methode (onzekerheidsverlies). Als een bepaald weertype (bijvoorbeeld regen in de bergen) heel moeilijk te voorspellen is, zegt de AI: "Oké, ik weet dat dit lastig is, ik ga niet boos worden als ik hier een beetje naast zit, zolang ik de rest maar goed doe."
• Hierdoor leert het systeem efficiënter en maakt het minder fouten in de moeilijke situaties.

3. De "Herhaal-Doos" voor Lange Reizen (Replay Buffer)

Dit is misschien wel het coolste trucje. Stel je voor dat je een lange reis maakt en je moet elke dag een stap zetten. Als je elke dag alleen op je huidige positie kijkt om de volgende stap te zetten, maak je na 10 dagen een kleine fout, en na 20 dagen ben je helemaal verdwaald. Dit heet "fouten ophopen".

FengWu gebruikt een herhaal-doos (Replay Buffer).

• In plaats van alleen te kijken naar de echte kaart, pakt FengWu tijdens het leren ook zijn eigen eerdere voorspellingen uit de doos.
• Hij zegt: "Oké, ik heb gisteren voorspeld dat het zou regenen. Laten we vandaag doen alsof dat waar was, en kijken wat er dan gebeurt."
• Hierdoor oefent hij specifiek voor de lange termijn. Hij leert hoe hij zijn eigen kleine foutjes moet corrigeren, zodat hij na 10 dagen nog steeds op het juiste pad zit.

Wat heeft dit opgeleverd?

De resultaten zijn indrukwekkend:

• Sneller dan de rest: FengWu is sneller en nauwkeuriger dan de huidige wereldkampioen, een systeem genaamd GraphCast. Het is beter in het voorspellen van 80% van alle weersverschijnselen.
• De 10-dagen grens: Voor het eerst kan een AI-systeem de weersvoorspelling betrouwbaar houden tot 10,75 dagen vooruit. Dat is een enorme sprong.
• Energiezuinig: Waar een traditionele supercomputer (zoals die van het Europese weerbureau) enorme hoeveelheden stroom verbruikt om één voorspelling te maken, doet FengWu dit in een fractie van de tijd en energie. Het is alsof je van een zware dieseltruck overstapt op een slimme elektrische fiets.

Conclusie

FengWu is niet zomaar een nieuwe computer; het is een nieuwe manier van denken over weer. Door de wereld te zien als een samenspel van verschillende krachten die elkaar beïnvloeden, en door slim te oefenen met zijn eigen fouten, kan FengWu ons vertellen wat er over een week of tien met ons weer gaat gebeuren. Het is alsof we eindelijk de taal van de lucht echt hebben leren spreken.

Technische samenvatting

Probleemstelling

Het voorspellen van het weer op middellange termijn (tot 14 dagen) is een van de meest uitdagende taken in de meteorologie. Traditionele fysiek gebaseerde modellen (zoals het IFS van ECMWF) kampen met hoge rekenkosten, complexiteit in het simuleren van niet-lineaire fysische processen en onzekerheden in begin- en randvoorwaarden. Hoewel er recent doorbraken zijn geboekt met datagedreven AI-modellen (zoals FourCastNet, PanGu en GraphCast), blijven er beperkingen bestaan:

1. Resolutie en Variabelen: Veel eerdere modellen werkten met lagere resoluties of behandelden alle atmosferische variabelen als één enkele input, wat de specifieke interacties tussen verschillende variabelen (modaliteiten) beperkt.
2. Multi-task optimalisatie: Het voorspellen van verschillende variabelen (bijv. temperatuur, wind, vochtigheid) is een multi-task regressieprobleem. Het handmatig afstemmen van gewichten voor elke taak is inefficiënt en suboptimaal.
3. Foutaccumulatie bij lange voorspellingen: Bij autoregressieve voorspellingen (waarbij de output van stap $t$ de input wordt voor stap $t+1$) stapelen fouten zich op, wat de nauwkeurigheid bij lange looptijden (bijv. 10+ dagen) drastisch verlaagt. Bestaande oplossingen zijn vaak rekenintensief of vereisen enorme geheugencapaciteit.

Methodologie: FengWu

FengWu is een geavanceerd, datagedreven systeem voor globale weersvoorspelling dat drie kerninnovaties introduceert:

1. Multi-modale en Multi-task Architectuur
In tegenstelling tot bestaande modellen die alle variabelen stapelen als één input, behandelt FengWu elke atmosferische variabele (bijv. geopotentiële hoogte, relatieve vochtigheid, windcomponenten, temperatuur) als een aparte modale.

• Encoder-Decoder: Het systeem gebruikt modale-specifieke encoders (gebaseerd op Transformers) om kenmerken van elke variabele onafhankelijk te extraheren.
• Cross-modal Fuser: Een Transformer-netwerk fuseert deze kenmerken om interacties tussen de verschillende atmosferische variabelen te modelleren.
• Modale-specifieke Decoders: Vervolgens worden de voorspellingen voor elke variabele apart gegenereerd via specifieke decoders.

2. Onzekerheidsverlies (Uncertainty Loss) voor Multi-task Learning
Om het probleem van het handmatig afstemmen van gewichten voor verschillende variabelen op te lossen, introduceert FengWu een probabilistische aanpak.

• Het model voorspelt niet alleen de gemiddelde waarde, maar ook de variantie van een Gaussische verdeling voor elke variabele.
• Er wordt gebruikgemaakt van homoscedastische onzekerheid om de gewichten van de verliesfunctie automatisch te leren. Dit betekent dat het model zelf leert welke variabelen moeilijker te voorspellen zijn en past de optimalisatie daarop aan, zonder dure handmatige zoektochten.

3. Replay Buffer Mechanisme
Om de foutaccumulatie bij lange looptijden (long-lead predictions) te bestrijden zonder de rekenkosten van lange autoregressieve trainingen te verhogen, introduceert FengWu een Replay Buffer.

• Dit mechanisme, geïnspireerd op reinforcement learning, slaat voorspellingen van eerdere iteraties op.
• Tijdens het trainingstraject worden deze opgeslagen voorspellingen gebruikt als input voor latere stappen, wat het model in staat stelt om de cumulatieve fouten van autoregressieve inferentie te simuleren en te leren compenseren.
• Dit verbetert de prestaties bij lange voorspellingen aanzienlijk en verlaagt bovendien het GPU-geheugengebruik door data op de CPU op te slaan.

Training: Het model is getraind op 39 jaar ERA5-hervormingsdata (1979-2015 voor training, 2016-2017 voor validatie, 2018 voor test) met een resolutie van 0,25° en 37 verticale drukniveaus.

Belangrijkste Resultaten

De prestaties van FengWu zijn geëvalueerd tegen de huidige state-of-the-art, GraphCast, op basis van 880 voorspelbare variabelen (predictands).

• Algemene Superioriteit: FengWu presteert beter dan GraphCast op 80% van de gerapporteerde predictands.
• Verbetering in RMSE en ACC:
  • Voor de 10-daagse voorspelling van de geopotentiële hoogte op 500 hPa (z500) werd de Root Mean Square Error (RMSE) verlaagd van 733 naar 651 m²/s².
  • De Anomaly Correlation Coefficient (ACC) is over het algemeen hoger dan die van GraphCast, vooral bij langere looptijden.
• Doorbraak in Voorspellingsduur: FengWu is het eerste AI-model dat de "vaardige" (skillful) voorspellingsgrens voor globale weersvoorspelling uitbreidt tot 10,75 dagen (voor z500 met ACC > 0,6) en 11,5 dagen (voor 2-meter temperatuur, t2m).
• Efficiëntie:
  • Training: FengWu is getraind in 17 dagen op 32 NVIDIA A100 GPU's, wat aanzienlijk sneller is dan de training van GraphCast (21 dagen op TPUs).
  • Inferentie: Het genereren van een volledige 10-daagse voorspelling duurt minder dan 30 seconden op een enkele A100 GPU.
  • Energieverbruik: De energieconsumptie voor een 10-daagse voorspelling is ongeveer 2000 keer lager dan die van een enkel lid van het traditionele IFS-model (12 kJ vs 26,6 MJ).

Betekenis en Conclusie

FengWu markeert een significante mijlpaal in de toepassing van AI op numerieke weersvoorspelling (NWP).

1. Technologische Doorbraak: Door het probleem te benaderen vanuit een multi-modale en multi-task perspectief, slaagt het model erin om de complexe interacties in het klimaatsysteem beter te modelleren dan eerdere benaderingen.
2. Praktische Impact: De uitbreiding van de betrouwbare voorspellingshorizon naar meer dan 10 dagen heeft enorme implicaties voor landbouw, transport, rampenpreventie en hernieuwbare energieproductie.
3. Efficiëntie: Het bewijst dat AI-modellen niet alleen nauwkeuriger kunnen zijn dan traditionele fysieke modellen, maar ook extreem energiezuinig en snel, waardoor ze toegankelijker worden voor wereldwijde implementatie.
4. Vergelijkbaarheid: Hoewel AI-modellen profiteren van de hoogwaardige ERA5-heranalyse-data (die vollediger is dan de operationele data van fysieke modellen), is de vergelijking tussen FengWu en GraphCast eerlijk omdat beide op dezelfde data zijn getraind. FengWu overtreft GraphCast duidelijk, wat aantoont dat de architecturale verbeteringen (multi-modaliteit, onzekerheidsverlies, replay buffer) essentieel zijn voor de volgende generatie weersmodellen.