💻 computer science

TCBench: A Benchmark for Tropical Cyclone Track and Intensity Forecasting at the Global Scale

TCBench is een benchmark op wereldwijde schaal die een eerlijke, model-agnostische evaluatie van tropische cycloonbaan- en intensiteitsvoorspellingen mogelijk maakt door gebruik te maken van de IBTracieset om state-of-the-art natuurkundige en AI-weervoorspellingsmodellen te vergelijken, met als uiteindelijke doel datagedreven voorspelling te democratiseren en de voorspelling van extreme gebeurtenissen te verbeteren.

Oorspronkelijke auteurs: Milton Gomez, Marie McGraw, Saranya Ganesh S., Frederick Iat-Hin Tam, Ilia Azizi, Samuel Darmon, Monika Feldmann, Stella Bourdin, Louis Poulain--Auzéau, Suzana J. Camargo, Jonathan Lin, Dan Chavas, Ch

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Milton Gomez, Marie McGraw, Saranya Ganesh S., Frederick Iat-Hin Tam, Ilia Azizi, Samuel Darmon, Monika Feldmann, Stella Bourdin, Louis Poulain--Auzéau, Suzana J. Camargo, Jonathan Lin, Dan Chavas, Chia-Ying Lee, Ritwik Gupta, Andrea Jenney, Tom Beucler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het pad en de kracht van een orkaan te voorspellen. Decennialang hebben wetenschappers hiervoor enorme, complexe computersimulaties gebruikt gebaseerd op de wetten van de natuurkunde (zoals vloeistofdynamica en thermodynamica). Dit zijn als zeer nauwkeurige, maar zeer zware en dure "physics engines" die gigantische supercomputers vereisen om te draaien.

Onlangs is er een nieuw type "AI-engine" opgekomen. Dit zijn neurale netwerken die leren van historische weerdata om de toekomst te voorspellen, vergelijkbaar met hoe een schaker leert van duizenden eerdere partijen in plaats van elke mogelijke zet te berekenen vanuit eerste beginselen. Deze AI-modellen zijn ongelooflijk snel en goedkoop in gebruik.

Het Probleem:
Hoewel deze AI-modellen goed zijn in het voorspellen van het algemene weer, hebben ze moeite met het nauwkeurig voorspellen van het specifieke pad en de intensiteit van tropische cyclonen (orkanen/tyfoons). Waarom?

Verschillende Regels: Iedereen speelde volgens andere regels. Sommige onderzoekers gebruikten één methode om de storm in de data te vinden, anderen gebruikten een andere methode. Het was alsof je appels met peren vergeleek.
De "Intensiteitskloof": AI-modellen waren goed in het voorspellen van waar de storm heen zou gaan, maar slecht in het voorspellen van hoe sterk deze zou worden. Ze onderschatten vaak de windsnelheden of misten de "snelle intensivering" (wanneer een storm plotseling veel sterker wordt).
Datamismatch: De AI-modellen werden vaak getraind op "afgevlakte" data die de gewelddadige, chaotische details van een echte orkaan niet vastlegde.

De Oplossing: TCBench
De auteurs van dit artikel hebben TCBench gecreëerd, wat fungeert als een universele scheidsrechter en een gestandaardiseerde testomgeving.

Het "Regelboek": Ze hebben alle rommelige, verschillende databronnen (observaties, fysica-modellen en AI-modellen) in één enkel, gestandaardiseerd formaat gedwongen. Ze gebruikten een "ground truth"-dataset genaamd IBTrACS (het officiële verslag van waar stormen daadwerkelijk heen gingen) als scorekaart.
De "Race": Ze zetten een eerlijke race op met behulp van data uit 2023. Ze namen de beste natuurkundige modellen en de beste nieuwe AI-modellen en stelden hen dezelfde vraag: "Gegeven dat er nu een storm bestaat, waar zal deze zich over 1, 2, 3, 4 of 5 dagen bevinden, en hoe sterk zal deze zijn?"
De "Spotter": Omdat AI-modellen soms "het spoor van een storm kwijtraken" (ze kunnen voorspellen dat de storm verdwijnt of nooit heeft bestaan), bevat de benchmark een vangnet. Als een AI-model een storm niet voorspelt, valt het terug op een eenvoudige "persistentie"-gok (ervan uitgaande dat de storm gewoon doorgaat met wat hij op dit moment doet), zodat de vergelijking eerlijk blijft.

Wat ze vonden (De Resultaten):

Het Pad (Track): De AI-modellen zijn uitstekend in het voorspellen waar de storm naartoe gaat. Sterker nog, voor het voorspellen van het pad zijn de AI-modellen net zo goed als, en soms zelfs beter dan, de traditionele natuurkundige supercomputers. Ze zijn als een GPS die de weg beter kent dan wie dan ook.
De Sterkte (Intensity): De AI-modellen waren aanvankelijk slecht in het voorspellen hoe sterk de storm zou worden. Ze voorspelden vaak dat de wind zwakker zou zijn dan deze in werkelijkheid was.
- De Fix: De auteurs lieten echter zien dat als je de ruwe gok van de AI neemt en deze door een eenvoudige stap van "post-processing" haalt (zoals een coach die een speler een snelle peptalk en een paar tactische aanpassingen geeft), de intensiteitsvoorspellingen van de AI zeer nauwkeurig worden.
De "Plotselinge Explosie" (Rapid Intensification): Het voorspellen van wanneer een storm plotseling veel sterker wordt, is de grootste uitdaging. De ruwe AI-modellen misten dit grotendeels. Alleen de AI-modellen die specifiek waren aangepast of "post-processed", konden deze gevaarlijke pieken in kracht opmerken.

De Grote Lijn:
TCBench is niet alleen een lijst met scores; het is een toolkit. Het biedt de data, de regels en de meetlat zodat wetenschappers en AI-ontwikkelaars kunnen stoppen met discussiëren over wie er gelijk heeft en kunnen beginnen met samenwerken om betere voorspellingen te maken.

Het artikel concludeert dat hoewel AI-modellen al aan het winnen zijn in de race om te voorspellen waar stormen heen gaan, ze nog wat hulp nodig hebben (zoals post-processing of specifieke training) om goed te worden in het voorspellen van hoe sterk ze zullen worden. Door de drempel te verlagen en de tests te standaardiseren, hoopt TCBench de ontwikkeling van instrumenten te versnellen die levens kunnen redden door ons betere waarschuwingen te geven over deze verwoestende stormen.

Technische Samenvatting: TCBench – Een Benchmark voor de Voorspelling van de Traject en Intensiteit van Tropische Cyclonen op Mondiale Schaal

1. Probleemstelling

Tropische cyclonen (TC's) zijn wereldwijd verwoestende weersystemen die biljoenen aan schade en duizenden doden veroorzaken. Hoewel het verbeteren van de voorspelling van TC's dringend nodig is voor risicobeheersing, kampen huidige operationele methoden met aanzienlijke beperkingen. Traditionele fysische modellen vereisen supercomputerinfrastructuur om TC's met voldoende ruimtelijke resolutie te modelleren, wat de toegankelijkheid beperkt. Daartegenover staan opkomende AI-weervoorspellingsmodellen (AIWP-modellen of neurale weermodellen) die computationele efficiëntie en het potentieel voor grote gekalibreerde ensembles bieden, maar vaak een gebrek hebben aan gestandaardiseerde evaluatiekaders die specifiek op TC's zijn gericht.

Er bestaat een kritieke kloof in de evaluatie van AIWP-modellen met betrekking tot TC's. Bestaande benchmarks vertrouwen vaak op uiteenlopende trackingalgoritmen, missen consistentie in intensiteitsdefinities of richten zich op globale metrieken die prestaties op specifieke extreme gebeurtenissen maskeren. Bovendien hebben AI-modellen weliswaar vaardigheid getoond in het voorspellen van TC-trajecten, maar blijft de intensiteitsvoorspelling — met name snelle intensivering (Rapid Intensification, RI) — een grote uitdaging vanwege de complexe interactie tussen oceanische energie, verticale windschering en de dynamica van de kern, die vaak ondervertegenwoordigd zijn in modellen met een grove resolutie of in vertekende trainingsdata.

2. Methodologie

Het artikel introduceert TCBench, een benchmark die ontworpen is voor het evalueren van mondiale, kort- tot middellange termijn (1–5 dagen) voorspellingen van de traject en intensiteit van TC's. De methodologie is gebouwd op de volgende pijlers:

Dataintegratie en Standaardisatie

Grondwaarheid (Ground Truth): De benchmark gebruikt de International Best Track Archive for Climate Stewardship (IBTrács) als de observationele "grondwaarheid", waarbij specifiek gebruik wordt gemaakt van de definities van Amerikaanse instanties voor intensiteit (1-minuut maximale constante windsnelheid en minimale zeeniveledruk).
Modelinputs: TCBench integreert heterogene databronnen, waaronder:
- Fysische modellen: Hindcasts van de International Grand Global Ensemble (TIGGE), specifal de GEFS- en IFS-ensembles.
- AIWP-modellen: Hindcasts van NVIDIA's FourCastNet v2, Huawei's Pangu-Weather, Google DeepMind's GenCast, FNV3, en ECMWF's AIFS v1.0.
- Reanalyse: ERA5-data wordt geraadpleegd voor omgevingsvelden, maar wordt niet herverdeeld.
Consistentie in Tracking: Om een eerlijke, model-agnostische vergelijking te garanderen, worden TC-trajecten consistent afgeleid uit modeloutputs met behulp van de TempestExtremes-bibliotheek. Als een model geen trajecten expliciet voorspelt, worden deze geëxtraheerd uit globale velden. Er wordt een "fallback-to-persistence"-strategie gehanteerd: als een model een storm niet voorspelt, wordt de persistentie-baseline gebruikt om ervoor te zorgen dat de evaluatieset niet wordt beperkt door het meest restrictieve model.

Voorspellingsformulering

TCBench formuleert TC-voorspelling als het voorspellen van de tijdsevolutie van een bestaand tropisch systeem, geconditioneerd op de initiële positie en intensiteit. De dataset is gesplitst per kalenderjaar om lekkage (leakage) te voorkomen:

Training: 2017–2020
Validatie: 2021–2022
Testen: 2023 (buiten de basislijn-training en tuning gehouden).

Evaluatiemetrieken

De benchmark biedt zowel deterministische als probabilistische metrieken:

Deterministisch Traject: Directe Positionele Fout (DPE), Cross-Track Fout (CTE) en Along-Track Fout (ATE).
Deterministische Intensiteit: Root Mean Square Error (RMSE) en Mean Absolute Error (MAE) voor windsnelheid ( $V_{max}$ ) en druk ( $p_{min}$ ).
Probabilistisch: De fair-variant van de Continuous Ranked Probability Score (CRPS) voor zowel trajecten als intensiteit.
Classificatie: Snelle intensivering (RI) wordt behandeld als een binaire classificatietaak (toename in $V_{max}$ van $\ge$ 30 knopen in 24 uur), geëvalueerd met de Critical Success Index (CSI).

3. Belangrijkste Bijdragen

Verenigd Kader: TCBench overbrugt de staat van de techniek tussen neurale en fysische modellen met observationele records, en biedt een gestandaardiseerd, reproduceerbaar evaluatiekader.
Datatoegankelijkheid: Het biedt pre-processing pipelines, evaluatieprotocollen, visualisatietools en baseline-scores (inclusclusief persistentie en Mean Tendency by Lead & Basin) om de drempels voor AI-praktisendi en meteorologen te verlagen.
Model-agnostische Tracking: Door een consistent trackingalgoritme (TempestExtremes) en een fallback-mechanisme te gebruiken, maakt het de vergelijking mogelijk van een groot aantal modellen met verschillende biases zonder de omvang van de evaluatieset te beperken.
Post-processing Baselines: De benchmark bevat baselines die post-processing toepassen (bijv. parametrische distributie-sampling) op ruwe AI-modeloutputs om intensiteit te voorspellen, wat aantoont hoe datagedreven modellen kunnen worden verfijnd.

4. Resultaten

Geëvalueerd op 2023 testgevallen, rapporteert het artikel de volgende bevindingen:

Trajectvoorspelling: AIWP-modellen (bijv. AIFS, GenCast, FourCastNet v2) vertonen een vaardige trajectvoorspelling en presteren beter dan de persistentie-baselines bij alle lead times (tot 5 dagen). In deterministische metrieken voorbij 24 uur presteert het AIFS-model opvallend beter dan anderen. Echter, fysische ensembles (GEFS) presteren nog steeds beter dan AI-modellen in probabilistische trajectvoorspellingen (CRPS).
Intensiteitsvoorspelling: Ruwe AI-modellen presteren over het algemeen minder goed dan de persistentie-baselines bij korte lead times en laten slechts marginale verbeteringen zien ten opzichte van fysische modellen bij langere lead times. Dit wordt toegeschreven aan grove ruimtelijke resoluties en biases in de trainingsdata (bijv. de negatieve intensiteitsbias van ERA5).
Impact van Post-processing: Het toepassen van post-processing algoritmen op ruwe AI-voorspellingen verbetert de intensiteitsvoorspellingen aanzienlijk. Zo bereikte een post-geprocessseerd Pangu-Weather model een prestatie die gelijkwaardig is aan of beter is dan die van het GEFS-model.
Snelle Intensivering (RI): De meeste globale AI- en fysische modellen vertonen weinig tot geen vaardigheid in het voorspellen van RI. Alleen het post-geprocessseerde Pangu-Weather model en het FNV3-model (specifiek getraind voor extreme gebeurtenissen) toonden enige vaardigheid in het detecteren van RI, met name bij lead times van 48–96 uur.

5. Betekenis en Claims

Het artikel positioneert TCBench als een instrument om de data-gestuurde TC-voorspelling te democratiseren. De betekenis ligt in:

Standaardisatie: Het biedt een gemeenschappelijk referentiepunt gericht op de voorspelling van het gedrag van een TC na de vorming van het systeem, waarmee het gebrek aan consistente evaluatie in de literatuur wordt geadresseerd.
Hybride Potentieel: De resultaten benadrukken de complementaire sterktes van neurale en fysische systemen. Terwijl AI-modellen uitblinken in deterministische trajectvoorspelling, blijven fysische ensembles superieur voor probabilistische trajecten en ruwe intensiteitsvoorspellingen.
Procesbewustzijn: Door de barrières voor reproduceerbare evaluatie te verlagen, rust TCBench tropische meteorologen uit met datagedreven instrumenten om voorspelling en procesbegrip te verbeteren.
Toekomstige Richting: De auteurs suggereren dat taakspecifieke training en post-processing noodzakelijke stappen zijn voor AI-modellen om vaardige intensiteitsvoorspellingen te bereiken, waarbij zij wijzen op hybride benaderingen als een veelbelovende toekomstige richting.

De auteurs hanteren een bescheiden toon en erkennen beperkingen zoals onzekerheid in de data, de beperkte selectie van bronnen voor de verwerkbaarheid en inconsistenties in TC-trajecten tussen verschillende instanties. Zij benadrukken dat TCBench is ontworpen voor snelle iteratie en uitbreidbaarheid naar nieuwe modellen en voorspellingsdoelen.