Why Deterministic AI Weather Models Fail at Extremes and Physical Conservation: From the Perspective of Probabilistic Mean Field

Stel je de atmosfeer en de oceaan voor als een gigantische, chaotische dansvloer. De lucht en het water draaien en kolken voortdurend in complexe patronen die strikte, onzichtbare natuurkundige regels volgen. Decennialang hebben wetenschappers geprobeerd te voorspellen waar deze dans als volgende naartoe gaat met behulp van enorme supercomputers die deze natuurkundige vergelijkingen stap voor stap oplossen. Maar er is een nieuwe speler op de dansvloer: Kunstmatige Intelligentie (AI). Deze AI-modellen zijn als supersnelle dansers die miljoenen uren aan eerdere weerfilmpjes hebben bekeken. Ze kunnen de volgende beweging in een fractie van een seconde voorspellen, met slechts een fractie van de energie van traditionele computers. Dit is een grote zaak, omdat het ons kan helpen om mensen sneller te waarschuwen voor stormen, te helpen bij het plannen van hernieuwbare energie en het beheren van overstromingen.

Er zit echter een addertje onder het gras. Hoewel deze AI-dansers ongelooflijk snel zijn en vaak de "gemiddelde" beweging goed krijgen, zien ze er soms een beetje té vloeiend uit. Ze hebben de neiging om de wilde, krankzinnige draaiingen (extreem weer) te missen en struikelen soms over de basisregels van de dans (natuurkundige wetten zoals behoud van energie). Wetenschappers krabben zich de hersens bij de vraag waarom deze superintelligente AI-modellen de ruwe randjes van de werkelijkheid blijven afvlakken. Komt dat omdat ze niet genoeg extreem weer hebben gezien? Is het een fout in de wiskunde? Dit artikel duikt diep in dit mysterie en stelt een verenigde theorie voor die uitlegt waarom deze modellen zich zo gedragen, gebruikmakend van een concept genaamd "probabilistisch gemiddeld veld" om aan te tonen dat de methode die wordt gebruikt om ze accuraat te maken, juist de reden kan zijn dat ze falen bij de extremen.

De "Gemiddelde" Valstrik: Waarom AI-weermodellen de werkelijkheid afvlakken

Dus, wat hebben de onderzoekers van het Second Institute of Oceanography en Shanghai Jiao Tong University nu echt ontdekt? Ze ontdekten dat het probleem niet alleen een gebrek aan data of een slecht algoritme is; het is een fundamenteel wiskundig gevolg van hoe de meeste huidige AI-weermodellen worden geleerd.

Denk er zo over na: Stel je voor dat je de volgende beweging van een danser probeert te raden op basis van hun eerdere bewegingen. Als je getraind bent om je "gemiddelde fout" te minimaliseren (een wiskundig concept genaamd Mean Squared Error, of RMSE), dan begint je brein van nature te zoeken naar het gemiddelde van alle mogelijke volgende bewegingen. Als de danser ofwel naar links kan draaien, naar rechts kan draaien, of kan springen, en jij wilt gemiddeld genomen "gelijk" hebben, dan voorspel je misschien een vreemde, half-draaiende, half-springende beweging die in het echte leven nooit voorkomt. Je hebt het wiskundige centrum gevonden, maar je bent de realiteit van de dans verloren.

De auteurs stellen dat huidige AI-weermodellen precies dit doen. Door ze te trainen om de gemiddelde fout te minimaliseren, leren ze de AI de conditionele verwachting te voorspellen — in feite het statistische gemiddelde van alle mogelijke toekomsten. In de echte wereld is het weer een "niet-lineair" systeem, wat betekent dat als je twee geldige weertoestanden met elkaar middelt, het resultaat meestal geen geldige weertoestand is. Het is als het mengen van heet en koud water om "lauw" water te krijgen; dat is prima. Maar als je een orkaan mengt met een kalme dag, krijg je geen "middelmatige" storm die de natuurwetten volgt; je krijgt een wiskundige geest die de regels van de natuur overtreedt.

De Experimenten: Van Simpele Dobbelstenen tot Kolkend Vloeistoffen

Om dit te bewijzen, voerde het team twee slimme experimenten uit.

Eerst creëerden ze een eenvoudige "speelgoedwereld" met een Markov-keten (denk aan een bordspel waarbij je volgende zet alleen afhangt van waar je nu bent). Ze trainden twee AI-"spelers": één die probeerde het exacte volgende getal te raden (fout minimaliseren) en één die probeerde de volledige lijst met waarschijnlijkheden voor elk mogelijk volgende getal te raden.

• Het resultaat: Beide spelers haalden bijna perfect de "gemiddelde" score. Maar de fout-minimaliserende speler was verschrikkelijk in het vastleggen van de spreiding van mogelijkheden. Het reduceerde alle complexe mogelijkheden tot één enkele, veilige, saaie gok. Het was als een student die de gemiddelde toetsuitslag uit het hoofd heeft geleerd, maar je niet kan vertellen wat de eigenlijke vragen waren. Het artikel laat zien dat deze "gemiddelde" gok vaak op een plek landt die niet eens een legale staat is in het spel.

Ten tweede gingen ze over naar een meer realistische simulatie van een kolkende vloeistof (de Kelvin–Helmholtz instabiliteit), die nabootst hoe lucht en water in de atmosfeer mengen. Ze vergeleken een standaard AI-model (getraind om fouten te minimaliseren) met een "Diffusion Model" (een type AI dat leert om een heel scala aan mogelijke toekomsten te genereren, zoals een creatieve kunstenaar).

• Het result resultaat: Het standaard AI-model produceerde een voorspelling die er ongelooflijk vloeiend uitzag. Het had op papier een iets lagere foutscore, maar wanneer je goed keek, had het alle kleine, turbulente wervelingen en scherpe randen die het weer echt maken, gladgestreken. Het was als een foto die zwaar vervaagd is om ruis te verwijderen.
• Het Diffusion Model genereerde echter een hele familie van mogelijke toekomsten. Hoewel het gemiddelde van deze toekomsten er net zo vloeiend uitzag als het standaard AI-model, waren de individuele monsters scherp, gedetailleerd en hielden ze de kleine wervelingen en extreme gradiënten intact.

De "Overmoedige" AI

Het artikel suggereert dat de kern van het probleem entropie is, of informatie. Echt weer is rommelig, onzeker en vol mogelijkheden (hoge entropie). Een standaard AI-model, dat je slechts één enkele "beste gok" geeft, zegt in feite: "Ik ben 100% zeker dat dit gaat gebeuren." Dit is overmoed. Het is als een weervorsteller die zegt: "Het gaat exact om 14:03 uur regenen," terwijl het in werkelijkheid tussen 13:00 en 16:00 uur kan regenen.

Omdat de AI zo zelfverzekerd is in zijn enkele, vloeiende gemiddelde, faalt het in het voorspellen van extremen. Als een storm een orkaan van 160 km/u of een storm van 80 km/u gaat zijn, kan de AI een veilige wind van 120 km/u voorspellen, wat het gemiddelde is maar een ramp voor iedereen die zich op het ergste wil voorbereiden. Bovendien, omdat die "gemiddelde" toestand een wiskundige mix is van verschillende fysieke realiteiten, overtreedt het vaak de natuurwetten, zoals het niet behouden van energie of massa.

Wat dit betekent voor de toekomst

De auteurs concluderen dat de oplossing niet simpelweg is om de trainingsdata aan te passen of de loss function iets te veranderen. Het probleem is dat deterministische modellen (modellen die één antwoord geven) fundamenteel ongeschikt zijn voor een chaotische, probabilistische wereld zoals ons weer.

In plaats van de AI te vragen: "Wat is het meest waarschijnlijke weer van morgen?", zouden we moeten vragen: "Wat zijn alle mogelijke weersomstandigheden van morgen, en hoe waarschijnlijk zijn ze?" Het artikel wijst naar generatieve modellen (zoals Diffusion-modellen) als de toekomst. Deze modellen raden niet alleen één getal; ze trekken een steekproef uit een verdeling, waardoor ze een reeks mogelijke toekomsten creëren die de ware onzekerheid en complexiteit van de atmosfeer vastleggen.

Kortom, het artikel suggereert dat om het weer echt te beheersen, AI moet stoppen met proberen een perfecte "gemiddelde" gokker te zijn en meer moet gaan handelen als een creatief ensemble, dat een rijke variëteit aan realistische, fysisch consistente mogelijkheden genereert. Deze verschuiving zou de sleutel kunnen zijn om AI eindelijk de extreme gebeurtenissen en natuurwetten te laten aanpakken die het tot nu toe tegenhielden.