Missing the Butterfly and Predicting the Past: Features or Bugs of Accurate AI Weather Models?

Weervoorspelling is al lang een strijd tussen twee tegenovergestelde krachten: de chaotische aard van de atmosfeer en de beperkingen van ons vermogen om deze te meten. De atmosfeer is een fluïde systeem dat constant verandert, waarbij een kleine verschuiving in de omstandigheden vandaag kan leiden tot een totaal andere storm weken later. Deze gevoeligheid wordt vaak het vlindereffect genoemd, een concept dat suggereert dat de vleugelslag van een vlinder uiteindelijk het pad van een orkaan zou kunnen veranderen. Vanwege dit fenomeen worstelen traditionele weermodellen, die vertrouwen op complexe natuurkundige vergelijkingen om de lucht te simuleren, met het voorspellen van de toekomst met perfecte nauwkeurigheid. Als de begingegevens zelfs maar een klein beetje afwijken, groeien de fouten snel, waardoor langetermijnvoorspellingen onbetrouwbaar worden.

In de afgelopen jaren is er een nieuw type weermodel opgekomen, aangedreven door kunstmatige intelligentie. Deze systemen lossen geen natuurkundige vergelijkingen op; in plaats daarvan leren ze patronen uit decennia aan historische weerdata. Ze zijn verrassend accuraat gebleken en presteren vaak beter dan de beste traditionele modellen, terwijl ze slechts een fractie van de rekenkracht gebruiken. Deze successen hebben echter een verwarrende vraag opgeworpen bij wetenschappers: hoe kunnen deze modellen zo goed zijn in het voorspellen van de toekomst als ze de chaos lijken te negeren die het weer juist zo moeilijk voorspelbaar maakt? Als ze werkelijk de fysica van de atmosfeer zouden begrijpen, zouden ze net als traditionele modellen moeten worstelen met het vlindereffect. Toch doen ze dat niet.

Een team van onderzoekers zette zich af om dit mysterie op te lossen door deze kunstmatige intelligentiemodellen te testen in een reeks gecontroleerde experimenten. Ze wilden zien of de modellen werkelijk de natuurwetten leerden, of dat ze simpelweg een kortere weg vonden die weliswaar werkte voor de toekomst, maar de test van de tijd niet zou doorstaan. Om dit te doen, trainden ze de modellen niet alleen om het weer vooruit te voorspellen, maar ook om het weer achteruit te voorspellen. In de echte wereld is het voorspellen van het verleden vanuit het heden bijna onmogelijk voor een chaotisch systeem, omdat het proces van dissipatie — waarbij energie verloren gaat als warmte — niet gemakkelijk omkeerbaar is. Het is als het proberen te ontmengen van een kop koffie met melk; de natuurwetten maken het onmogelijk om ze weer te scheiden zodra ze gemengd zijn.

De onderzoekers ontdekten dat de kunstmatige intelligentiemodellen inderdaad met verrassende vaardigheid het verleden konden voorspellen. Ze konden naar een weerkaart van vandaag kijken en accuraat reconstrueren hoe de atmosfeer dagen geleden uitzag. Dit resultaat was verbijsterend omdat het de fundamentele regels van de thermodynamica leek te schenden, die voorschrijven dat de tijd in één richting beweegt en dat het omkeren ervan tot chaos zou moeten leiden. De modellen braken echter niet de wetten van de natuurkunde; ze omzeilden ze. De studie onthulde dat de modellen getraind waren op data die "grofmazig" (coarse-grained) waren gladgestreken. Dit proces verwijderde de kleine, snel bewegende details van de atmosfeer, zoals kleine wervelingen en snelle fluctuaties, waardoor alleen de grotere, tragere patronen overbleven.

Door deze kleine, snelle details te verwijderen, werd de trainingsdata veel meer omkeerbaar. De modellen leerden te navigeren in deze vereenvoudigde versie van de atmosfeer waar het vlindereffect niet bestond. In de echte atmosfeer groeien kleine fouten in de kleine schalen snel en verspreiden ze zich naar de grote schalen, wat de voorspelling ruïneert. Maar in de gladgestreken data waarvan de modellen hadden geleerd, waren die kleine schalen verdwenen, waardoor de fouten geen plek hadden om te schuilen of te groeien. Dit is waarom de modellen zo accuraat waren bij het voorspellen van de toekomst: ze vochten niet tegen de snelle foutengroei die traditionele modellen teistert, omdat de data waarvan ze leerden die al gefilterd hadden.

De onderzoekers bevestigden dit door de modellen te testen met verschillende niveaus van detail. Wanneer ze de modellen trainden op data die meer van de kleine, snelle schalen bevatten, begonnen de modellen zich meer als de echte atmosfeer te gedragen. Het vlindereffect keerde terug, waarbij fouten snel groeiden naarmate de beginsituaties veranderden. Echter, dit terugkeren naar fysiek realisme ging gepaard met een prijs: de modellen werden minder accuraat in het voorspellen van het weer. Het zeer kenmerk dat hen zo goed maakte in het voorspellen — hun vermogen om de chaotische kleine schalen te negeren — was ook wat hen deed falen in het vastleggen van de ware fysica van de atmosfeer.

De studie toonde ook aan dat dit vermogen om het verleden te voorspellen een direct gevolg was van hetzelfde gladstrijkingsproces. Omdat de modellen een versie van de atmosfeer leerden waar de kleine, chaotische details ontbraken, konden ze de tijd achteruit stappen zonder dat de fouten explodeerden. In de echte wereld zou het terugstappen in de tijd de simulatie onmiddellijk laten ontploffen, maar in de vereenvoudigde wereld van de trainingsdata bleef het pad helder. Dit suggereert dat de modellen niet de diepe, causale wetten van de atmosfeer leren op de manier waarop een natuurkundige dat doet. In plaats daarvan leren ze een statistische kaart van de grootschalige patronen, waarbij ze het weer effectief behandelen als een video die met evenveel gemak vooruit of achteruit kan worden afgespeeld, zolang de fijne korrel van de film maar vervaagd is.

Deze bevindingen hebben belangrijke implicaties voor hoe we kunstmatige intelligentie gebruiken en vertrouwen bij weervoorspellingen. De modellen zijn uiterst nuttige instrumenten voor kortetermijnvoorspellingen omdat ze de chaotische ruis hebben geleerd te negeren die voorspellingen gewoonlijk ruïneert. Maar dit succes komt met een verborgen beperking: ze kunnen moeite hebben met extreme, ongekende weerevenementen die afhankelijk zijn van diezelfde kleinschalige details. Als een storm wordt gedreven door een specifieke interactie van minuscule atmosferische kenmerken die het model nooit heeft gezien omdat ze in de trainingsdata waren gladgestreken, kan het model falen in de voorspelling.

De onderzoekers verkenden ook of deze modellen verbeterd konden worden door ze te dwingen de ontbrekende fysica te leren. Ze testten verschillende benaderingen, waaronder het trainen van de modellen op data met een hogere resolutie en het gebruik van verschillende wiskundige structuren. Hoewel deze wijzigingen de modellen meer lieten gedragen als echte fysische systemen, verminderden ze consequent de voorspellende vaardigheid van de modellen. Dit creëert een moeilijke afweging: een model dat fysisch realistischer is, is minder accuraat in het voorspellen van het weer dat voor ons van belang is. De studie concludeert dat de "grofmazigheid" van de trainingsdata niet slechts een technisch detail is, maar een centrale ontwerpkeuze. Het is de reden waarom deze modellen zo succesvol zijn, maar het is ook de reden waarom ze het vlindereffect en de ware tijdsvariabele missen.

Uiteindelijk suggereert het artikel dat we deze kunstmatige intelligentiemodellen niet moeten zien als perfecte simulaties van de atmosfeer, maar als zeer bekwame patroonherkenners die werken binnen de grenzen van de data die ze krijgen aangeleverd. Ze hebben een manier gevonden om de toekomst te voorspellen door de chaos te negeren die de toekomst onzeker maakt. Dit is een krachtige capaciteit, maar het is niet hetzelfde als het begrijpen van de fysica. Nu we steeds meer op deze hulpmiddelen vertrouwen voor cruciale beslissingen, van landbouw tot rampenplanning, is het essentieel om te onthouden dat hun nauwkeurigheid gebouwd is op een vereenvoudigde versie van de werkelijkheid. Ze zijn uitstekend in het vertellen wat er waarschijnlijk nu gaat gebeuren, maar ze zijn mogelijk niet in staat om te vertellen waarom, of wat er gebeurt wanneer de regels van de vereenvoudigde wereld niet langer van toepassing zijn.