Auditing how an AI weather model uses lower-stratospheric and moisture information: structure-destroying interventions in GraphCast

Weersvoorspelling is lang het domein geweest van enorme supercomputers die complexe vergelijkingen oplossen die beschrijven hoe lucht beweegt, opwarmt en afkoelt. In de afgelopen jaren is er een nieuw soort weervoorspeller opgekomen, een die die vergelijkingen niet oplost, maar in plaats daarvan leert voorspellen door enorme archieven van gegevens uit het verleden te bestuderen. Deze kunstmatige intelligentiemodellen, zoals een model genaamd GraphCast, zijn opmerkelijk nauwkeurig geworden en wedijveren met de traditionele natuurkundige systemen die de meteorologie al decennia lang leiden. Omdat deze AI-modellen echter patronen leren in plaats van expliciete natuurkundige wetten te volgen, blijft een cruciale vraag over: begrijpen ze werkelijk de fysica van de atmosfeer, of vinden ze simpelweg sluiproutes in de data? Om dit te beantwoorden, moeten wetenschappers in de "black box" van het model kijken om te zien op welke specifieke stukken informatie het vertrouwt om zijn voorspellingen te doen. Twee specifieke delen van de atmosfeer zijn van bijzonder belang: de onderste stratosfeer, de luchtlaag net boven de weersystemen die wij ervaren, en het vochtgehalte in de lucht, dat stormen voedt en klimaatpatronen vormgeeft.

Een recente studie zette zich af om te onderzoeken hoe GraphCast informatie uit deze twee regio's gebruikt. De onderzoekers behandelden het AI-model als een virtueel laboratorium, waarbij ze duizenden gesimuleerde voorspellingen uitvoerden waarbij ze de invoergegevens doelbewust aanpasten om te zien hoe het model reageerde. Ze richtten zich op een specifieke versie van het model die naar de atmosfeer kijkt tot een hoogte van 50 hPa, wat de onderste stratosfeer omvat. Om het belang van de onderste stratosfeer te testen, voerden de onderzoekers een reeks experimenten uit waarbij ze de gedetailleerde, kolkende weerpatronen in die bovenste laag vervingen door een gladde, gemiddelde versie die geen specifieke structuren bevatte. Ze probeerden de echte data ook te vervangen door willekeurige ruis of door weerpatronen uit een ander jaar. Het doel was om te zien of de weervoorspellingen van het model voor de lagere luchtlagen zouden instorten zonder de specifieke, georganiseerde structuur van de lucht daarboven, of dat het die laag simpelweg zou negeren.

De resultaten toonden aan dat het model veel aandacht besteedt aan de georganiseerde structuur van de onderste stratosfeer. Toen de onderzoekers de kolkende wervelingen verwijderden en vervingen door een glad gemiddelde, week de voorspelling van het model voor de hoogte van het drukperspectief op 500 hPa — een standaardmaat voor weerpatronen in de gematigde breedtegraden — aanzienlijk af van de normale prestaties. Na vijf dagen groeide deze afwijking naar 55 meter, een substantiële fout in meteorologische termen. Cruciaal was dat het model veel sterker reageerde op dit verlies aan structuur dan op willekeurige, incoherente ruis die dezelfde totale energie had. Dit suggereert dat het model niet alleen de algemene warmte of koude van de bovenlucht waarneemt, maar specifiek de coherente, gebalanceerde wervelingen van de atmosfeer volgt. Interessant genoeg behandelde het model een glad, klimatologisch gemiddelde van de bovenatmosfeer hetzelfde als een echt maar foutief weerpatroon uit een ander jaar; beide veroorzaakten vergelijkbare fouten. Dit impliceert dat voor het model een realistische maar onjuiste structuur even schadelijk is als het helemaal geen structuur hebben.

De studie vergeleek ook de invloed van de bovenatmosfeer met de invloed van de middenatmosfeer, waar het meeste weer plaatsvindt. Wanneer de onderzoekers verstoringen van gelijke sterkte introduceerden in de middelste lagen versus de bovenste lagen, hadden de middelste lagen een veel sterker direct effect op de voorspelling. De invloed van de bovenste lagen was echter niet verwaarloosbaar, en het bleek het meest significant tijdens de wintermaanden op het noordelijk halfrond. Dit komt overeen met de kennis dat de verbinding tussen de stratosfeer en het weer daaronder het sterkst is wanneer de polaire straalstroom actief is. De onderzoekers ontdekten dat het model deze informatie uit de hogere lagen gebruikt om de grootschalige weersystemen die over continenten bewegen vorm te geven, in plaats van alleen te reageren op lokale omstandigheden.

In een tweede reeks experimenten onderzocht het team hoe het model met vocht omgaat. Ze droogden de hele atmosfeer in hun simulaties systematisch uit of maakten deze vochtiger, waarbij ze de hoeveelheid waterdamp over alle niveaus omhoog of omlaag schaalden. Ze vonden een duidelijk, gradueel antwoord: het drogen van de lucht verzwakte de intensiteit van de weersystemen, terwijl het toevoegen van vocht ze juist versterkte. Dit gedrag kwam overeen met de fysieke verwachtingen, aangezien de vrijgave van warmte wanneer waterdamp verandert in regen een primaire motor voor stormen is. Om er zeker van te zijn dat dit een echte fysieke reactie was en geen artefact van het model, vergeleken ze het met een controlexperiment waarbij ze willekeurige temperatuurruis met dezelfde wiskundige sterkte toevoegden. De temperatuurruis zorgde ervoor dat het model catastrofaal faalde, waarbij neerslaghoeveelheden in onmogelijke negatieve getallen werden gedreven en de voorspellingsvaardigheid werd vernietigd. In tegen tegenstelling hiertoe produceerden de veranderingen in vochtigheid een begrijpelijke, evenredige reactie, wat bevestigde dat het model een robuuste relatie heeft geleerd tussen luchtvochtigheid en stormintensiteit.

De studie onthulde ook een fascinerende asymmetrie in hoe het model herstelt van deze veranderingen. Wanneer de atmosfeer was uitgedroogd, deed het model er lang over om de ontbrekende vochtigheid te herstellen; het tekort nam pas langzaam over meerdere dagen af. Echter, wanneer de atmosfeer te nat was gemaakt, corrigeerde het model het overschot veel sneller, waarbij het overtollige vocht binnen enkele uren verwijderde door een uitbarsting van gesimuleerde regen. Ondanks deze snelle opruiming bleef ongeveer een derde van het extra vocht zelfs na tien dagen aanwezig, wat suggereert dat hoewel het model goed is in het reageren op natte omstandigheden, het een hardnekkig geheugen behoudt van het overschot. Deze bevindingen bieden een heldere kaart van hoe een toonaangevend AI-weermodel informatie verwerkt, waarbij wordt aangetoond dat het vertrouwt op de specifieke structuur van de bovenatmosfeer en een realistische, zij het imperfecte, relatie onderhoudt met de wereldwijde vochtigheid. Door te bewijzen dat het model deze fysieke aanwijzingen op een gestructureerde manier gebruikt, biedt het onderzoek een nieuwe methode voor het auditeren van kunstmatige intelligentie, waarbij wordt gewaarborgd dat deze krachtige instrumenten niet alleen het verleden memoriseren, maar ook de regels leren die ons weer beheersen.