Mechanistic Interpretability Tool for AI Weather Models

Deze paper introduceert een open-source tool voor mechanische interpreteerbaarheid die de interne latenterepresentaties van AI-weermodellen zoals GraphCast analyseert om te begrijpen hoe deze voorspellingen genereren en om interpreteerbare meteorologische kenmerken te identificeren.

De kern

De "Röntgenfoto" voor AI-weersvoorspellingen: Een Simpele Uitleg

Stel je voor dat we een nieuwe soort weerman hebben: een kunstmatige intelligentie (AI) die de weersvoorspellingen doet. Deze AI is zo slim dat ze soms beter presteert dan de oude, beproefde methoden van menselijke meteorologen. Maar er is een groot probleem: niemand weet precies hoe ze dat doet. Het is een "zwarte doos". Je stopt data in, en er komt een voorspelling uit, maar het proces daarbinnen is onzichtbaar en onbegrijpelijk.

Deze paper introduceert een nieuw hulpmiddel, een soort digitale röntgenfoto, om te kijken wat er binnenin die AI gebeurt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Zwarte Doos

Traditionele weersmodellen werken als een enorme, ingewikkelde machine met duizenden schakelaars die de fysica van de lucht nabootsen (zoals wind, druk en temperatuur). Je weet precies welke schakelaar wat doet.

De nieuwe AI-modellen (zoals GraphCast) werken anders. Ze hebben geen schakelaars die je kunt zien. In plaats daarvan hebben ze een enorm netwerk van "verborgen lagen" (latente ruimte) met miljoenen getallen. Ze leren door te kijken naar historische weergegevens en proberen patronen te vinden die wij misschien niet eens zien. Het resultaat is geweldig, maar het is alsof je een toverstaf hebt die regen maakt, zonder te weten welke beweging je precies moet maken.

2. De Oplossing: Een Vertaalapparaat voor Geheime Codes

De auteurs (wetenschappers uit München) hebben een gratis, open-source tool gemaakt om deze "zwarte doos" open te breken.

De Analogie: De Radio met duizenden zenders
Stel je voor dat de AI een radio is met 512 zenders (kanalen) tegelijk. De AI luistert naar al deze zenders om het weer te voorspellen.

• Het oude probleem: We zagen alleen het geluid (de voorspelling), maar wisten niet welke zender welk geluid maakte.
• De nieuwe tool: Deze tool laat je zien welke zenders hard aan het spelen zijn op een bepaald moment en op een bepaalde plek. Het vertaalt de "geheime code" van de AI naar iets dat we kunnen begrijpen.

3. Hoe werkt het? (Stap voor Stap)

De tool doet drie dingen:

1. Kiezen: Je kiest een plek op de wereldkaart (bijvoorbeeld boven Europa) en een weertype (bijvoorbeeld een storm).
2. Kijken: De tool kijkt naar de "geheime zenders" (de kanalen) van de AI op die plek.
3. Vergelijken: De tool gebruikt slimme wiskunde (zoals Cosine Similarity en PCA) om te zien welke zenders vaak samenwerken. Het is alsof je zegt: "Wanneer er een storm is, branden altijd deze drie lampjes tegelijk."

4. Wat hebben ze ontdekt? (De Case Studies)

De auteurs hebben de tool getest op twee specifieke weersverschijnselen:

• Golfbewegingen in de lucht (Synoptische golven):
  Ze zochten naar patronen die leken op de grote golven van hogedruk en lagedrukgebieden die we in de middelste breedtegraden zien.

  • Het resultaat: De tool vond dat de AI bepaalde "lampjes" aanmaakte die precies leken op deze golven. Het was alsof de AI een kaart had getekend van deze golven in haar geheime geheugen. Interessant genoeg bleek dat de AI deze golven in het noorden en zuiden van de aarde soms anders behandelde, waarschijnlijk omdat het land en de zee er anders uitzien.

• Vochtigheid (Specifieke vochtigheid):
  Ze keken naar hoe de AI vocht in de lucht (zoals boven de Sahel in Afrika) zag.

  • Het resultaat: De tool toonde aan dat de AI precies wist waar het vochtige gebied eindigde en het droge gebied begon. De "lampjes" in de AI lichtten op precies op de plek waar de regen zou vallen.

5. Waarom is dit belangrijk?

Dit is niet alleen maar "leuk om te weten". Het is cruciaal voor twee redenen:

1. Vertrouwen: Als we weten hoe de AI tot een voorspelling komt, kunnen we haar meer vertrouwen. We kunnen controleren of ze op de juiste redenen baseert (bijvoorbeeld echte fysica) of op rare toevals (bijvoorbeeld "als de temperatuur in Tokio stijgt, wordt het in Amsterdam koud" – wat natuurlijk nonsens is).
2. Nieuwe Wetenschap: Misschien ontdekt de AI patronen in het weer die menselijke wetenschappers nog niet hebben bedacht. Door de tool te gebruiken, kunnen we deze nieuwe inzichten "opgraven" en leren van de AI.

Conclusie

Deze paper presenteert een open raam in de wereld van AI-weersvoorspellingen. Het is een tool die meteorologen en computerwetenschappers samen laat werken om de "geheime taal" van de AI te vertalen naar gewone weersverschijnselen.

In plaats van te zeggen: "De AI zegt dat het gaat regenen, geloof het maar," kunnen we nu zeggen: "De AI ziet deze specifieke golfbeweging en dit vochtprofiel, en daarom voorspelt ze regen." Dat is een enorme stap voorwaarts naar een toekomst waarin AI en menselijke kennis hand in hand werken.

Technische samenvatting

Probleemstelling

Artificiële Intelligentie (AI) weersmodellen, zoals GraphCast en Aurora, presteren inmiddels op het niveau van of zelfs beter dan traditionele Numerieke Weersvoorspelling (NWP) systemen (zoals het HRES-model van ECMWF). Ondanks deze prestaties blijven deze AI-modellen grotendeels "black boxes". In tegenstelling tot traditionele NWP-modellen, die gebaseerd zijn op expliciete fysische vergelijkingen, worden AI-modellen geoptimaliseerd om trainingsdata na te bootsen zonder voorafgaande fysische kennis. Dit maakt het moeilijk om te begrijpen hoe deze modellen voorspellingen genereren of welke interne mechanismen ze gebruiken. Bestaande interpretatiemethoden (zoals perturbation-based of gradient-based methods) bieden vaak slechts beperkt inzicht en missen een systematisch kader om de interne circuits van het model te begrijpen. Er is een dringende behoefte aan mechanische interpretatie om vertrouwen te bouwen voor operationele inzet en om nieuwe wetenschappelijke inzichten te vergaren.

Methodologie

De auteurs presenteren een open-source, aanpasbaar visualisatietool dat concepten uit mechanische interpretatie (mechanistic interpretability) toepast op AI-weersmodellen. Het doel is om de interne "latente ruimte" (latent space) van het model te analyseren om interpreteerbare meteorologische patronen te identificeren.

Kerncomponenten van de tool:

1. Data-extractie: Het tool haalt latente feature-vectoren op van elk mesh-knooppunt in het model, gedurende alle verwerkingsstappen (processor steps). Voor GraphCast (small versie) zijn dit 10.242 knooppunten met vectoren van lengte 512 (kanalen) per stap.
2. Selectie en Analyse:
   • De gebruiker selecteert een geografisch gebied met een relevant meteorologisch fenomeen.
   • De tool identificeert de $T$ meest geactiveerde latente kanalen in dat gebied.
   • Cosine Similariteit: Wordt gebruikt om te bepalen hoe sterk de latente vectoren in het geselecteerde gebied overeenkomen met vectoren elders wereldwijd.
   • Hoofdkomponentenanalyse (PCA): Wordt toegepast om de data te projecteren op een lager dimensionale ruimte. Dit helpt bij het vinden van dominante richtingen in de latente ruimte die corresponderen met specifieke meteorologische eigenschappen.
3. Translator: Om consistentie te garanderen tussen verschillende verwerkingsstappen, kan een affiene transformatie ("translator") worden toegepast op de latente vectoren, zodat de basisvectoren gelijk blijven.
4. Implementatie: De tool is gebouwd met Streamlit (Python), wat een intuïtieve interface biedt voor zowel meteorologen als computerwetenschappers.

Gebruikt Model en Data:

• Model: GraphCast (een Graph Neural Network), specifiek de "small" versie met 1 graad resolutie.
• Data: ERA5 reanalyse data als input.
• Focus: De analyse richt zich op de latente representaties tijdens de "processor" fase van het model (16 stappen), waarbij de focus ligt op het laatste verwerkingsstap (stap 16), tenzij anders vermeld.

Belangrijkste Bijdragen

1. Ontwikkeling van een Open-Source Tool: De eerste tool die mechanische interpretatie specifiek toepast op AI-weersmodellen, waardoor onderzoekers de interne werking van deze modellen kunnen visualiseren en analyseren.
2. Validatie van Mechanische Interpretatie in Weersmodellen: Het bewijs dat mechanische interpretatie, eerder succesvol in taalmodellen (LLMs) en beeldherkenning, ook effectief is voor het ontrafelen van complexe meteorologische patronen in AI-modellen.
3. Identificatie van "Circuits": De tool maakt het mogelijk om lineaire combinaties van latente kanalen te vinden die corresponderen met fysiek interpreteerbare fenomenen, wat een eerste stap is naar het reconstrueren van de "circuits" binnen het model.

Resultaten (Casestudies)

De auteurs testen de tool met twee casestudies:

1. Synoptische golven op middelste breedtegraden (Mid-latitude Synoptic-Scale Waves):

• Observatie: Door een gebied rond een lagedrukgebied (trough) te selecteren, toonde de eerste hoofdkomponent (PCA) een duidelijk dipool-structuur (negatieve activatie ten westen, positief ten oosten) die correleerde met de posities van de golven.
• Kanaal-analyse: Specifieke kanalen (bijv. kanaal 464 en 360) toonden consistente dipoolpatronen die overeenkwamen met de posities van de synoptische golven.
• Tijdsontwikkeling: De tool toonde aan dat deze structuren stabiel blijven over tijd en zelfs in eerdere verwerkingsstappen (bijv. stap 4) al zichtbaar waren, wat suggereert dat grote schaalpatronen vroeg in het proces worden vastgelegd.

2. Specifieke vochtigheid (Specific Humidity):

• Observatie: Een analyse rond de Sahel-regio (Afrika) toonde een sterke correlatie tussen de eerste hoofdkomponent en de specifieke vochtigheid. De activatie in de latente ruimte volgde nauwkeurig de vochtigheidsgradiënten (bijv. de uitbreiding van vocht in de zomer versus de winter).
• Kanaal-analyse: Verschillende kanalen (zoals 426, 172, 33) droegen bij aan dit patroon. Interessant genoeg bleek dat sommige kanalen (zoals 360 en 464) ook bijdroegen aan de synoptische golven, wat suggereert dat er mogelijk fysieke relaties zijn tussen deze fenomenen of dat het model "polysemantische neuronen" gebruikt.

Betekenis en Conclusie

De paper toont aan dat het mogelijk is om de "black box" van AI-weersmodellen te openen door de latente ruimte te analyseren.

• Vertrouwen en Toekomst: Het inzicht in hoe modellen voorspellingen genereren is cruciaal voor het opbouwen van vertrouwen bij operationele weerdiensten.
• Wetenschappelijke Vooruitgang: Door een "woordenboek" van interpreteerbare latente kenmerken te ontwikkelen, kunnen onderzoekers beter begrijpen welke fysische relaties het model heeft geleerd. Dit kan leiden tot nieuwe wetenschappelijke ontdekkingen over atmosferische processen.
• Schaalbaarheid: De tool is ontworpen om uitbreidbaar te zijn naar andere modelarchitecturen (zoals transformer-based modellen) en andere verwerkingsstappen.

Samenvattend biedt deze tool een fundamentele stap in de richting van transparante, interpreteerbare en betrouwbare AI voor de meteorologie.