Does Aurora Encode Atmospheric Structure? Latent Regime Analysis and Attribution

Technische Samenvatting: Codeert Aurora de Atmosferische Structuur? Analyse van het Latente Regime en Attributie

Probleemstelling
Hoewel deep learning (DL) foundation-modellen zoals Aurora, FourCastNet en GraphCast superieure nauwkeurigheid en computationele efficiëntie hebben getoond in weervoorspellingen vergeleken met traditionele numerieke weersverwachtingen (NWP), opereren zij als opake "black boxes". In tegenstelling tot NWP, dat steunt op expliciete fysische vergelijkingen, coderen DL-modellen atmosferische toestanden in hoogdimensionale, niet-interpreteerbare latente representaties. Deze opaciteit belemmert operationeel vertrouwen, omdat meteorologen niet kunnen verifiëren of de voorspellingen van een model fysisch consistent zijn of louter het resultaat zijn van spuriaanse correlaties. Hoewel XAI (Explainable AI) is toegepast op meteorologische CNN's, blijven de interne dynamica van miljardenparameters tellende transformer-gebaseerde foundation-modellen grotendeels onverkend. Specifiek is het onbekend of deze modellen hun latente ruimtes organiseren op basis van onderscheidende meteorologische regimes (bijv. seizoenen versus stormen) of of ze in staat zijn om voorspellingen toe te schrijven aan de juiste 3D verticale atmosferische structuren.

Methodologie
De auteurs onderzoeken de interne representaties van Aurora, een foundation-model gebaseerd op een 3D Swin Transformer V2 U-Net architectuur die is voorgetraind op heterogene datasets (ERA5, HRES, CMIP6). De studie behandelt twee kernonderzoeksvragen (RQ) met behulp van de AuroraSmallPretrained checkpoint:

1. Latente Regime-analyse (RQ1): Om te bepalen of de latente ruimte georganiseerd is volgens meteorologische regimes, hebben de auteurs Spatially Pooled Principal Component Analysis (PCA) toegepast op de bottleneck latente feature map ($Z$) van het model.

   • Data: Gegevens van het orkaanseizoen 2005 over de VS, gefilterd voor extreme stormgebeurtenissen ($v_{max} \ge 24,0$ m/s) en kalme condities ($v_{max} \le 15,0$ m/s), naast seizoensgebonden segmenten.
   • Techniek: Statistische descriptor vectoren (gemiddelde, standaarddeviatie, RMS) werden berekend voor ruimtelijk gepoolde regio's. Singular Value Decomposition (SVD) werd gebruikt om dominante variatiemodi te identificeren.
   • Validatie: Bootstrap-resampling ($N=1000$) werd ingezet om de stabiliteit van eigenvectoren te kwantificeren en te waarborgen dat de geobserveerde patronen geen artefacten van de steekproefomvang waren.

2. Lokale Attributie en Verticale Structuur (RQ2): Om te bepalen of het model specifieke stormsystemen isoleert en hun 3D-structuur reflecteert, hebben de auteurs Layer-wise Relevance Propagation (LRP) toegepast op de "Grote Storm van 1987".

   • Adaptatie: De LRP-methode werd aangepast aan de Swin V2-backbone door het shifted-window self-attention mechanisme te omwikkelen om de computationele graaf tijdens cyclische ruimtelijke verschuivingen (torch.roll) te behouden, wat de behoud van relevantie garandeert.
   • Proces: Een binaire ruimtelijke masker die overeenkomt met de doelregio (Europa) werd toegepast op de latente activaties. Relevantie werd terug gepropageerd naar de inputruimte om heatmaps te genereren voor variabelen zoals temperatuur, wind en MSL-druk (zeeniveaudruk).
   • Kwantitatieve Validatie: Een single-shot perturbatietest werd uitgevoerd op de Noord-Atlantische sector. De top 1% van de pixels met de hoogste relevantiescores werd gemaskeerd, en de resulterende voorspellingsdistortieratio ($D$) werd vergeleken met willekeurige masking om de trouw (faithfulness) van de attributie te verifiëren.

Belangrijkste Resultaten

• Latente Organisatie (RQ1): De analyse laat zien dat de latente ruimte van Aurora primair georganiseerd is door seizoenscycli in plaats door specifieke dynamische stormgebeurtenissen.

  • De eerste hoofdcomponent (PC1) legt 24,1% van de totale variantie vast, functionerend als een seizoensas die winter- en zomerregimes met hoge stabiliteit lineair scheidt (cosine similarity van 0,998 in de bootstrap-validatie).
  • Daarentegen vormen extreme stormgebeurtenissen geen lineair scheidbare cluster. Storm- en kalme regimes vertonen overlappende distributies, en de storm-regime PC3 vertoont significante instabiliteit (cosine similarity van 0,650), waarschijnlijk door de ruimtelijke heterogeniteit van individuele cycloonbanen en een beperkte steekproefomvang.

• Attributie en Verticale Structuur (RQ2): De LRP-analyse demonstreert dat het model let op kenmerken die consistent zijn met de 3D verticale structuur van de Grote Storm van 1987.

  • Ruimtelijke Focus: In tegen wege van een baseline waarbij relevantie geografisch vastligt aan statische kenmerken (bijv. topografie), is de relevantie van het model voor de storm nauw geconcentreerd rond de kop van de cycloon en de frontale grenzen.
  • Verticale Coherentie: Verticale analyse laat zien dat oppervlaktewind-activaties bijdragen aan latente features die de bovenste troposfeer (ca. 150 hPa) coderen. Dit suggereert dat het model heeft geleerd om oppervlakte-anomalieën te koppelen aan hun noodzakelijke verticale drijfveren zonder expliciete fysische instructie.
  • Impact van Perturbatie: Het maskeren van de top 1% van de door LRP geïdentificeerde pixels verslechterde de voorspelling (MSE) met een factor van 3,31× meer dan willekeurige masking ($MSE_{LRP} = 5,30 \times 10^4$ vs. $MSE_{rand} = 1,60 \times 10^4$). Dit bevestigt dat de geïdentificeerde kenmerken cruciale drijvers zijn van de inferentie van het model.

Betekenis en Claims
Het artikel claimt dat Aurora verder gaat dan eenvoudige patroonherkenning. Ondanks dat het een puur datagedreven model is, kan het:

1. Seizoensmodi ontwarren in zijn latente ruimte, waarbij atmosferische toestanden worden georganiseerd volgens de jaarlijkse cyclus.
2. Verticale atmosferische structuur coderen, waarbij het succesvol oppervlaktecondities koppelt aan dynamica in de hogere atmosfeer.
3. Fysisch relevante kenmerken prioriteren boven statische geografische shortcuts, zoals aangetoond door de perturbatietests.

Beperkingen
De auteurs erkennen enkele beperkingen:

• De analyse is uitgevoerd op de kleine versie van Aurora vanwege computationele limieten.
• Stormdefinities vertrouwden uitsluitend op scalaire windmagnitude en misten vector-metrieken zoals vorticiteit.
• De latente analyse gebruikte een relatief kleine steekproefomvang, en de overlap in seizoensregimes kan de beperkingen van lineaire PCA bij het oplossen van cyclische topologieën weerspiegelen.
• De attributiestudie richtte zich op één enkel stormgeval, wat duidt op een behoefte aan bredere evaluatie over diverse meteorologische fenomenen.