Does Aurora Encode Atmospheric Structure? Latent Regime Analysis and Attribution

Résumé technique : Aurora encode-t-il la structure atmosphérique ? Analyse du régime latent et attribution

Énoncé du problème
Bien que les modèles de fondation d'apprentissage profond (DL) comme Aurora, FourCastNet et GraphCast aient démontré une précision et une efficacité de calcul supérieures à la prévision numérique du temps (NWP) traditionnelle, ils fonctionnent comme des « boîtes noires » opaques. Contrairement à la NWP, qui repose sur des équations physiques explicites, les modèles de DL encodent les états atmosphériques dans des représentations latentes de haute dimension et non interprétables. Cette opacité entrave la confiance opérationnelle, car les météorologues ne peuvent pas vérifier si les prédictions d'un modèle sont physiquement cohérentes ou s'il s'agit simplement du résultat de corrélations spécieuses. Bien que l'IA explicable (XAI) ait été appliquée aux CNN météorologiques, la dynamique interne des modèles transformeurs de fondation à des milliards de paramètres reste largement inexplorée. Plus précisément, on ignore si ces modèles organisent leurs espaces latents par régimes météorologiques distincts (ex. saisons vs tempêtes) ou s'ils peuvent attribuer les prévisions aux structures atmosphériques verticales 3D correctes.

Méthodologie
Les auteurs étudient les représentations internes d'Aurora, un modèle de fondation basé sur une architecture 3D Swin Transformer V2 U-Net pré-entraînée sur des ensembles de données hétérogènes (ERA5, HRES, CMIP6). L'étude aborde deux questions de recherche centrales (RQ) en utilisant le checkpoint AuroraSmallPretrained :

1. Analyse du régime latent (RQ1) : Pour déterminer si l'espace latent est organisé par régimes météorologiques, les auteurs ont appliqué une Analyse en Composantes Principales (ACP) à regroupement spatial sur la carte de caractéristiques latentes du goulot d'étranglement ($Z$) du modèle.

   • Données : Données de la saison des ouragans 2005 sur les États-Unis, filtrées pour les événements de tempêtes extrêmes ($v_{max} \ge 24,0$ m/s) et les conditions calmes ($v_{max} \le 15,0$ m/s), ainsi que des segments saisonniers.
   • Technique : Des vecteurs de descripteurs statistiques (moyenne, écart-type, RMS) ont été calculés pour des régions à regroupement spatial. La décomposition en valeurs singulières (SVD) a été utilisée pour identifier les modes de variation dominants.
   • Validation : Le rééchantillonnage par bootstrap ($N=1000$) a été employé pour quantifier la stabilité des vecteurs propres et s'assurer que les motifs observés n'étaient pas des artefacts de la taille de l'échantillon.

2. Attribution locale et structure verticale (RQ2) : Pour déterminer si le modèle isole des systèmes de tempêtes spécifiques et reflète leur structure 3D, les auteurs ont appliqué la Propagation de la Pertinence par Couche (LRP) à la « Grande Tempête de 1987 ».

   • Adaptation : La méthode LRP a été adaptée au squelette Swin V2 en enveloppant le mécanisme d'auto-attention à fenêtres décalées afin de préserver le graphe de calcul lors des décalages spatiaux cycliques (torch.roll), garantissant ainsi la conservation de la pertinence.
   • Processus : Un masque spatial binaire correspondant à la région cible (Europe) a été appliqué aux activations latentes. La pertinence a été propagée vers l'arrière vers l'espace d'entrée pour générer des cartes de chaleur pour des variables telles que la température, le vent et la pression du niveau moyen de la mer (MSL).
   • Validation quantitative : Un test de perturbation unique a été réalisé sur le secteur de l'Atlantique Nord. Les 1 % de pixels ayant les scores de pertinence les plus élevés ont été masqués, et le rapport de distorsion de la prévision ($D$) résultant a été comparé à un masquage aléatoire pour vérifier la fidélité de l'attribution.

Résultats clés

• Organisation latente (RQ1) : L'analyse révèle que l'espace latent d'Aurora est principalement organisé par cycles saisonniers plutôt que par des événements de tempêtes dynamiques spécifiques.

  • La première composante principale (PC1) capture 24,1 % de la variance totale, fonctionnant comme un axe saisonnier qui sépare linéairement les régimes hivernaux et estivaux avec une grande stabilité (similarité cosinus de 0,998 lors de la validation par bootstrap).
  • Inversement, les événements de tempêtes extrêmes ne forment pas un groupe linéairement séparable. Les régimes de tempête et de calme présentent des distributions qui se chevauchent, et la PC3 du régime de tempête montre une instabilité significative (similarité cosinus de 0,650), probablement due à l'hétérogénéité spatiale des trajectes cycloniques individuelles et à la taille limitée de l'échantillon.

• Attribution et structure verticale (RQ2) : L'analyse LRP démontre que le modèle prête attention à des caractéristiques cohérentes avec la structure verticale 3D de la Grande Tempête de 1987.

  • Focus spatial : Contrairement à une ligne de base où la pertinence est géographiquement verrouillée sur des caractéristiques statiques (ex. topographie), la pertinence du modèle pour la tempête est étroitement localisée sur la tête du cyclone et les fronts.
  • Cohérence verticale : L'analyse verticale montre que les activations du vent de surface contribuent aux caractéristiques latentes codant la haute troposphère (environ 150 hPa). Cela suggère que le modèle a appris à lier les anomalies de surface à leurs moteurs verticaux nécessaires sans instruction physique explicite.
  • Impact de la perturbation : Le masquage des 1 % de pixels identifiés par LRP a dégradé la prévision (MSE) d'un facteur de 3,31× par rapport au masquage aléatoire ($MSE_{LRP} = 5,30 \times 10^4$ vs. $MSE_{rand} = 1,60 \times 10^4$). Cela confirme que les caractéristiques identifiées sont des moteurs critiques de l'inférence du modèle.

Signification et affirmations
L'article affirme qu'Aurora va au-delà de la simple reconnaissance de formes. Malgré son caractère purement piloté par les données, le modèle :

1. Démêle les modes saisonniers dans son espace latent, organisant les états atmosphériques selon le cycle annuel.
2. Encode la structure atmosphérique verticale, liant avec succès les conditions de surface à la dynamique de la haute atmosphère.
3. Priorise les caractéristiques physiquement pertinentes plutôt que les raccourcis géographiques statiques, comme le prouvent les tests de perturbation.

Limites
Les auteurs reconnaissent plusieurs contraintes :

• L'analyse a été réalisée sur la version réduite d'Aurora en raison de limites de calcul.
• Les définitions de tempêtes reposaient uniquement sur l'amplitude scalaire du vent, sans métriques vectorielles comme la vorticité.
• L'analyse latente a utilisé un échantillon relativement petit, et le chevauchement des régimes saisonniers peut refléter les limitations d'une ACP linéaire pour résoudre des topologies cycliques.
• L'étude d'attribution s'est concentrée sur un seul cas de tempête, suggérant la nécessité d'une évaluation plus large à travers divers phénomènes météorologiques.