Auditing how an AI weather model uses lower-stratospheric and moisture information: structure-destroying interventions in GraphCast

La prévision météorologique est depuis longtemps le domaine de supercalculateurs massifs résolvant des équations complexes qui décrivent comment l'air se déplace, se réchauffe et se refroidit. Ces dernières années, un nouveau type de prévisionniste météorologique a émergé, qui ne résout pas ces équations mais apprend plutôt à prédire l'avenir en étudiant de vastes archives de données météorologiques passées. Ces modèles d'intelligence artificielle, comme un modèle appelé GraphCast, sont devenus remarquablement précis, rivalisant avec les systèmes traditionnels basés sur la physique qui guident la météorologie depuis des décennies. Cependant, parce que ces modèles d'IA apprennent des motifs plutôt que de suivre des lois physiques explicites, une question cruciale demeure : comprennent-ils réellement la physique de l'atmosphère, ou trouvent-ils simplement des raccourcis dans les données ? Pour répondre à cela, les scientifiques doivent regarder à l'intérieur de la « boîte noire » du modèle pour voir exactement quelles informations il utilise pour faire ses prédictions. Deux parties spécifiques de l'atmosphère sont d'un intérêt particulier : la basse stratosphère, la couche d'air située juste au-dessus des systèmes météorologiques que nous expérimentons, et la teneur en humidité de l'air, qui alimente les tempêtes et façonne les modèles climatiques.

Une étude récente s'est donné pour mission d'auditer la manière dont GraphCast utilise les informations provenant de ces deux régions. Les chercheurs ont traité le modèle d'IA comme un laboratoire virtuel, exécutant des milliers de prévisions simulées où ils ont délibérément modifié les données d'entrée pour voir comment le modèle réagissait. Ils se sont concentrés sur une version spécifique du modèle qui observe l'atmosphère jusqu'à une hauteur de 50 hPa, ce qui inclut la basse stratosphère. Pour tester l'importance de la basse stratosphère, les chercheurs ont réalisé une série d'expériences où ils ont remplacé les motifs météorologiques détaillés et tourbillonnants de cette couche supérieure par une version lissée et moyennée qui ne contenait aucune structure spécifique. Ils ont également essayé de remplacer les données réelles par du bruit aléatoire ou par des motifs météorologiques d'une année différente. L'objectif était de voir si les prévisions du modèle pour la météo en dessous s'effondreraient sans la structure spécifique et organisée de l'air au-dessus, ou s'il ignorerait simplement cette couche.

Les résultats ont révélé que le modèle prête une attention particulière à la structure organisée de la basse stratosphère. Lorsque les chercheurs ont supprimé les tourbillons et les ont remplacés par une moyenne lissée, la prévision du modèle pour la hauteur de la surface de pression à 500 hPa — une mesure standard des modèles météorologiques dans les latitudes moyennes — a dévié de manière significative de sa performance normale. Après cinq jours, cette déviation a atteint 55 mètres, une erreur substantielle en termes météorologiques. Crucialement, le modèle a réagi beaucoup plus fortement à cette perte de structure qu'au bruit aléatoire et incohérent qui possédait la même énergie globale. Cela suggère que le modèle ne se contente pas de détecter la chaleur ou la froideur générale de l'air supérieur, mais suit spécifiquement les tourbillons cohérents et équilibrés de l'atmosphère. Curieusement, le modèle a traité une moyenne climatologique lisse de l'atmosphère supérieure de la même manière qu'un motif météorologique réel mais erroné provenant d'une autre année ; les deux ont causé des erreurs similaires. Cela implique que, pour le modèle, avoir une structure réaliste mais incorrecte est aussi dommageable que de n'avoir aucune structure du tout.

L'étude a également comparé l'influence de l'atmosphère supérieure à l'influence de l'atmosphère moyenne, là où la majeure partie de la météo se produit. Lorsque les chercheurs ont introduit des perturbations d'une intensité égale dans les couches moyennes par rapport aux couches supérieures, les couches moyennes ont eu un effet immédiat beaucoup plus fort sur la prévision. Cependant, l'influence des couches supérieures n'était pas négligeable, et il a été constaté qu'elle était la plus significative pendant les mois d'hiver dans l'hémisphère Nord. Cela concorde avec la compréhension selon laquelle la connexion entre la stratosphère et la météo en dessous est la plus forte lorsque le courant-jet polaire est actif. Les chercheurs ont découvert que le modèle utilise cette information de haute altitude pour façonner les systèmes météorologiques à grande échelle qui se déplacent à travers les continents, plutôt que de simplement réagir aux conditions locales.

Dans un second ensemble d'expériences, l'équipe a étudié la manière dont le modèle gère l'humidité. Ils ont systématiquement asséché ou humidifié l'ensemble de l'atmosphère dans leurs simulations, modifiant à la hausse ou à la baisse la quantité de vapeur d'eau à tous les niveaux. Ils ont trouvé une réponse claire et graduée : l'assèchement de l'air affaiblissait l'intensité des systèmes météorologiques, tandis que l'ajout d'humidité les renforçait. Ce comportement correspondait aux attentes physiques, car la libération de chaleur lorsque la vapeur d'eau se transforme en pluie est un moteur principal des tempêtes. Pour s'assurer qu'il s'agissait d'une réponse physique réelle et non d'un artefact du modèle, ils ont comparé cela à une expérience de contrôle où ils ont ajouté un bruit de température aléatoire de même force mathématique. Le bruit de température a provoqué un échec catastrophique du modèle, entraînant les taux de précipitations vers des nombres négatifs impossibles et détruisant la compétence de la prévision. En revanche, les changements d'humidité ont produit une réaction sensible et proportionnelle, confirmant que le modèle a appris une relation robuste entre l'humidité et l'intensité des tempêtes.

L'étude a également mis en lumière une asymétrie fascinante dans la manière dont le modèle se rétablit de ces changements. Lorsque l'atmosphère a été asséchée, le modèle a mis beaucoup de temps à restaurer l'humidité manquante, le déficit s'estompant lentement sur plusieurs jours. Cependant, lorsque l'atmosphère est devenue trop humide, le modèle a corrigé l'excès beaucoup plus rapidement, éliminant le surplus d'humidité en quelques heures grâce à une explosion de pluie simulée. Malgré ce nettoyage rapide, environ un tiers de l'humidité supplémentaire persistait même après dix jours, suggérant que si le modèle est bon pour réagir aux conditions humides, il conserve une mémoire persistante de l'excès. Ces découvertes fournissent une carte claire de la manière dont un modèle de météo par IA de pointe traite l'information, montrant qu'il s'appuie sur la structure spécifique de l'atmosphère supérieure et maintient une relation réaliste, bien qu'imparfaite, avec l'humidité mondiale. En prouvant que le modèle utilise ces indices physiques de manière structurée, la recherche offre une nouvelle méthode pour auditer l'intelligence artificielle, garantissant que ces outils puissants ne font pas que mémoriser le passé, mais apprennent les règles qui régissent notre météo.