Auditing how an AI weather model uses lower-stratospheric and moisture information: structure-destroying interventions in GraphCast

Die Wettervorhersage war lange Zeit das Terrain massiver Supercomputer, die komplexe Gleichungen lösen, welche beschreiben, wie sich die Luft bewegt, aufheizt und abkühlt. In den letzten Jahren ist eine neue Art von Wettervorhersager entstanden, die diese Gleichungen nicht löst, sondern stattdessen lernt, die Zukunft vorherzusagen, indem sie riesige Archive vergangener Wetterdaten studiert. Diese Modelle der künstlichen Intelligenz, wie etwa eines Modells namens GraphCast, sind bemerkenswert genau geworden und stehen den traditionellen, physikbasierten Systemen, die die Meteorologie seit Jahrzehnten leiten, in nichts nach. Da diese KI-Modelle jedoch Muster lernen, anstatt expliziten physikalischen Gesetzen zu folgen, bleibt eine entscheidende Frage: Verstehen sie tatsächlich die Physik der Atmosphäre oder finden sie lediglich Abkürzungen in den Daten? Um dies zu beantworten, müssen Wissenschaftler in die „Black Box“ des Modells blicken, um zu sehen, auf welche Informationen es sich genau stützt, um seine Vorhersagen zu treffen. Zwei spezifische Teile der Atmosphäre sind von besonderem Interesse: die untere Stratosphäre, die Luftschicht direkt über den Wetterlagen, die wir erleben, und der Feuchtigkeitsgehalt in der Luft, der Stürme befeuert und Klimamuster formt.

Eine aktuelle Studie setzte sich zum Ziel zu prüfen, wie GraphCast Informationen aus diesen beiden Regionen nutzt. Die Forscher behandelten das KI-Modell wie ein virtuelles Labor, in dem sie Tausende von simulierten Vorhersagen durchführten, bei denen sie die Eingangsdaten absichtlich veränderten, um zu sehen, wie das Modell reagierte. Sie konzentrierten sich auf eine spezifische Version des Modells, die die Atmosphäre bis zu einer Höhe von 50 hPa betrachtet, was die untere Stratosphäre einschließt. Um die Bedeutung der unteren Stratosphäre zu testen, führten die Forscher eine Reihe von Experimenten durch, bei denen sie die detaillierten, wirbelnden Wetterlagen in dieser oberen Schicht durch eine glatte, gemittelte Version ersetzten, die keine spezifischen Strukturen enthielt. Sie versuchten auch, die realen Daten durch zufälliges Rauschen oder durch Wetterlagen aus einem anderen Jahr zu ersetzen. Das Ziel war zu sehen, ob die Wettervorhersagen des Modells für die darunter liegende Wetterlage zusammenbrechen würden, wenn die spezifische, organisierte Struktur der oberen Luft fehlt, oder ob das Modell diese Schicht einfach ignorieren würde.

Die Ergebnisse zeigten, dass das Modell der organisierten Struktur der unteren Stratosphäre große Aufmerksamkeit schenkt. Als die Forscher die wirbelnden Wirbel entfernten und durch einen glatten Durchschnitt ersetzten, wich die Vorhersage des Modells für die Höhe der Druckfläche bei 500 hPa – ein Standardmaß für Wetterlagen in den mittleren Breiten – signifikant von ihrer normalen Leistung ab. Nach fünf Tagen wuchs diese Abweichung auf 55 Meter an, was meteorologisch gesehen einen erheblichen Fehler darstellt. Entscheidend war, dass das Modell viel stärker auf diesen Verlust an Struktur reagierte als auf zufälliges, inkohärentes Rauschen, das die gleiche Gesamtenergie besaß. Dies deutet darauf hin, dass das Modell nicht nur die allgemeine Wärme oder Kälte der oberen Luft wahrnimmt, sondern gezielt die kohärenten, ausgewogenen Wirbel der Atmosphäre verfolgt. Interessanterweise behandelte das Modell einen glatten, klimatologischen Durchschnitt der oberen Atmosphäre genauso wie ein reales, aber falsches Wettermuster aus einem anderen Jahr; beides verursachte ähnliche Fehler. Dies impliziert, dass für das Modell eine realistische, aber falsche Struktur genauso schädlich ist wie das völlige Fehlen einer Struktur.

Die Studie verglich auch den Einfluss der oberen Atmosphäre mit dem Einfluss der mittleren Atmosphäre, in der das meiste Wetter stattfindet. Als die Forscher Störungen gleicher Stärke in den mittleren Schichten im Vergleich zu den oberen Schichten einführten, hatten die mittleren Schichten einen viel stärkeren unmittelbaren Effekt auf die Vorhersage. Dennoch war der Einfluss der oberen Schichten nicht vernachlässigbar, und es wurde festgestellt, dass er während der Wintermonate auf der Nordhalbkugel am bedeutendsten war. Dies deckt sich mit dem Verständnis, dass die Verbindung zwischen der Stratosphäre und dem Wetter darunter am stärksten ist, wenn der polare Jetstream aktiv ist. Die Forscher fanden heraus, dass das Modell diese Informationen aus der oberen Schicht nutzt, um großräumige Wettersysteme zu formen, die sich über Kontinente bewegen, anstatt nur auf lokale Bedingungen zu reagieren.

In einem zweiten Satz von Experimenten untersuchte das Team, wie das Modell mit Feuchtigkeit umgeht. Sie trockneten oder befeuchteten die gesamte Atmosphäre in ihren Simulationen systematisch, indem sie die Menge an Wasserdampf über alle Ebenen hinweg hoch- oder herunterskalierten. Sie stellten eine klare, abgestufte Reaktion fest: Das Austrocknen der Luft schwächte die Intensität der Wettersysteme, während die Zugabe von Feuchtigkeit sie stärkte. Dieses Verhalten entsprach den physikalischen Erwartungen, da die Freisetzung von Wärme, wenn Wasserdampf zu Regen wird, ein primärer Motor für Stürme ist. Um sicherzustellen, dass dies eine echte physikalische Reaktion und kein Artefakt des Modells war, verglichen sie es mit einem Kontrollexperiment, bei dem sie zufälliges Temperaturrauschen der gleichen mathematischen Stärke hinzufügten. Das Temperaturrauschen führte dazu, dass das Modell katastrophal versagte, die Niederschlagsraten in unmögliche negative Zahlen trieb und die Vorhersageleistung zerstörte. Im Gegensatz dazu erzeugten die Änderungen der Feuchtigkeit eine sinnvolle, proportionale Reaktion, was bestätigte, dass das Modell eine robuste Beziehung zwischen Luftfeuchtigkeit und Sturmintensität gelernt hat.

Die Studie deckte auch eine faszinierende Asymmetrie in der Art und Weise auf, wie das Modell auf diese Veränderungen reagiert. Als die Atmosphäre ausgetrocknet wurde, brauchte das Modell lange, um die fehlende Feuchtigkeit wiederherzustellen, wobei das Defizit über mehrere Tage langsam abklang. Wenn die Atmosphäre jedoch zu feucht gemacht wurde, korrigierte das Modell den Überschuss viel schneller und entfernte die überschüssige Feuchtigkeit innerhalb weniger Stunden durch einen simulierten Regenschauer. Trotz dieser schnellen Bereinigung blieben etwa ein Drittel der überschüssigen Feuchtigkeit auch nach zehn Tagen bestehen, was darauf hindeutet, dass das Modell zwar gut darin ist, auf feuchte Bedingungen zu reagieren, aber ein anhaltendes Gedächtnis für den Überschuss behält. Diese Erkenntnisse liefern eine klare Karte darüber, wie ein führendes KI-Wettermodell Informationen verarbeitet, und zeigen, dass es sich auf die spezifische Struktur der oberen Atmosphäre stützt und eine realistische, wenn auch unvollkommene Beziehung zur globalen Feuchtigkeit pflegt. Indem sie beweisen, dass das Modell diese physikalischen Hinweise auf eine strukturierte Weise nutzt, bietet die Forschung eine neue Methode zur Prüfung künstlicher Intelligenz und stellt sicher, dass diese leistungsstarken Werkzeuge nicht nur die Vergangenheit auswendig lernen, sondern die Regeln erlernen, die unser Wetter bestimmen.