Gradient-free online learning of subgrid-scale dynamics with neural emulators

Stellen Sie sich vor, Sie versuchen, das Wetter oder die Meeresströmungen mithilfe einer riesigen Computersimulation vorherzusagen. Diese Simulationen sind wie massive digitale Karten der Erde, aber sie haben ein Problem: Sie sind zu grob, um die winzigen, wirbelnden Details wie einen einzelnen Regentropfen oder einen kleinen Strudel zu sehen. Um dies zu beheben, verwenden Wissenschaftler „Abkürzungen“ namens Parametrisierungen. Denken Sie an das geheime Rezept eines Kochs für eine Sauce; der Koch weiß, dass die Sauce auf eine bestimmte Weise schmecken sollte, also fügt er eine Prise von dies und eine Prise von dem hinzu, ohne jedes einzelne Zutaten aus dem Grund heraus kochen zu müssen. In Klimamodellen stellen diese Abkürzungen die winzigen, schnell beweglichen physikalischen Prozesse dar, die der Computer nicht direkt sehen kann.

Lange Zeit versuchten Wissenschaftler, den Computern beizubringen, diese Abkürzungen besser zu machen, indem sie ihnen den „Lösungsschlüssel“ zeigten (wie die winzige Physik aussehen sollte) und den Computer raten ließen. Dies nennt man „Offline“-Lernen. Aber das ist so, als würde man einem Fahrer nur zeigen, wie man fährt, indem man ihm Bilder einer Straße zeigt; wenn er dann tatsächlich hinter dem Steuer sitzt, kracht er, weil er nicht gelernt hat, wie sich das Auto während der Fahrt anfühlt. Der bessere Weg ist das „Online“-Lernen, bei dem der Computer lernt, während er fährt, indem er seine Abkürzungen in Echtzeit anpasst, basierend darauf, wie sich die Simulation verhält. Es gibt jedoch einen Haken: Der reale Computercode, der für das Wetter verwendet wird, ist wie eine Black Box aus altem, starrem Metall aufgebaut. Man kann nicht einfach hineinblicken, um zu sehen, wie eine winzige Änderung das gesamte System beeinflusst, was das „Online“-Lernen mit Standardwerkzeugen unmöglich macht.

Dieses Paper führt einen cleveren Umweg ein: einen „Geisterfahrer“ oder einen neuronalen Emulator. Die Autoren bauten eine separate, glatte und flexible KI, die das Verhalten des starren, alten Computercodes nachahmt. Dieser Geisterfahrer ist leicht zu durchschauen und zu verstehen. Sie nutzen diesen Geist, um das Rezept der Abkürzung (die Parametrisierung) zu lehren, wie man in Echtzeit fährt. Sobald die Rezeptur mithilfe des Geistes gelernt wurde, tauschen sie sie wieder in das echte, starre Auto aus. Das Ergebnis ist eine Abkürzung, die fast so gut funktioniert, als hätte sie am echten Auto trainiert worden, ohne dass man das Auto aufbrechen musste.

---

Das Problem: Die Black Box und das fehlende Bindeglied

Klimawissenschaftler versuchen, bessere Modelle zu bauen, um unseren sich verändernden Planeten vorherzusagen. Diese Modelle sind im Wesentlichen riesige mathematische Gleichungen, die simulieren, wie Luft und Wasser sich bewegen. Aber Computer können nicht jedes einzelne Luftmolekül berechnen; sie müssen sie in große Blöcke gruppieren. Das bedeutet, dass sie die winzigen, chaotischen Wirbel übersehen, die zwischen den Blöcken stattfinden. Um diese Lücken zu füllen, verwenden sie Subgrid-Scale (SGS)-Modelle – im Grunde gebildete Vermutungen darüber, was die winzigen Wirbel gerade tun.

Traditionell trainierten Wissenschaftler diese Vermutungen mit einem „Offline“-Ansatz. Sie ließen eine superdetaillierte Simulation (die „Wahrheit“ laufen, zerschnitten sie in große Blöcke und trainierten dann ein Machine-Learning-Modell, um die fehlenden Wirbel basierend auf den Blöcken zu erraten. Es ist, als würde man versuchen, Fußball zu lernen, indem man sich nur Highlight-Reels von Toren ansieht, aber niemals tatsächlich auf dem Spielfeld rennt. Während dies für Statistiken ganz gut funktioniert, führt es oft zu instabilen Simulationen, die abstürzen oder wildes, unrealistisches Wetter erzeugen, wenn sie über lange Zeiträume laufen.

Der „Online“-Ansatz ist der Goldstandard. Hier lernt das Machine-Learning-Modell, während es die Simulation ausführt. Es sieht, wie seine eigenen Vermutungen die Zukunft des Wetters beeinflussen, und passt sich selbst an, um die Simulation stabil zu halten. Das Problem? Der Computercode, der für echte Klimamodelle verwendet wird, ist oft in alten Sprachen (wie Fortran) geschrieben und so komplex, dass er eine „nicht-differenzierbare“ Black Box ist. In einfachen Worten: Man kann nicht einfach berechnen, wie eine winzige Änderung in den Einstellungen des Modells durch das gesamte System fließt, um das Endergebnis zu beeinflussen. Ohne die Fähigkeit, diese Wellen (Gradienten) nachzuverfolgen, ist das Standard-Online-Lernen unmöglich.

Die Lösung: Der „Geisterfahrer“

Die Autoren, angeführt von Hugo Frezat, schlugen eine kreative Lösung vor: neuronale Emulation. Anstatt zu versuchen, den alten, starren Code flexibel zu machen, bauten sie einen neuen, flexiblen KI-„Emulator“, der das Verhalten des alten Codes nachahmt.

Stellen Sie sich den echten Klimalöser wie eine schwere, altmodische Dampfmaschine vor. Sie funktioniert großartig, aber man kann nicht einfach in die Zahnräder hineinsehen, um zu verstehen, wie man sie anpassen kann. Die Autoren bauten eine „Geistermaschine“ – ein neuronales Netzwerk, das exakt wie die Dampfmaschine agiert, aber aus glattem, flexiblem Kunststoff besteht. Da diese Geistermaschine mit modernen KI-Werkzeugen gebaut wurde, können Sie die Zahnräder sehen und genau berechnen, wie Sie sie anpassen müssen.

Sie verwendeten einen zweistufigen Trainingsprozess, um dies zu ermöglichen:

1. Schritt 1: Den Geist trainieren. Zuer Sie zuerst die Geistermaschine, um die echte Dampfmaschine nachzuahmen. Sie fütterten sie mit Daten der echten Maschine und passten den Geist an, bis er die Bewegungen der Maschine perfekt reproduzieren konnte.
2. Schritt 2: Die Abkürzung trainieren. Als Nächstes nutzten sie den Geist, um die „Abkürzung“ (das SGS-Modell) zu trainieren. Da der Geist flexibel ist, konnten sie Online-Lerntechniken verwenden, um der Abkürzung beizubringen, wie sie sich während der Interaktion mit der Geistermaschine verhalten soll.

Entscheidend war, dass sie erkannten, dass wenn sie den Geist und die Abkürzung gleichzeitig trainieren würden, die Abkürzung einfach lernen würde, die Fehler des Geistes zu kompensieren. Um dies zu verhindern, trainierten sie beide getrennt. Sie führten auch einen speziellen Trick ein: Anstatt der Abkürzung nur zu sagen: „Sorge dafür, dass das Wetter richtig aussieht“, sagten sie ihr: „Sorge dafür, dass die winzigen Wirbel richtig aussehen“. Dies verhinderte, dass die Abkürzung versehentlich Fehler in der Geistermaschine korrigierte, die sie gar nicht korrigieren sollte.

Die Ergebnisse: Eine stabile Fahrt

Das Team testete diese Methode an zwei verschiedenen Systemen. Zuerst verwendeten sie ein vereinfachtes, chaotisches System namens Lorenz-96, das wie ein Spielzeugmodell der Atmosphäre mit schnellen und langsamen Teilen ist. Sie fanden heraus, dass ihre Methode eine Abkürzung hervorbrachte, die fast so gut war wie das „perfekte“ Online-Training, ohne dass der ursprüngliche Code modifiziert werden musste.

Dann gingen sie zu einem komplexeren Test über: einem quasi-geostrophischen System, das die wirbelnden Winde und Strömungen des Ozeans und der Atmosphäre simuliert. Dies ist ein notorisch schwieriges Problem, da die winzigen Wirbel entweder die Dinge beruhigen oder sie in das Chaos explodieren lassen können.

In diesen Simulationen verglichen sie ihre neue Methode mit älteren Techniken:

• Das „Offline“-Modell: Dieses Modell lernte aus einem statischen Datensatz. Es versagte schnell und verursachte Abstürze der Simulation, da sich die Energie unkontrolliert aufbaute.
• Das „State Loss“-Modell: Dieses Modell versuchte zu lernen, indem es das große Ganze betrachtete (den allgemeinen Wetterzustand). Es war instabil und erzeugte wilde Oszillationen.
• Das „Subgrid Loss“-Modell (Der Gewinner): Dieses Modell, das mit der zweistufigen Methode der Autoren trainiert wurde und sich auf die winzigen Wirbel konzentrierte, blieb 250 Mal länger stabil als die Trainingsperiode. Es reproduzierte erfolgreich die Energiemuster und die Stabilität des „perfekten“ Online-Modells, obwohl es die internen Zahnräder des ursprünglichen, starren Codes nie gesehen hatte.

Was das bedeutet

Das Paper legt nahe, dass wir die massiven, jahrzehntealten Klimacodes nicht umschreiben müssen, um moderne KI zu nutzen. Stattdessen können wir eine „Geisterversion“ des Codes bauen, die die schwere Arbeit des Trainings übernimmt. Dies öffnet die Tür zum Training viel stabilerer und genauerer Klimamodelle, die jahrelang laufen können, ohne abzustürzen.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies noch kein Zauberstab ist. Die „Geistermaschine“ ist nicht perfekt; sie weist kleine Fehler auf. In ihren Tests führten diese kleinen Fehler manchmal zu leichten Ungenauigkeiten in den großräumigen Wettermustern, obwohl die winzigen Details punktgenau waren. Sie schlagen vor, dass zukünftige Arbeiten die Geistermaschinen noch besser machen müssen, indem sie sie beispielsweise lehren, sich auf spezifische großräumige Merkmale wie Windgeschwindigkeiten zu konzentrieren, nicht nur auf die wirbelnde Vortizität.

Letztendlich bietet diese Forschung einen vielversprechenden Weg nach vorn: einen Weg, die Brücke zwischen der starren, bewährten Physik der Vergangenheit und dem flexiblen, leistungsstarken Lernen der Zukunft zu schlagen, ohne dabei den Motor auseinandernehmen zu müssen.