🤖 machine learning

Scaling Laws of Global Weather Models

Diese Arbeit analysiert empirische Skalierungsgesetze in globalen Wettermodellen und zeigt auf, dass die Leistung maximiert wird, indem breitere Architekturen und größere Trainingsdatensätze gegenüber tieferen Modellen oder erhöhten Parameterzahlen priorisiert werden, wobei rechenoptimale Strategien unter festen Budgets die Datenausweitung bevorzugen.

Ursprüngliche Autoren: Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

Veröffentlicht 2026-06-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, das Wetter vorherzusagen. Seit Jahrzehnten nutzen Wissenschaftler komplexe physikalische Gleichungen, um die Atmosphäre zu simulieren, wie das Betreiben eines riesigen, virtuellen Windkanals. Doch vor kurzem ist ein neuer Ansatz entstanden: Anstatt Physik zu nutzen, verwenden wir „datengetriebene“ Modelle. Diese sind wie superintelligente Schüler, die lernen, das Wetter vorherzusagen, indem sie Millionen von Seiten vergangener Wetterberichte lesen.

Dieses Papier ist ein Studienführer für diese Schüler. Die Forscher fragten: „Wenn wir diesen wetterstudierenden Computern mehr Gehirnschmalz (Parameter), mehr Lehrbücher (Daten) oder mehr Zeit zum Lernen (Rechenleistung) geben, wie viel besser werden sie dann tatsächlich?“

Sie haben fünf verschiedene „Schüler“ getestet (Modelle namens Aurora, GraphCast, Pangu, SFNO und AIFS), um zu sehen, wie sie skalieren. Hier ist, was sie herausgefunden haben, einfach erklärt:

1. Die „Mehr Daten“-Regel: Aurora ist die beste Leserin

In der Welt der Sprachmodelle (wie denen, die Aufsätze schreiben) hilft es zwar, mehr Daten hinzuzufügen, aber es gibt eine Grenze. Die Forscher fanden heraus, dass für Wettermodelle mehr Daten eine Superkraft sind, aber einige Modelle besser darin sind, sie zu lesen als andere.

Die Analogie: Stellen Sie sich zwei Schüler vor, die eine Prüfung ablegen. Der eine (GraphCast) ist sehr klug, liest aber nur wenige Bücher. Die andere (Aurora) ist eine gierige Leserin.
Das Ergebnis: Als sie die Menge der Trainingsdaten um das Zehnfache erhöhten, verbesserte Aurora ihre Vorhersagen um ein massives Ausmaß (um das bis zu 3,2-fache besser). Sie ist am effizientesten darin, Rohdaten in Wetterwissen zu verwandeln. Andere Modelle verbesserten sich ebenfalls, aber nicht so dramatisch.

2. Die „Gehirngrößen“-Regel: GraphCast ist das effiziente Genie

Die Forscher untersuchten auch, wie viel „Gehirnschmalz“ (Parameter) jedes Modell benötigte, um gut zu werden.

Die Analogie: Denken Sie an die Modellgröße als die Größe einer Bibliothek. GraphCast ist wie eine winzige Bibliothek, die irgendwie alles weiß, was sie wissen muss. Sie ist unglaublich effizient; sie braucht kein massives Gebäude, um ihr Wissen zu speichern.
Das Ergebnis: GraphCast ist am „parameter-effizientesten“. Sie erzielt großartige Ergebnisse mit einer relativ kleinen Modellgröße. Es gibt jedoch einen Haken: Obwohl sie klug ist, läuft sie auf Computern langsam, weil sie Informationen auf eine bestimmte Weise verarbeitet (wie ein Genie, das sehr tief nachdenkt, sich aber langsam bewegt).

3. Die „Form“-Überraschung: Breit und flach ist besser

Dies ist die größte Überraschung. In der Welt der Sprachmodelle (wie Chatbots) hilft es normalerweise, ein Modell „tiefer“ zu machen (mehr Denkprozesse hinzuzufügen). Aber für das Wetter spielt Tiefe keine so große Rolle wie Breite.

Die Analogie: Stellen Sie sich vor, Sie bauen ein Haus.
- Tief: Ein Wolkenkratzer mit 50 Stockwerken, aber nur einem Zimmer pro Etage.
- Breit: Ein Bungalow mit nur 2 Etagen, aber 50 Zimmern auf jeder Etage.
Das Ergebnis: Für die Wettervorhersage gewinnt das breite Haus. Die Forscher fanden heraus, dass Modelle mit mehr „Breite“ (mehr Rechenleistung, die gleichzeitig stattfindet) besser abschnitten als Modelle mit mehr „Tiefe“ (mehr Schritte in einer Kette). Selbst Modelle mit nur einem oder zwei Schichten an „Denkprozessen“ funktionierten überraschend gut. Es stellt sich heraus, dass die Vorhersage des Wetters für die nächsten 6 Stunden eher darum geht, einen breiten Blick auf das Gesamtbild zu haben, als viele kleine, tiefe Schritte zu gehen.

4. Die „Budget“-Strategie: Länger studieren, nicht nur größer werden

Wenn Sie ein festes Budget (oder eine feste Rechenleistung) zur Verfügung haben, wie sollten Sie es ausgeben? Sollten Sie ein größeres Gehirn kaufen (mehr Parameter) oder mehr Lehrbücher kaufen (mehr Daten)?

Die Analogie: Sie haben ein Budget für einen Schüler. Stellen Sie einen größeren Professor ein (größeres Modell) oder lassen Sie den aktuellen Professor mehr Jahre lang die Bibliothek studieren (mehr Daten)?
Das Ergebnis: Das Papier sagt: Geben Sie ihnen mehr Daten und lassen Sie sie länger studieren. Unter einem festen Budget ist es besser, ein etwas kleineres Modell auf einer massiven Menge an Daten zu trainieren, als ein riesiges Modell auf wenig Daten zu trainieren. Der „Sweet Spot“ für Wettermodelle liegt darin, das Datenvolumen gegenüber der Modellgröße zu priorisieren.

5. Nicht alle Variablen sind gleichwertig

Die Forscher bemerkten auch, dass die Modelle nicht bei allem im gleichen Tempo besser wurden.

Die Analogie: Stellen Sie sich einen Schüler vor, der fantastisch in Mathematik ist, aber Schwierigkeiten in Geschichte hat.
Das Ergebnis: Einige Wettervariablen (wie die Windgeschwindigkeit) verbesserten sich anders als andere (wie die Temperatur). Ein Modell kann das Beste bei der Vorhersage des Windes sein, aber nur „okay“ bei der Vorhersage der Temperatur. Das bedeutet, man kann nicht einfach nur auf einen Gesamtwert schauen; man muss prüfen, wie das Modell mit jedem spezifischen Teil des Wetters umgeht.

6. Der „Hardware“-Realitätscheck

Schließlich untersuchte das Papier, wie gut diese Modelle tatsächlich auf echten Computern laufen.

Die Analogie: Ein Ferrari-Motor (GraphCast) mag leistungsstark sein, aber wenn er im Stau steht (ineffiziente Hardware-Nutzung), wird er nicht schnell fahren. Ein zuverlässiger Lkw (Aurora) mag kein Ferrari sein, aber er fährt reibungslos und nutzt die Straße effizient aus.
Das Ergebnis: Aurora war unglaublich effizient im Umgang mit der Computerhardware (sie nutzte etwa 36-mal mehr der potenziellen Leistung des Computers als GraphCast). GraphCast war, obwohl klug, sehr verschwenderisch mit den Computerressourcen. Dies deutet darauf darauf hin, dass für den realen Einsatz ein Modell, das auf der Hardware „effizient“ ist, genauso wichtig ist wie ein Modell, das „klug“ ist.

Zusammenfassung

Wenn Sie den besten Wettervorhersager basierend auf diesem Papier bauen wollen:

Gehen Sie breit, nicht tief: Bauen Sie Modelle, die breit und flach sind, nicht hoch und schmal.
Füttern Sie sie mit Daten: Priorisieren Sie die Bereitstellung von mehr Trainingsdaten gegenüber der Vergrößerung des Modells selbst.
Wählen Sie Ihren Champion: Aurora ist großartig darin, aus Daten zu lernen und die Computerleistung effizient zu nutzen. GraphCast ist großartig darin, klein und effizient in Bezug auf die Gehirngröße zu sein, läuft aber auf Computern langsam.
Prüfen Sie die Details: Schauen Sie nicht nur auf den Durchschnittswert; prüfen Sie, wie das Modell spezifische Dinge wie Wind oder Temperatur handhabt, da diese sich unterschiedlich verhalten.

Technisches Resümee: Skalierungsgesetze globaler Wettermodelle

Problemstellung

Datengetriebene Modelle transformieren die Wettervorhersage rasant, doch dem Fachbereich fehlt ein systematisches Verständnis dafür, wie die Modellleistung mit den Schlüsselressourcen skaliert. Während Skalierungsgesetze (Scaling Laws) die Entwicklung von Large Language Models (LLMs) und Vision-Modellen erfolgreich geleitet haben, indem sie Potenzgesetz-Beziehungen zwischen dem Validierungsverlust ( $L$ ) und der Modellgröße ( $N$ ), der Datensatzgröße ( $D$ ) sowie dem Rechenbudget ( $C$ ) etablierten, bleibt ihre Anwendbarkeit auf globale Wettermodelle unverifiziert.

Die Wettervorhersage stellt einzigartige Herausforderungen dar, die sich von NLP und Computer Vision unterscheiden:

Physikalische Randbedingungen: Die Atmosphäre ist ein chaotisches System mit inhärenten Grenzen der Vorhersagbarkeit.
Variablen-Heterogenität: Modelle müssen hunderte korrelierter, aber physikalisch unterschiedlicher Variablen (z. B. Temperatur, Wind, Druck) mit unterschiedlichem Schwierigkeitsgrad vorhersagen.
Architektonische Diversität: Aktuelle State-of-the-Art-Modelle nutzen diverse Backbones (Transformer, Graph Neural Networks, Fourier Neural Operators), und es ist unklar, ob die Skalierungsverhalten über diese Architekturen hinweg konsistent sind.

Die Arbeit adressiert die dringende Notwendigkeit, diese Skalierungsgesetze zu charakterisieren, um die Ressourcenallokation zu optimieren und die Entwicklung der nächsten Generation von Wettermodellen zu leiten.

Methodik

Die Autoren führten die erste modellübergreifende Skalierungsanalyse in der Wettervorhersage durch und benchmarkten fünf State-of-the-Art-Modelle: Aurora, GraphCast, AIFS, Pangu und SFNO.

Experimenteller Aufbau

Daten: Alle Modelle wurden auf dem ERA5-Reanalyse-Datensatz (1979–2020 für das Training, 2021 für die Validierung) via WeatherBench 2 trainiert und evaluiert.
Standardisierung: Um einen fairen Vergleich zu gewährleisten, erzwangen die Autoren eine strikte Einheitlichkeit:
- Identische Input-/Output-Variablen (Geopotential, Temperatur, Windkomponenten, Feuchtigkeit etc.).
- Konsistente räumliche Auflösung ( $0,25^\circ \times 0,25^\circ$ globales Gitter).
- Vereinheitlichte Validierungsverlustfunktion (gewichteter MSE, normiert nach Standardabweichung und Gitterfläche).
- Konsistente Hyperparameter-Optimierung (Learning-Rate-Sweeps, Optimizer-Einstellungen), um stabile Trainingsdynamiken zu gewährleisten.
Variablen: Die Studie variierte systematisch:
- Modellgröße ( $N$ ): Durch Anpassung der Breite (Embedding-Dimension) und Tiefe (Anzahl der Layer/Blöcke).
- Datensatzgröße ( $D$ ): Durch Training auf Teilmengen des gesamten Datenvolumens (von ca. 3 TB bis 90 TB).
- Rechenbudget ( $C$ ): Analysiert über die Beziehung $C \approx N \times D$ (mit modellspezifischen Anpassungen für die Architektur).

Analyse-Framework

Die Autoren passten empirische Potenzgesetze der Form an:

$L(D) = \alpha D^{-\beta}$ (Daten-Skalierung)
$L(N) = \gamma N^{-\delta}$ (Parameter-Skalierung)
$L(C) = \lambda C^{-\epsilon}$ (Rechen-Skalierung)

Sie untersuchten zudem das rechenoptimale Training (den optimalen Trade-off zwischen $N$ und $D$ für ein festes $C$ ) und analysierten die Modellform (Breite vs. Tiefe) sowie die variabelspezifische Leistung.

Zentrale Beiträge und Ergebnisse

1. Effizienz der Daten-Skalierung ( $\beta$ )

Die Studie bestätigt, dass der Validierungsverlust über alle Modelle hinweg Potenzgesetz-Beziehungen mit der Datensatzgröße aufweist.

Aurora zeigt das stärkste Daten-Skalierungsverhalten mit einem Koeffizienten $\beta \approx 0,51$ . Eine Verzehnfachung des Trainingsdatensatzes reduziert den Validierungsverlust um bis zu das 3,2-Fache.
GraphCast weist das niedrigste $\beta$ ( $\approx 0,36$ ) auf, was bedeutet, dass es im Vergleich zu Aurora weniger von massiven Datensatzvergrößerungen profitiert.
Implikation: Aurora ist das effizienteste Modell für die Skalierung mit größeren Datensätzen, während Modelle wie Pangu einen Schwellenwerteffekt zeigen, bei dem die Parameterskalierung erst mit ausreichendem Datenvolumen effektiv wird.

2. Parametereffizienz und Hardware-Auslastung

GraphCast demonstriert die höchste Parametereffizienz (niedrigster Verlust für ein gegebenes $N$ ), leidet jedoch unter schwerwiegenden Problemen bei der Hardware-Auslastung. Auf H100-GPUs nutzt GraphCast nur 1,03 % der Spitzenleistung im Single-Precision-Modus aufgrund von speichergebundenen Message-Passing-Operationen in seiner GNN-Architektur.
Aurora erreicht eine GPU-Auslastung von 37,2 % (ca. $36\times$ höher als GraphCast), was auf seine Transformer-basierten Attention-Mechanismen zurückzuführen ist, die besser für moderne Hardware optimiert sind.
Fazit: Theoretische Parametereffizienz garantiert keine praktische Einsatzfähigkeit; technische Optimierungen und Hardware-Auslastung sind entscheidende Faktoren.

3. Modellform: Breite vs. Tiefe

Im Gegensatz zu den Erkenntnissen aus dem NLP-Bereich (wo die Leistung bei festem $N$ weitgehend unempfindlich gegenüber der Form ist), zeigen Wettermodelle eine starke Präferenz für Breite gegenüber Tiefe.

Über alle fünf Modelle hinweg erreichen breitere Konfigurationen konsistent einen niedrigeren Validierungsverlust als schmalere, tiefere Gegenstücke mit derselben Parameteranzahl.
Sättigung der Tiefe: Modelle wie GraphCast und SFNO performen selbst bei einer Tiefe von 1 gut, was darauf hindeutet, dass die Dynamik der 6-Stunden-Wettervorhersage gut durch lineare Modelle oder flache Architekturen approximiert werden kann und tiefes, nicht-lineares Stacking abnehmende Erträge liefert.
Empfehlung: Zukünftige Modelle sollten die Priorität auf die Erhöhung der Breite (Repräsentationskapazität) statt der Tiefe legen.

4. Rechenoptimale Allokation

Unter einem festen Rechenbudget unterscheidet sich die optimale Strategie für Wettermodelle von der Standard-NLP-Skalierungsregel ( $N \propto C^{0,73}, D \propto C^{0,27}$ ).

Die Analyse zeigt, dass die Allokation von Ressourcen zur Vergrößerung des Trainingsdatensatzes ( $D$ ) größere Leistungssteigerungen erzielt als die Erhöhung der Modellgröße ( $N$ ).
Für ein festes $C$ ist es effektiver, kleinere Modelle über längere Zeiträume (mehr Schritte) zu trainieren, als größere Modelle mit unzureichenden Daten zu trainieren.

5. Variabelspezifische Heterogenität

Das Skalierungsverhalten ist nicht einheitlich über alle atmosphärischen Variablen hinweg.

Aurora erzielt den niedrigsten RMSE für die 10m u-Komponente des Windes (10U).
GraphCast übertrifft andere Modelle bei der 2m-Temperatur (2T), insbesondere bei geringeren Parameterzahlen.
Bedeutung: Ein einzelner gewichteter Validierungsverlust ist nur ein grober Indikator für die Gesamtleistung. Verschiedene Variablen skalieren unterschiedlich, was impliziert, dass das Modelldesign auf spezifische physikalische Felder zugeschnitten oder hybridisiert werden muss.

Signifikanz und Behauptungen

Das Paper beansprucht, den ersten quantitativen Rahmen für die Skalierungsgesetze der atmosphärischen Vorhersage bereitzustellen, wobei es fundamentale Unterschiede zwischen Wettermodellen und Sprachmodellen aufzeigt.

Architektonischer Wandel: Die Erkenntnis, dass Wettermodelle Breite gegenüber Tiefe bevorzugen, stellt die vorherrschenden Transformer-zentrierten Designmuster aus dem NLP infrage.
Ressourcenstrategie: Die Studie argumentiert, dass für die praktische Wettervorhersage die Priorität auf größeren effektiven Trainingsdatensätzen und breiteren Architekturen liegen sollte, anstatt lediglich die Modellparameter zu skalieren.
Technische Realität: Die Arbeit hebt hervor, dass theoretische Skalierungsgesetze durch die Realitäten der Hardware-Auslastung relativiert werden müssen. Ein Modell mit überlegener theoretischer Skalierung (wie GraphCast) kann weniger praktisch sein als ein Modell mit etwas geringerer Skalierungseffizienz, aber wesentlich besserer Hardware-Auslastung (wie Aurora).
Zukünftige Ausrichtung: Die Autoren legen nahe, dass zukünftige Wettermodelle die Breite der Architekturen und die Größe der Datensätze priorisieren sollten, um die Vorhersageleistung zu maximieren, wobei sie gleichzeitig anerkennen, dass eine variabelspezifische Feinabstimmung notwendig sein kann, um die Skalierungsverbesserungen voll auszuschöpfen.

Das Paper kommt zu dem Schluss, dass Skalierungsgesetze zwar über verschiedene Wettermodelle hinweg vorhersagbar sind, die spezifischen Koeffizienten und optimalen Strategien (Breite vs. Tiefe, Daten vs. Parameter) jedoch domänenspezifisch sind und sich vom NLP unterscheiden.