🤖 machine learning

Scaling Laws of Global Weather Models

Este artículo analiza las leyes de escala empíricas en los modelos meteorológicos globales, revelando que el rendimiento se maximiza al priorizar arquitecturas más anchas y conjuntos de datos de entrenamiento más grandes sobre modelos más profundos o un mayor recuento de parámetros, con estrategias computacionalmente óptimas que favorecen la expansión de datos bajo presupuestos fijos.

Autores originales: Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

Publicado 2026-06-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a una computadora a predecir el clima. Durante décadas, los científicos han utilizado complejas ecuaciones de física para simular la atmósfera, como si se ejecutara un gigantesco túnel de viento virtual. Pero recientemente, ha surgido un nuevo enfoque: en lugar de la física, utilizamos modelos "basados en datos". Estos son como estudiantes superinteligentes que aprenden a predecir el clima simplemente leyendo millones de páginas de informes meteorológicos pasados.

Este documento es una guía de estudio para esos estudiantes. Los investigadores se preguntaron: "Si le damos a estas computadoras que estudian el clima más capacidad cerebral (parámetros), más libros de texto (datos) o más tiempo para estudiar (cómputo), ¿cuánto mejor se vuelven realmente?"

Probaron cinco "estudiantes" diferentes (modelos llamados Aurora, GraphCast, Pangu, SFNO y AIFS) para ver cómo escalan. Esto es lo que encontraron, explicado de forma sencilla:

1. La regla de "Más Datos": Aurora es la mejor lectora

En el mundo de los modelos de lenguaje (como los que escriben ensayos), añadir más datos ayuda, pero hay un límite. Los investigadores descubrieron que para los modelos climáticos, más datos es un superpoder, pero algunos modelos son mejores leyendo que otros.

La analogía: Imagina a dos estudiantes tomando un examen. Uno (GraphCast) es muy inteligente pero lee pocos libros. El otro (Aurora) es un lector voraz.
El hallazgo: Cuando aumentaron la cantidad de datos de entrenamiento 10 veces, Aurora mejoró sus predicciones de forma masiva (hasta 3.2 veces mejor). Es la más eficiente convirtiendo datos brutos en conocimiento meteorológico. Otros modelos también mejoraron, pero no de forma tan dramática.

2. La regla del "Tamaño del Cerebro": GraphCast es el genio eficiente

Los investigadores también observaron cuánta "capacidad cerebral" (parámetros) necesitaba cada modelo para ser bueno.

La analogía: Piensa en el tamaño del modelo como el tamaño de una biblioteca. GraphCast es como una biblioteca pequeña que, de alguna manera, sabe todo lo que necesita saber. Es increíblemente eficiente; no necesita un edificio masivo para almacenar su conocimiento.
El hallazgo: GraphCast es el más "eficiente en parámetros". Logra grandes resultados con un tamaño de modelo relativamente pequeño. Sin embargo, hay un detalle: aunque es inteligente, es lento de ejecutar en computadoras debido a la forma en que procesa la información (como un genio que piensa mucho pero se mueve lentamente).

3. La sorpresa de la "Forma": Ancho y bajo es mejor

Esta es la mayor sorpresa. En el mundo de los modelos de lenguaje (como los chatbots), hacer un modelo más "profundo" (añadir más capas de pensamiento) suele ayudar. Pero para el clima, la profundidad no importa tanto como la anchura.

La analogía: Imagina construir una casa.
- Profunda: Construir un rascacielos con 50 pisos, pero con una sola habitación por piso.
- Ancha: Construir una casa de un solo nivel con solo 2 pisos, pero con 50 habitaciones en cada uno.
El hallazgo: Para la predicción del clima, la casa ancha gana. Los investigadores descubrieron que los modelos con más "anchura" (más potencia de procesamiento ocurriendo al mismo tiempo) funcionaron mejor que los modelos con más "profundidad" (más pasos en una cadena). Incluso los modelos con solo uno o dos niveles de "pensamiento" funcionaron sorprendentemente bien. Resulta que predecir el clima para las próximas 6 horas tiene más que ver con tener una visión amplia de todo el panorama que con dar muchos pasos pequeños y profundos.

4. La estrategia del "Presupuesto": Estudia más tiempo, no solo seas más grande

Si tienes una cantidad fija de dinero (o potencia de cómputo) para gastar, ¿cómo deberías gastarlo? ¿Deberías comprar un cerebro más grande (más parámetros) o comprar más libros de texto (más datos)?

La analogía: Tienes un presupuesto para un estudiante. ¿Contratas a un profesor más grande (modelo más grande) o le das al profesor actual más años para estudiar la biblioteca (más datos)?
El hallño: El artículo dice: dales más datos y deja que estudien más tiempo. Bajo un presupuesto fijo, es mejor entrenar un modelo ligeramente más pequeño con una cantidad masiva de datos que entrenar un modelo enorme con pocos datos. El "punto ideal" para los modelos climáticos es priorizar el volumen de datos sobre el tamaño del modelo.

5. No todas las variables son iguales

Los investigadores también notaron que los modelos no mejoran en todo a la misma velocidad.

La analogía: Imagina a un estudiante que es increíble en matemáticas pero tiene dificultades con la historia.
El hallazgo: Algunas variables meteorológicas (como la velocidad del viento) mejoraron de forma diferente a otras (como la temperatura). Un modelo puede ser el mejor prediciendo el viento pero solo "regular" prediciendo la temperatura. Esto significa que no puedes mirar solo una puntuación general; tienes que revisar cómo el modelo maneja cada parte específica del clima.

6. El control de realidad del "Hardware"

Finalmente, el artículo analizó qué tan bien se ejecutan estos modelos en computadoras reales.

La analogía: Un motor de Ferrari (GraphCast) puede ser potente, pero si está atrapado en el tráfico (uso ineficiente del hardware), no irá rápido. Un camión confiable (Aurora) puede no ser un Ferrari, pero conduce con fluidez y utiliza la carretera de manera eficiente.
El hallazgo: Aurora fue increíblemente eficiente en el uso del hardware de la computadora (usando unas 36 veces más del potencial de la computadora que GraphCast). GraphCast, aunque inteligente, era muy derrochador con los recursos informáticos. Esto sugiere que, para el uso en el mundo real, un modelo que es "eficiente" en el hardware es tan importante como un modelo que es "inteligente".

Resumen

Si quieres construir el mejor predictor del clima basado en este artículo:

Sé ancho, no profundo: Construye modelos que sean amplios y planos, no altos y estrechos.
Aliméntalos con datos: Prioriza darle al modelo más datos de entrenamiento en lugar de hacer el modelo en sí más grande.
Elige a tu campeón: Aurora es excelente aprendiendo de los datos y usando la potencia de cómputo de manera eficiente. GraphCast es excelente siendo pequeño y eficiente con su tamaño de cerebro, pero corre lentamente en las computadoras.
Revisa los detalles: No te limites a mirar la puntuación promedio; revisa cómo el modelo maneja cosas específicas como el viento o la temperatura, ya que se comportan de manera diferente.

Resumen Técnico: Leyes de Escalamiento de Modelos Meteorológicos Globales

Planteamiento del Problema

Los modelos basados en datos están transformando rápidamente el pronóstico meteorológico, pero el campo carece de una comprensión sistemática de cómo el rendimiento del modelo escala con los recursos clave. Si bien las leyes de escalamiento han guiado con éxito el desarrollo de Modelos de Lenguaje de Gran Escala (LLM) y modelos de visión al establecer relaciones de ley de potencia entre la pérdida de validación ( $L$ ), el tamaño del modelo ( $N$ ), el tamaño del conjunto de datos ( $D$ ) y el presupuesto de cómputo ( $C$ ), su aplicabilidad a los modelos meteorológicos globales aún no ha sido verificada.

El pronóstico meteorológico presenta desafíos únicos que se distinguen del NLP y la visión:

Restricciones Físicas: La atmósfera es un sistema caótico con límites inherentes de predictibilidad.
Heterogeneidad de Variables: Los modelos deben predecir cientos de variables correlacionadas pero físicamente distintas (por ejemplo, temperatura, viento, presión) con distintos grados de dificultad.
Diversidad Arquitectónica: Los modelos de vanguardia actuales utilizan diversas estructuras base (Transformers, Redes Neuronales de Grafos, Operadores de Fourier Neuronales), y no está claro si los comportamientos de escalamiento son consistentes a través de estas arquitecturas.

El artículo aborda la necesidad urgente de caracterizar estas leyes de escalamiento para optimizar la asignación de recursos y guar la de desarrollo de la próxima generación de modelos meteorológicos.

Metodología

Los autores realizaron el primer análisis de escalamiento cruzado en la predicción meteorológica, comparando cinco modelos de vanguardia: Aurora, GraphCast, AIFS, Pangu y SFNO.

Configuración Experimental

Datos: Todos los modelos fueron entrenados y evaluados en el conjunto de datos de reanálisis ERA5 (1979–2020 para entrenamiento, 2021 para validación) a través de WeatherBench 2.
Estandarización: Para asegurar una comparación justa, los autores impusieron una uniformidad estricta:
- Variables de entrada/salida idénticas (geopotencial, temperatura, componentes del viento, humedad, etc.).
- Resolución espacial consistente ( $0.25^\circ \times 0.25^\circ$ en rejilla global).
- Función de pérdida de validación unificada (MSE ponderado normalizado por desviación estándar y área de la rejilla).
- Ajuste de hiperparámetros consistente (barridos de tasa de aprendizaje, configuraciones de optimizador) para asegurar dinámicas de entrenamiento estables.
Variables: El estudio varió sistemáticamente:
- Tamaño del Modelo ( $N$ ): Ajustando el ancho (dimensión de incrustación/embedding) y la profundidad (número de capas/bloques).
- Tamaño del Conjunto de Datos ( $D$ ): Entrenando en subconjuntos del volumen total de datos (desde ~3 TB hasta 90 TB).
- Presupuesto de Cómputo ( $C$ ): Analizado mediante la relación $C \approx N \times D$ (con ajustes específicos de arquitectura para cada modelo).

Marco de Análisis

Los autores ajustaron leyes de potencia empíricas de la forma:

$L(D) = \alpha D^{-\beta}$ (Escalamiento de datos)
$L(N) = \gamma N^{-\delta}$ (Escalamiento de parámetros)
$L(C) = \lambda C^{-\epsilon}$ (Escalamiento de cómputo)

También investigaron el entrenamiento óptimo de cómputo (el compromiso óptimo entre $N$ y $D$ para un $C$ fijo) y analizaron la forma del modelo (ancho vs. profundidad) y el rendimiento específico por variable.

Contribuciones Clave y Resultados

1. Eficiencia de Escalamiento de Datos ( $\beta$ )

El estudio confirma que la pérdida de validación sigue relaciones de ley de potencia con el tamaño del conjunto de datos en todos los modelos.

Aurora exhibe el comportamiento de escalamiento de datos más fuerte con un coeficiente $\beta \approx 0.51$ . Aumentar el conjunto de datos de entrenamiento $10\times$ reduce la pérdida de validación hasta en un $3.2\times$ .
GraphCast muestra el $\beta$ más bajo ( $\approx 0.36$ ), lo que indica que se beneficia menos de los incrementos masivos de datos en comparación con Aurora.
Implicación: Aurora es el modelo más eficiente para escalar con conjuntos de datos más grandes, mientras que modelos como Pangu muestran un efecto de umbral donde el escalamiento de parámetros solo se vuelve efectivo con un volumen de datos suficiente.

2. Eficiencia de Parámetros y Utilización de Hardware

GraphCast demuestra la mayor eficiencia de parámetros (menor pérdida para un $N$ dado) pero sufre de graves problemas de utilización de hardware. En GPUs H100, GraphCast utiliza solo el 1.03% del rendimiento pico de precisión simple debido a las operaciones de paso de mensajes limitadas por memoria en su arquitectura GNN.
Aurora logra un 37.2% de utilización de GPU (aproximadamente $36\times$ más alto que GraphCast) debido a sus mecanismos de atención de tipo Transformer, que están mejor optimizados para el hardware moderno.
Conclusión: La eficiencia teórica de los parámetros no garantiza la eficiencia práctica de implementación; las optimizaciones de ingeniería y la utilización del hardware son factores críticos.

3. Forma del Modelo: Ancho vs. Profundidad

Contrario a los hallazgos en NLP (donde el rendimiento es mayormente insensible a la forma con un $N$ fijo), los modelos meteorológicos muestran una fuerte preferencia por el ancho sobre la profundidad.

En todos los cinco modelos, las configuraciones más anchas logran consistentemente una menor pérdida de validación que las contrapartes más estrechas y profundas con el mismo número de parámetros.
Saturación de Profundidad: Modelos como GraphCast y SFNO funcionan bien incluso con una profundidad de 1, lo que sugiere que la dinámica de predicción meteorológica de 6 horas se aproxima bien mediante modelos lineales o arquitecturas poco profundas, y que el apilamiento profundo no lineal ofrece rendimientos decrecientes.
Recomendación: Los modelos futuros deberían priorizar el aumento del ancho (capacidad de representación) en lugar de la profundidad.

4. Asignación Óptima de Cómputo

Bajo presupuestos de cómputo fijos, la estrategia óptima para los modelos meteorológicos difiere de la regla estándar de escalamiento de NLP ( $N \propto C^{0.73}, D \propto C^{0.27}$ ).

El análisis indica que asignar recursos para aumentar el conjunto de datos de entrenamiento ( $D$ ) genera mayores ganancias de rendimiento que aumentar el tamaño del modelo ( $N$ ).
Para un $C$ fijo, entrenar modelos más pequeños durante periodos más largos (más pasos) es más efectivo que entrenar modelos más grandes con datos insuficientes.

5. Heterogeneidad Específica de las Variables

El comportamiento de escalamiento no es uniforme en todas las variables atmosféricas.

Aurora logra el RMSE más bajo para la componente u de 10m del viento (10U).
GraphCast supera a los demás para la temperatura a 2m (2T), particularmente con menores conteos de parámetros.
Significado: Una única pérdida de validación ponderada es solo un indicador aproximado del rendimiento general. Diferentes variables escalan de manera distinta, lo que implica que el diseño del modelo puede necesitar ser adaptado o hibridado para campos físicos específicos.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer marco cuantitativo para las leyes de escalamiento de la predicción atmosférica, revelando diferencias fundamentales entre los modelos meteorológicos y los modelos de lenguaje.

Cambio Arquitectónico: El hallazgo de que los modelos meteorológicos favorecen el ancho sobre la profundidad desafía los patrones de diseño centrados en Transformers derivados del NLP.
Estrategia de Recursos: El estudio argumenta que, para el pronóstico meteorológico práctico, la prioridad debe ser conjuntos de datos de entrenamiento más grandes y arquitecturas más anchas, en lugar de simplemente escalar los parámetros del modelo.
Realidad de la Ingeniería: El trabajo destaca que las leyes de escalamiento teóricas deben ser moderadas por las realidades de la utilización del hardware. Un modelo con un escalamiento teórico superior (como GraphCast) puede ser menos práctico que un modelo con un escalamiento ligeramente inferior pero con una utilización de hardware vastamente superior (como Aurora).
Dirección Futura: Los autores sugieren que los modelos meteorológicos futuros deberían priorizar arquitecturas más anchas y conjuntos de datos más grandes para maximizar el rendimiento predictivo, reconociendo al mismo tiempo que la sintonización específica por variable puede ser necesaria para capitalizar plenamente las mejoras de escalamiento.

El artículo concluye que, si bien las leyes de escalamiento son predecibles a través de diversos modelos meteorológicos, los coeficientes específicos y las estrategias óptimas (ancho vs. profundidad, datos vs. parámetros) son específicos del dominio y distintos de los del NLP.