🤖 machine learning

Timestep-Conditioned Transformers for Global Weather Forecasting

El artículo presenta GEM-3, un modelo transformador ligero condicionado por el paso de tiempo que resuelve la compensación entre la resolución de corto alcance y la acumulación de error de largo alcance en el pronóstico meteorológico al permitir una inferencia de múltiples pasos de tiempo flexible con un único conjunto de pesos entrenados.

Autores originales: Sam Levang, Fran Bartolic, Ty Dickinson, Chase Dwelle, Paulius Rauba, Viktor Cikojevic

Publicado 2026-08-07

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sam Levang, Fran Bartolic, Ty Dickinson, Chase Dwelle, Paulius Rauba, Viktor Cikojevic

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir el futuro de un gigante y arremolinado océano de aire que cubre todo el planeta. Este es el mundo de los pronósticos meteorológicos, un campo donde los científicos utilizan computadoras masivas para simular cómo se mueve la atmósfera. Durante décadas, las mejores herramientas para este trabajo han sido complejas ecuaciones de física, pero recientemente, un nuevo tipo de programa de computadora "inteligente" —impulsado por el aprendizaje automático— ha comenzado a vencerlas. Estos programas aprenden de la historia para adivinar qué hará el clima después. Sin embargo, enfrentan un rompecabezas complicado: ¿qué tan rápido debe dar la computadora un "paso" hacia el futuro? Si toma pasos diminutos y rápidos (como cada hora), puede ver los detalles de una tormenta repentina formándose, pero podría cansarse y cometer errores al intentar caminar una larga distancia. Si toma pasos gigantes y lentos (como cada día), puede caminar lejos sin tropezar, pero se pierde todos los detalles emocionantes del viaje.

Este artículo presenta un nuevo y astuto modelo meteorológico llamado GEM-3 que resuelve este rompecabezas. En lugar de obligar a la computadora a elegir entre ser un velocista detallado y rápido o un corredor de maratón lento y constante, GEM-3 es como un camaleón mágico que puede cambiar la longitud de su zancada sobre la marcha. Los investigadores descubrieron que, al enseñarle al modelo a entender cuánto tiempo debe saltarse en un solo paso, pudieron usar el mismo cerebro (el mismo conjunto de pesos de computadora) para predecir el clima para la próxima hora o para el próximo mes. Descubrieron que mezclar diferentes tamaños de paso durante el entrenamiento hace que el modelo sea más estable, y demostraron que este enfoque flexible funciona mejor que los modelos antiguos que están estancados con una sola velocidad.

El dilema de los grandes tamaños de paso

Para entender por qué esto es importante, imagina a un personaje de un videojuego intentando cruzar un vasto y tormentoso océano. Si el personaje da pasos diminutos de una pulgada, puede navegar cuidadosamente cada ola y roca. Pero si tiene que cruzar mil millas, dará millones de pasos. Con cada uno de esos millones de pasos, hay una mínima posibilidad de un error minúsculo. Si das un millón de pasos, esos pequeños errores se acumulan y el personaje podría terminar en un país completamente diferente. Este es el problema de los modelos meteorológicos "finos": son excelentes para los próximos días, pero se vuelven desordenados durante periodos largos.

Por otro lado, imagina que el personaje da saltos gigantes de 100 millas. Cruza el océano en solo diez saltos. Debido a que toma pocos pasos, no tiene muchas oportunidades de cometer un error. Pero aquí está el truco: no puede ver las pequeñas olas o las rocas específicas en medio. Podría perderse una tormenta repentina o una brisa fresca porque está demasiado ocupado saltando sobre todo el día a la vez. Este es el problema de los modelos "gruesos": son estables para viajes largos, pero pierden los detalles a corto plazo.

Durante años, los científicos tuvieron que elegir uno u otro. Construyeron un modelo para pronósticos de corto plazo y alto detalle, y un modelo diferente para pronósticos de largo plazo y estables. Era como tener un auto deportivo para conducir en la ciudad y un tanque para el todoterreno, pero tenías que comprar dos vehículos separados.

El camaleón mágico: GEM-3

Los autores de este artículo, trabajando en una empresa llamada Salient, construyeron un nuevo modelo llamado GEM-3. Piensa en GEM-3 no como un solo vehículo, sino como un cambiador de forma mágico. La receta secreta es una característica llamada condicionamiento por paso de tiempo (timestep conditioning).

En los modelos antiguos, la computadora era entrenada para conocer solamente un tamaño de paso específico. Si querías que predijera el clima dentro de 24 horas, tenía que dar 24 pasos de una hora, o un paso de 24 horas, pero no podía hacer ambas cosas. GEM-3 es diferente. Los investigadores enseñaron al modelo a escuchar un "susurro" (un número) que le dice: "Oye, para esta predicción específica, da un paso de 6 horas", o "No, da un paso de 24 horas".

El modelo tiene un solo cerebro, pero puede reconfigurarse instantáneamente. Si pides un pronóstico para mañana por la mañana, puede cambiar a un modo rápido y detallado para captar la brisa matutina. Si pides un pronóstico para el próximo mes, puede cambiar a un modo lento y constante para asegurar que no se desvíe del curso. Esto significa que no necesitas dos modelos diferentes; solo necesitas uno flexible que pueda adaptarse al trabajo.

La receta secreta: Entrenar como un gimnasta

¿Cómo le enseñaron a este modelo a ser tan flexible? Utilizaron un truco llamado entrenamiento de pasos de tiempo mixtos. Imagina a un gimnasta entrenando para las Olimpiadas. En lugar de practicar solo en la viga de equilibrio (una habilidad específica), practican en la viga, en el suelo y en las barras asimétricas en la misma sesión.

Los investigadores entrenaron a GEM-3 mostrándole datos meteorológicos y pidiéndole que predijera el futuro usando tamaños de paso aleatorios: a veces 1 hora, a veces 6, a veces 24. Al obligar al modelo a manejar todas estas diferentes velocidades a la vez, aprendió una forma más robusta de entender la atmósfera. El artículo sugiere que este entrenamiento "mixto" actúa como un estabilizador. Resulta que un modelo entrenado en muchas velocidades diferentes es, de hecho, mejor dando pasos cortos que un modelo entrenado solo en pasos cortos. Es como si el gimnasta, al aprender a equilibrarse en muchas superficies diferentes, fuera más estable en la viga que alguien que solo practicó en la viga.

El truco de la anomalía: Eliminando el ruido

Había otro obstáculo. El clima tiene un ritmo: es más cálido en verano y más frío en invierno, y más cálido durante el día y más fresco durante la noche. Si un modelo intenta predecir la temperatura exacta, tiene que recordar constantemente estos ciclos enormes y predecibles. Esto puede ser una distracción y causar que el modelo se "emborrache" con las tendencias a largo plazo, perdiendo su camino con el tiempo.

Para solucionar esto, los autores utilizaron una técnica de modelado en el espacio de anomalías. En lugar de preguntarle al modelo: "¿Cuál será la temperatura?", le preguntaron: "¿Qué tan diferente será la temperatura del promedio habitual para esta época del año?".

Imagina que estás tratando de adivinar cuánto comerá un amigo en la cena. En lugar de adivinar el peso total de la comida (que varía enormemente entre una ensalada y un banquete), adivinas cuánto más o cuánto menos comerá de su porción habitual. Al enfocarse en la "sorpresa" (la anomalía) en lugar del total, el modelo se mantiene concentrado en los cambios reales del clima y no se confunde por las estaciones predecibles. El artículo muestra que esto ayuda al modelo a mantenerse en el camino por mucho más tiempo, especialmente al realizar predicciones de largo alcance.

Lo que encontraron

Los resultados son bastante impresionantes. Cuando probaron GEM-3 contra los actuales campeones mundiales (como los modelos del servicio meteorológico europeo y otras herramientas climáticas de IA de alto nivel), GEM-3 se mantuvo a la par o incluso ganó.

Corto plazo: Predice los próximos días con alto detalle, captando los matices del clima diario.
Largo plazo: Se mantiene estable hasta por 46 días, superando a muchos otros modelos en mantener la precisión del pronóstico sin desviarse.
Flexibilidad: El hallazgo más emocionante es que el modelo puede cambiar entre un paso de 6 horas y uno de 24 horas en el último segundo, dependiendo de lo que el usuario necesite.

Sin embargo, el artículo advierte cuidadosamente que esto no es una varita mágica para todo. Encontraron que si intentas hacer los pasos demasiado grandes (como 48 horas), el modelo se confunde porque el clima cambia demasiado en ese tiempo para que un solo paso pueda manejarlo. Del mismo modo, si intentas hacer los pasos demasiado diminutos (como 1 hora) para un pronóstico muy largo, los errores diminutos siguen acumulándose, incluso con los nuevos trucos. Pero dentro de un "punto ideal" de 1 a 24 horas, el modelo funciona maravillosamente.

La conclusión

GEM-3 es un avance práctico porque deja de obligar a los meteorólogos a elegir entre detalle y estabilidad. Sugiere que el futuro de los pronósticos meteorológicos no se trata de construir computadoras más grandes y especializadas para cada trabajo, sino de construir otras más inteligentes y adaptables que puedan cambiar su zancada para ajustarse al terreno. Al enseñar a un solo modelo a hablar muchos "lenguajes temporales", los investigadores han creado una herramienta que no solo es más precisa, sino también más útil para decisiones del mundo real, desde planear un picnic hasta prepararse para una tormenta con semanas de antelación.

Resumen Técnico: Transformadores Condicionados por Intervalos de Tiempo para el Pronóstico Meteorológico Global (GEM-3)

1. Planteamiento del Problema

Los modelos de pronóstico meteorológico basados en aprendizaje automático (ML) existentes enfrentan un compromiso arquitectónico fundamental respecto al intervalo de tiempo de paso ( $\Delta t$ ) autorregresivo.

Intervalos de tiempo finos (p. ej., 1–6 horas): Estos resuelven eficazmente la dinámica atmosférica subdiaria y los ciclos diurnos. Sin embargo, en un entorno autorregresivo, requieren ejecuciones (rollouts) profundas para alcanzar rangos medios o extendidos, lo que conduce a una acumulación significativa de errores y deriva.
Intervalos de tiempo gruesos (p. ej., 24 horas): Estos reducen el número de pasos autorregresivos necesarios para horizontes largos, mitigando la acumulación de errores. No obstante, no logran capturar la variabilidad a corto plazo y las trayectorias subdiarias, lo que limita su utilidad para el pronóstico de corto alcance.

Los enfoques actuales suelen obligar a los profesionales a elegir entre modelos optimizados para plazos cortos, modelos optimizados para plazos largos, o métodos de post-procesamiento que introducen errores estructurales. Existe una falta de un modelo único capaz de adaptar dinámicamente su resolución temporal durante la inferencia para equilibrar la predictibilidad y la usabilidad a través de un amplio horizonte de pronóstico.

2. Metodología

2.1 Arquitectura de Inferencia de Múltiples Intervalos de Tiempo

La contribución central de GEM-3 es un mecanismo arquitectónico que trata el intervalo de tiempo de pronóstico $\Delta t$ como una variable de condicionamiento explícita en lugar de un hiperparámetro fijo.

Condicionamiento por Intervalo de Tiempo: El modelo acepta $\Delta t$ como una entrada junto con el estado atmosférico $X_t$ y los campos de condicionamiento $C$ . Esto permite que un único conjunto de pesos entrenados cambie dinámicamente las resoluciones temporales.
Modulación Conjunta Temporal y Aleatoria: El modelo utiliza una vía de Normalización de Capa Adaptativa (AdaLN-Zero). Tanto el intervalo de tiempo $\Delta t$ $Δ t$ como el vector de ruido estocástico $z$ $z$ (utilizado para la generación de conjuntos o ensembles) se canalizan a través de esta vía.
- $\Delta t$ se procesa mediante incrustación de Fourier (Fourier-embedding) y se proyecta para producir parámetros de desplazamiento, escala y puerta (gate).
- $z$ se procesa de manera similar para modular la red para la diversidad del conjunto.
- Modulación Secuencial: La modulación del intervalo de tiempo se aplica primero para definir el operador de transición primario, seguida de la modulación del ruido como una perturbación de segundo orden. Esto permite que la red aprenda un núcleo de transición que se adapta a la escala de evolución requerida mientras mantiene la diversidad estocástica.

2.2 Modelado de Espacio de Anomalías

Para abordar los desequilibrios en los presupuestos de masa, calor y humedad que causan la deriva en horizontes largos, GEM-3 emplea el modelado de espacio de anomalías para un subconjunto de variables.

Transformación: Se seleccionan ciertas variables (temperatura, geopotencial y presión) y se transforman en anomalías climatológicas restando una climatología precomputada de filtro de paso bajo (indexada por hora del año) antes de entrar en el backbone del transformador.
Reconstrucción: La climatología se suma de nuevo después de la salida del modelo.
Racional: Esto desplaza el objetivo de aprendizaje a un espacio de estado de residuos centrados en cero, lo cual es más estable para las ejecuciones (rollouts) autorregresivas. Las variables con límites físicos estrictos o conexiones no lineales con el forzamiento solar (p. ej., precipitación, viento) se mantienen en el espacio de estado.

2.3 Arquitectura del Modelo y Entrenamiento

Backbone: GEM-3 es un Transformador de Atención de Vecindad (NAT) ligero con $\sim$ 134M de parámetros, que opera en una rejilla equirectangular. Utiliza MLPs SwigLU, normalización QK y embebimientos posicionales rotatorios 2D.
Entrenamiento de Intervalos de Tiempo Mixtos: El modelo se entrena desde cero sobre una distribución mixta de intervalos de tiempo (p. ej., 1, 3, 6, 12, 24 horas). Para evitar el desequilibrio de gradientes causado por el aumento de la magnitud de la incertidumbre con $\Delta t$ mayores, se aplica un factor de escala de pérdida dependiente del intervalo de tiempo.
Función de Pérdida: El objetivo combina un CRPS (Puntuación de Probabilidad de Clasificación Continua) por punto de rejilla y un CRPS espectral computado en el dominio de armónicos esféricos para asegurar la fidelidad en las escalas espaciales.
Optimación: Una estrategia híbrida utilizando Muon para la mayoría de los parámetros y AdamW para un subconjunto que resulta inestable bajo Muon.

3. Contribuciones Clave

Inferencia de Múltiples Intervalos de Tiempo Configurable: Introducción de un mecanismo que permite a un solo modelo adaptar su intervalo de tiempo autorregresivo durante la inferencia, eliminando la necesidad de modelos separados para diferentes plazos de pronóstico.
Estabilidad de Entrenamiento de Intervalos Mixtos: Demostración de que el entrenamiento con un currículo de intervalos de tiempo mixtos actúa como un regularizador, mejorando la estabilidad de las ejecuciones de pasos cortos en comparación con los modelos especialistas en un intervalo de tiempo.
Integración de Espacio de Anomalías: Aplicación exitosa del modelado de espacio de anomalías para variables termodinámicas clave para reducir la deriva en horizontes largos sin sacrificar la fidelidad de corto alcance.
Sistema Operativo (GEM-3): Un sistema de pronóstico práctico que acopla una habilidad probabilística de rango medio cercana al estado del arte con ejecuciones estables de rango extendido y diagnósticos nativos de sub-intervalos de tiempo (p. ej., temperatura mínima/máxima).

4. Resultados Experimentales

4.1 Desempeño de Rango Medio

GEM-3 logra puntuaciones CRPS cercanas al estado del arte, superando al ENS de la ECMWF en todas las variables y plazos analizados.
Es ampliamente comparable a modelos de ML líderes como AIFS-ENS en los principales parámetros dinámicos. Sin embargo, el modelo FGN de Google supera a GEM-3 en variables específicas incluyendo el geopotencial a 500 hPa ( $z_{500}$ ), la presión media al nivel del mar (mslp) y la precipitación. Por el contrario, GEM-3 supera a FGN en la temperatura a 2m.
GEM-3 muestra ventajas significativas en los diagnósticos nativos de sub-intervalos de tiempo (temperatura mínima y máxima) en comparación con modelos que deben estimarlos a partir de instantáneas (snapshots).

4.2 Rango Extendido y Estabilidad de Ejecución (Rollout)

Programa Híbrido: El modelo operativo utiliza un programa híbrido: intervalos de 6 horas para los primeros 14 días (para resolver ciclos diurnos) y de 24 horas para el rango extendido (para minimizar la acumulación de errores).
Desempeño: GEM-3 generalmente supera al ensamble de rango extendido de la ECMWF hasta los 46 días y mantiene una habilidad positiva respecto a la climatología hasta los 126 días.
Hallazgos de Ablación:
- Generalista vs. Especialista: Un modelo generalista entrenado con intervalos mixtos (1–24h) exhibe una menor acumulación de error en ejecuciones de varios días en comparación con los especialistas en intervalos, particularmente en pasos de 1h y 6h, a pesar de tener errores iniciales por paso ligeramente superiores.
- Límites del Intervalo de Tiempo: El rango útil para el condicionamiento del intervalo de tiempo parece estar limitado. Aunque 1–24h funciona bien, los pasos de 48h degradan significamente el desempeño, sugiriendo que el operador aprendido único no puede representar adecuadamente la evolución altamente no lineal de una transición de 48h.
- Deriva vs. Fidelidad Espectral: Existe un compromiso donde el operador condicionado por intervalo de tiempo compartido efectivamente suprime la deriva del estado medio a gran escala (beneficiando las ejecuciones de pasos finos) pero inyecta un pequeño exceso de potencia de números de onda altos (ruido espectral) en comparación con los especialistas, particularmente en los intervalos de tiempo más gruesos.

5. Significado y Reivindicaciones

El artículo afirma que GEM-3 representa un cambio práctico en el diseño del pronóstico meteorológico mediante ML. Al desacoplar el programa de inferencia de la arquitectura del modelo, resuelve el compromiso tradicional entre el detalle de corto alcance y la estabilidad de largo alcance.

Viabilidad Operativa: El sistema demuestra que un único conjunto de parámetros puede servir tanto para las necesidades de alta resolución de corto alcance como para las necesidades estables de rango extendido, reduciendo la complejidad operativa de mantener múltiples modelos especializados.
Efecto de Regularización: El estudio destaca que el entrenamiento de intervalos de tiempo mixtos actúa en sí mismo como un estabilizador, mejorando la robustez de los pronósticos de pasos cortos más allá de lo logrado con el entrenamiento especialista en intervalos.
Eficiencia: El modelo logra estos resultados con 134M de parámetros, significativamente más pequeño que algunos modelos competidores (p. ej., Atlas con 4.3B), manteniendo una habilidad competitiva o superior.

Los autores concluyen que, dentro de un rango de intervalo de tiempo apropiado (aproximadamente 3–24 horas), la inferencia de múltiples intervalos de tiempo es un diseño viable y superior para el pronóstico meteorológico probabilístico, permitiendo que la elección del intervalo de tiempo sea una decisión operativa basada en costo, usabilidad y el horizonte requerido, en lugar de una restricción arquitectónica fija.