Huracan: A skillful end-to-end data-driven system for ensemble data assimilation and weather prediction

Resumen Técnico: Huracan – Un sistema hábil de extremo a extremo impulsado por datos para la asimilación de datos de conjunto y la predicción meteorológica

Planteamiento del Problema
La predicción meteorológica operativa ha dependido tradicionalmente de la Predicción Numérica del Tiempo (NWP, por sus siglas en inglés), un proceso computacionalmente intensivo que involucra la asimilación de datos (DA) y modelos de predicción basados en la física. Si bien modelos recientes de aprendizaje automático (ML) han demostrado capacidades de predicción determinista superiores a las de la NWP, siguen dependiendo de las condiciones iniciales derivadas de la NWP (por ejemplo, de ECMWF HRES o ENS). Esta dependencia crea un límite superior en su capacidad de predicción. Aunque se han propuesto algunos sistemas de DA de extremo a extremo puramente impulsados por datos (por ejemplo, Aardvark, FuXi Weather, GraphDOP), ninguno ha logrado aún igualar la capacidad de predicción de los competidores de NWP de vanguardia cuando se acoplan con un modelo de predicción. El desafío radica en manejar eficazmente la naturaleza "errática" de los datos de observación brutos (dispersión, desalineación, problemas de calidad) y la complejidad de los procesos de DA (control de calidad, estimación de errores, corrección de sesgos) dentro de un marco puramente basado en datos.

Metodología
Los autores proponen Huracan, un sistema de extremo a extremo impulsado por observaciones que integra la asimilación de datos de conjunto con la predicción meteorológica de conjunto, basándose únicamente en observaciones como entradas.

• Fuentes de Datos: El sistema ingiere diversas observaciones de Nivel-1 y Nivel-2, incluyendo sondeos de microondas e infrarrojos hiperespectrales (Metop, NOAA, JPSS), ocultación de radio GNSS, radiancia de satélites geoestacionarios y observaciones in situ (radiosondas, estaciones terrestres). El conjunto de datos de entrenamiento abarca de 2010 a 2022, reservando 2023 y 2024 para validación y prueba.
• Procesamiento de Datos: Las observaciones brutas pasan por un control de calidad (eliminación de valores implausibles), compresión mediante autoencoders (para datos hiperespectrales y de ocultación de radio) e interpolación a una cuadrícula unificada de 1 grado. Los metadatos como los ángulos de visión y las diferencias de tiempo se incluyen como canales de entrada.
• Arquitectura: El sistema emplea dos modelos (asimilación y predicción) que comparten una arquitectura de Operador Neuronal de Fourier Esférica (SFNO) modificada. Las modificaciones clave incluyen:
  • Reemplazar los Perceptrones de Capa Multicapa (MLP) en los bloques SFNO con bloques Swin Transformer para mejorar la capacidad de modelado.
  • Una compresión agresiva de los pesos de los filtros para reducir los parámetros 12 veces y mitigar el sobreajuste.
  • La integración de embeddings de ruido generados a partir de ruido gaussiano aleatorio para manejar la estocasticidad, reemplazando las normalizaciones de capa estándar con normalizaciones de capa condicionales.
• Estrategia de Entrenamiento:
  1. Se entrena un modelo base determinista con 36 años de datos ERA5 utilizando pérdida L1.
  2. El modelo base se ajusta mediante la inyección de ruido y un objetivo de Puntuación de Clasificación Continua (CRPS) para crear un modelo estocástico base.
  3. Modelo de Asimilación: Inicializado a partir del modelo estocástico base, se somete a un ajuste fino autorregresivo de 8 pasos utilizando la verdad de terreno de ERA5 y canales de observación de un conjunto de datos de 15 años.
  4. Modelo de Predicción: Se somete a un ajuste fino autorregresivo de 6 pasos.
  5. Ajuste Fino Conjunto: Ambos modelos se ajustan juntos (8 pasos de asimilación + 8 pasos de predicción) para producir el sistema de conjunto final.
• Línea Base: Se crea una línea base de "Huracan-Hybrid" ajustando el modelo de predicción con el análisis de ECMWF y utilizando las condiciones iniciales de ECMWF ENS, sirviendo como un punto de comparación sólido.

Contribuciones Clave

1. Primer Sistema de Conjunto de Extremo a Extremo: Huracan es el primer sistema que proporciona tanto las condiciones iniciales de conjunto como los pronósticos meteorológicos de conjunto de extremo a extremo utilizando solo observaciones, completando el ciclo operativo con estimaciones de incertidumbre.
2. Capacidad Competitiva: El sistema logra una precisión comparable a la de ECMWF ENS (el competidor de NWP de vanguardia) a pesar de utilizar un volumen menor de datos de observación y una resolución de 1 grado.
3. Eficiencia: El proceso de asimilación toma un solo paso de modelo, lo que es órdenes de magnitud más rápido que los sistemas de DA de la NWP tradicional.
4. Métricas de Desempeño: Huracan iguala o supera el CRPS de ECMWF ENS en el 80.2% de las combinaciones de variables y tiempos de adelanto (559 de 697) cuando se evalúa contra el análisis de cada propio modelo. Incluso contra la línea base más fuerte de Huracan-Hybrid, funciona igual o mejor en el 65.1% de las combinaciones.

Resultados

• Desempeño por Variable: Huracan demuestra una capacidad robusta para predecir la temperatura y la humedad, superando a menudo a ECMWF ENS. Muestra una ligera degradación en el geopotencial y la presión en comparación con la NWP, particularmente en la troposfera media.
• Comportamiento de Conjunto: El sistema exhibe una mayor dispersión de conjunto inicialmente (debido a la inicialización de miembros independientes en lugar de la perturbación de un miembro de control), pero muestra una menor dispersión a los 3–5 días de adelanto, lo que podría indicar sobreajuste.
• Visualización: Los valores medios del conjunto se alinean bien con los patrones de gran escala de ECMWF ENS, aunque los promedios de Huracan son ligeramente más suaves. Las desviaciones estándar del conjunto están generalmente más extendidas en Huracan en comparación con las perturbaciones localizadas y concentradas de ECMWF ENS.

Significancia y Reivindicaciones
El artículo afirma que Huracan representa un paso importante hacia la predicción meteorológica de extremo a extremo impulsada por datos. Al acoplar con éxito la asimilación de datos de conjunto con la predicción, demuestra que los sistemas basados en ML pueden rivalizar con los sistemas completos de NWP tanto en la generación de condiciones iniciales como en la precisión del pronóstico. Los autores sostienen que este trabajo abre oportunidades para mejorar la predicción operativa, revolucionando potencialmente el campo al eliminar la dependencia de las condiciones iniciales derivadas de la NWP. Sin embargo, los autores reconocen modestamente las limitaciones actuales, incluyendo las brechas de rendimiento en las variables de presión/geopotencial y una caída notable en el desempeño entre los años de entrenamiento y de prueba (lo que sugiere sobreajuste), que requieren más investigación. También señalan que, si bien el sistema aprende los sesgos inherentes a ERA5 durante el entrenamiento, el largo ajuste fino autorregresivo y la inyección de ruido ayudan a mitigar esto, permitiendo que el sistema entrenado funcione de forma independiente de la NWP indefinidamente.