Performance Evaluation of GraphCast for Medium-Range Weather Forecasting over Brazil

Resumen Técnico: Evaluación del Desempeño de GraphCast para el Pronóstico Meteorológico de Rango Medio sobre Brasil

Planteamiento del Problema
Si bien los modelos de Predicción Meteorológica mediante Aprendizaje Automático (MLWP, por sus siglas en inglés), como GraphCast de Google DeepMind, han demostrado una capacidad notable en evaluaciones globales, su eficacia operativa en el Sur Global permanece insuficientemente verificada. Específicamente, existe una falta de evaluaciones comparativas regionales para entornos altamente convectivos y complejos como Brasil, que abarca diversos regímenes climáticos, desde la Amazonía ecuatorial hasta el sur templado. Los modelos tradicionales de Predicción Numérica del Tiempo (NWP), como el ECMWF IFS HRES, enfrentan limitaciones en cuanto a costo computacional y la parametrización de procesos de sub-rejilla, particularmente en la convección tropical. La pregunta crítica abordada es si la destreza de los modelos MLWP basados en datos se generaliza a regiones climáticamente complejas específicas o si existe una "brecha de generalización" que podría impactar a los sectores sensibles al clima en el Sur Global.

Metodología
El estudio presenta una evaluación comparativa rigurosa y estratificada por regímenes del modelo operativo GraphCast frente a la línea base determinista ECMWF IFS HRES.

• Datos y Verdad de Campo: Ambos modelos fueron evaluados contra el análisis operativo ECMWF IFS (el estado $t=0$) como verdad de campo. Este enfoque evita el sesgo circular al no evaluar GraphCast contra su propia distribución de entrenamiento (ERA5). El estudio utilizó 27 conjuntos de datos que comprenden 145 GB de información provenientes de ECMWF Open Data y Google's WeatherNext.
• Dominios Espaciales y Temporales: La evaluación cubrió cuatro subregiones climáticas brasileñas (Norte, Nordeste, Centro-Oeste/Sudeste y Sur) definidas por cajas delimitadoras de 10°×10° para evitar la dilución del error entre diversos regímenes. El alcance temporal incluyó cuatro ventanas estacionales: marzo de 2024 (transición Verano-Otoño), julio de 2024 (pico de Invierno), octubre de 2024 (transición de Primavera) y enero de 2025 (pico de Verano).
• Variables: Se evaluaron tres variables troposféricas: Geopotencial a 500 hPa ($Z_{500}$), Temperatura a 850 hPa ($T_{850}$) y Humedad Específica a 850 hPa ($Q_{850}$).
• Pipeline y Métricas: Se desarrolló un pipeline escalable y nativo de la nube utilizando el marco de trabajo WeatherBench-X. Las métricas incluyeron el Error Cuadrático Medio (RMSE), el Coeficiente de Correlación de Anomalía (ACC) y una Diferencia de RMSE Normalizada (Puntuación de Destreza o Skill Score) para cuantificar el desempeño relativo.

Contribuciones Clave

1. Primera Evaluación Comparativa Regional: Este trabajo proporciona la primera evaluación comparativa regional y estratificada por regímenes de un modelo MLWP operativo sobre Brasil.
2. Pipeline Reproducible: Introduce un pipeline de evaluación nativo de la nube construido sobre WeatherBench-X que armoniza los datos de ECMWF Open Data y Google Deep DeepMind WeatherNext en un sustrato analítico común.
3. Mapeo Diagnóstico: El estudio establece un mapeo diagnóstico entre los regímenes climáticos brasileños y los límites físicos específicos donde el paradigma inductivo de ML gana o pierde destreza en relación con la línea base determinista.

Resultados
La evaluación revela un perfil de destreza dependiente del régimen con distintas variaciones estacionales y regionales:

• Desempeño General: En marzo, octubre y enero, GraphCast superó consistentemente a la línea base IFS HRES en todas las variables, regiones y tiempos de anticipación (Puntuaciones de Destreza > 100%).
• El Déficit Invernal (Julio): Se observó una degradación significativa durante el invierno austral (julio de 2024) específicamente en la subregión del Sur para la variable $Z_{500}$.
  • Fallo de Rango Medio: Para los días de anticipación 2–7 (48h–168h), GraphCast tuvo un desempeño significativamente inferior. A las 120 horas (5 días), la Puntuación de Destreza cayó al 47.91%, lo que representa un déficit del 52.09% respecto al IFS HRES.
  • Especificidad de la Variable: Esta degradación se aisló al campo de circulación dinámica ($Z_{500}$). Las variables termodinámicas ($T_{850}$ y $Q_{850}$) mantuvieron Puntuaciones de Destreza cercanas o superiores a la paridad incluso durante julio, lo que indica que el déficit no es uniforme en todos los campos de pronóstico.
  • Recuperación: El desempeño se recuperó en el rango extendido (más allá del día 7), donde el suavizado inherente de GraphCast de la variabilidad caótica de pequeña escala resultó beneficioso bajo métricas deterministas.
• Asimetría Regional: Aunque todas las regiones mostraron algunos desafíos de corto plazo en julio, solo el Sur exhibió un déficit profundo en lugar de una recuperación. Los autores atribuyen esto a las limitaciones estructurales del paso de tiempo de 6 horas de GraphCast para resolver sistemas baroclínicos de rápida propagación característicos del invierno extratropical, los cuales dependen de movimientos divergentes sub-sinópticos.

Significancia y Reivindicaciones
El artículo afirma establecer una línea base para Brasil y definir los límites físicos específicos que guían los futuros esfuerzos de "tropicalización". Los hallazgos sugieren que, si bien los modelos fundacionales de IA ofrecen una eficiencia y destreza superiores en muchos contextos, su arquitectura actual enfrenta limitaciones estructurales para resolver sistemas baroclínicos de rápida propagación en el invierno del Hemisferio Sur. El estudio enfatiza que optimizar estos modelos para la resiliencia regional requiere comprender estas restricciones físicas específicas en lugar de asumir una generalización universal. El trabajo tiene como objetivo apoyar a los sectores sensibles al clima en el Sur Global, aclarando dónde y cuándo los modelos MLWP pueden ser operativamente confiables frente a dónde la NWP tradicional sigue siendo superior.