Performance Evaluation of GraphCast for Medium-Range Weather Forecasting over Brazil

Resumo Técnico: Avaliação de Desempenho do GraphCast para Previsão Meteorológica de Médio Prazo sobre o Brasil

Definição do Problema
Embora modelos de Previsão Meteorológica baseados em Aprendizado de Máquina (MLWP), como o GraphCast do Google DeepMind, tenham demonstrado uma habilidade notável em benchmarks globais, sua eficácia operacional no Sul Global permanece subverificada. Especificamente, há uma carência de benchmarks regionais para ambientes altamente convectivos e complexos como o Brasil, que abrange diversos regimes climáticos, desde a Amazônia equatorial até o Sul temperado. Os modelos tradicionais de Previsão Numérica de Tempo (NWP), como o ECMWF IFS HRES, enfrentam limitações de custo computacional e de parametrização de processos de subgrade, particularmente na convecção tropical. A questão crítica abordada é se a habilidade dos modelos MLWP baseados em dados se generaliza para regiões climaticamente complexas específicas ou se existe um "gap de generalização" que possa impactar setores sensíveis ao clima no Sul Global.

Metodologia
O estudo apresenta um benchmark rigoroso e estratificado por regime do modelo operacional GraphCast contra a linha de base determinística do ECMWF IFS HRES.

• Dados e Verdade de Campo: Ambos os modelos foram avaliados contra a análise operacional do ECMWF IFS (o estado $t=0$) como verdade de campo. Esta abordagem evita o viés circular ao não avaliar o GraphCast contra sua própria distribuição de treinamento (ERA5). O estudo utilizou 27 conjuntos de dados compreendendo 145 GB de dados provenientes do ECMWF Open Data e do Google WeatherNext.
• Domínios Espaciais e Temporais: A avaliação cobriu quatro subregiões climáticas brasileiras (Norte, Nordeste, Centro-Oeste/Sudeste e Sul), definidas por caixas delimitadoras de 10°×10° para evitar a diluição de erro entre diversos regimes. O escopo temporal incluiu quatro janelas sazonais: Março de 2024 (transição Verão-Outono), Julho de 2024 (pico do Inverno), Outubro de 2024 (transição Primavera) e Janeiro de 2025 (pico do Verão).
• Variáveis: Três variáveis troposféricas foram avaliadas: Geopotencial a 500 hPa ($Z_{500}$), Temperatura a 850 hPa ($T_{850}$) e Umidade Específica a 850 hPa ($Q_{850}$).
• Pipeline e Métricas: Um pipeline escalável e nativo da nuvem foi desenvolvido utilizando o framework WeatherBench-X. As métricas incluíram Erro Quadrático Médio (RMSE), Coeficiente de Correlação de Anomalia (ACC) e um Diferencial de RMSE Normalizado (Score de Habilidade) para quantificar o desempenho relativo.

Principais Contribuições

1. Primeiro Benchmark Regional: Este trabalho fornece o primeiro benchmark sub-regional e estratificado por regime de um modelo MLWP operacional sobre o Brasil.
2. Pipeline Reprodutível: Introduz um pipeline de avaliação nativo da nuvem construído sobre o WeatherBench-X que harmoniza os outputs do ECMWF Open Data e do Google Deep DeepMind WeatherNext em um substrato analítico comum.
3. Mapeamento Diagnóstico: O estudo estabelece um mapeamento diagnóstico entre os regimes climáticos brasileiros e os limites físicos específicos onde o paradigma indutivo de ML ganha ou perde habilidade em relação à linha de base determinística.

Resultados
A avaliação revela um perfil de habilidade dependente de regime, com distinções sazonais e regionais claras:

• Desempenho Geral: Em Março, Outubro e Janeiro, o GraphCast superou consistentemente a linha de base IFS HRES em todas as variáveis, regiões e tempos de antecedência (Lead Times) (Scores de Habilidade > 100%).
• O Déficit de Inverno (Julho): Uma degradação significativa foi observada durante o inverno austral (Julho de 2024), especificamente na subregião Sul para a variável $Z_{500}$.
  • Falha de Médio Prazo: Para os dias de antecedência 2–7 (48h–168h), o GraphCast apresentou um desempenho significativamente inferior. Em 120 horas (5 dias), o Score de Habilidade caiu para 47,91%, representando um déficit de 52,09% em relação ao IFS HRES.
  • Especificidade de Variável: Esta degradação foi isolada no campo de circulação dinâmica ($Z_{500}$). Variáveis termodinâmicas ($T_{850}$ e $Q_{850}$) mantiveram Scores de Habilidade próximos ou acima da paridade mesmo durante Julho, indicando que o déficit não é uniforme entre todos os campos de previsão.
  • Recuperação: O desempenho recuperou-se no alcance estendido (além do dia 7), onde o suavizamento inerente do GraphCast da variabilidade caótica de pequena escala tornou-se benéfico sob métricas determinísticas.
• Assimetria Regional: Embora todas as regiões tenham mostrado alguns desafios de curto prazo em Julho, apenas o Sul exibiu um déficit profundo em vez de uma recuperação. Os autores atribuem isso às limitações estruturais do passo de tempo de 6 horas do GraphCast em resolver sistemas baroclínicos de rápida propagação, característicos do inverno extratropical, que dependem de movimentos divergentes sub-sinóticos.

Significância e Alegações
O artigo afirma estabelecer uma linha de base para o Brasil e definir os limites físicos específicos que guiam futuros esforços de "tropicalização". Os achados sugerem que, embora modelos de IA fundamentais ofereçam maior eficiência e habilidade em muitos contextos, sua arquitetura atual enfrenta limitações estruturais na resolução de sistemas baroclínicos de rápida propagação no inverno do Hemisfério Sul. O estudo enfatiza que otimizar esses modelos para a resiliência regional requer a compreensão dessas restrições físicas específicas, em vez de assumir uma generalização universal. O trabalho visa apoiar setores sensíveis ao clima no Sul Global, esclarecendo onde e quando os modelos MLWP podem ser operacionalmente confiáveis versus onde o NWP tradicional permanece superior.