Huracan: A skillful end-to-end data-driven system for ensemble data assimilation and weather prediction

Resumo Técnico: Huracan – Um Sistema de Dados Eficaz de Ponta a Ponta para Assimilação de Dados de Conjunto e Previsão Meteorológica

Definição do Problema
A previsão meteorológica operacional tem dependido tradicionalmente da Previsão Numérica do Tempo (NWP), um processo computacionalmente intensivo que envolve assimilação de dados (DA) e modelos de previsão baseados em física. Embora modelos recentes de aprendizado de máquina (ML) tenham demonstrado capacidades de previsão determinística superiores à NWP, eles permanecem dependentes de condições iniciais derivadas da NWP (por exemplo, do ECMWF HRES ou ENS). Essa dependência cria um limite superior na habilidade de previsão. Embora alguns sistemas de DA orientados por dados de ponta a ponta tenham sido propostos (por exemplo, Aardvark, FuXi Weather, GraphDOP), nenhum igualou ainda a habilidade de previsão dos competidores de estado da arte da NWP quando acoplado a um modelo de previsão. O desafio reside em lidar efetivamente com a natureza "mal comportada" dos dados brutos de observação (escassez, desalinhamento, problemas de qualidade) e a complexidade dos processos de DA (controle de qualidade, estimativa de erro, correção de viés) dentro de uma estrutura puramente orientada por dados.

Metodologia
Os autores propõem o Huracan, um sistema de ponta a ponta orientado por observações que integra a assimilação de dados de conjunto com a previsão meteorológica de conjunto, baseando-se exclusivamente em observações como entradas.

• Fontes de Dados: O sistema ingere diversas observações de Nível-1 e Nível-2, incluindo sondadores de micro-ondas e infravermelho hiperespectral (Metop, NOAA, JPSS), radio-ocultação GNSS, radiância de satélite geoestacionário e observações in-situ (radiossondas, estações terrestres). O conjunto de dados de treinamento abrange 2010–2022, com 2023 e 2024 reservados para validação e teste.
• Processamento de Dados: As observações brutas passam por controle de qualidade (remoção de valores implausíveis), compressão via autoencoders (para dados hiperespectrais e de radio-ocultação) e interpolação para uma grade unificada de 1 grau. Metadados como ângulos de visão e diferenças de tempo são incluídos como canais de entrada.
• Arquitetura: O sistema emprega dois modelos (assimilação e previsão) compartilhando uma arquitetura de Operador Neural de Fourier Esférica (SFNO) modificada. As principais modificações incluem:
  • Substituição de Perceptrons de Camada Multicamadas (MLPs) em blocos SFNO por blocos Swin Transformer para aumentar a capacidade de modelagem.
  • Compressão agressiva dos pesos dos filtros para reduzir os parâmetros em 12 vezes e mitigar o overfitting.
  • Integração de embeddings de ruído gerados a partir de ruído Gaussiano aleatório para lidar com a estocasticidade, substituindo as normalizações de camada padrão por normalizações de camada condicionais.
• Estratégia de Treinamento:
  1. Um modelo base determinístico é treinado em 36 anos de dados ERA5 usando perda L1.
  2. O modelo base é ajustado (fine-tuning) com injeção de ruído e um objetivo de Pontuação de Probabilidade de Classificação Contínua (CRPS) para criar um base estocástico.
  3. Modelo de Assimilação: Inicializado a partir do base estocástico, ele passa por um ajuste autorregressivo de 8 etapas usando a verdade de campo ERA5 e canais de observação de um conjunto de dados de 15 anos.
  4. Modelo de Previsão: Passa por um ajuste autorregressivo de 6 etapas.
  5. Ajuste Conjunto: Ambos os modelos são ajustados juntos (8 etapas de assimilação + 8 etapas de previsão) para produzir o sistema de conjunto final.
• Baseline: Um baseline "Huracan-Hybrid" é criado ajustando o modelo de previsão no análisis do ECMWF e utilizando as condições iniciais do ECMWF ENS, servindo como um ponto de comparação forte.

Principais Contribuições

1. Primeiro Sistema de Conjunto de Ponta a Ponta: O Huracan é o primeiro sistema que fornece tanto condições iniciais de conjunto quanto previsões meteorológicas de conjunto de ponta a ponta usando apenas observações, completando o ciclo operacional com estimativas de incerteza.
2. Habilidade Competitiva: O sistema alcança precisão comparável ao ECMWF ENS (o competidor de NWP de estado da arte), apesar de usar um volume menor de dados de observação e uma resolução de 1 grau.
3. Eficiência: O processo de assimilação leva um único passo de modelo, sendo ordens de magnitude mais rápido do que os sistemas tradicionais de DA da NWP.
4. Métricas de Desempenho: O Huracan iguala ou supera o CRPS do ECMWF ENS em 80,2% das combinações de variáveis e tempos de antecedência (559 de 697) quando avaliado contra a própria análise de cada modelo. Mesmo contra o baseline mais forte, o Huracan-Hybrid, ele performa tão bem ou melhor em 65,1% das combinações.

Resultados

• Desempenho por Variável: O Huracan demonstra robustez na previsão de temperatura e umidade, frequentemente superando o ECMWF ENS. Apresenta uma leve degradação em geopotencial e pressão em comparação com a NWP, particularmente na troposfera média.
• Comportamento de Conjunto: O sistema exibe maior dispersão de conjunto inicialmente (devido à inicialização de membros independentes em vez da perturbação de um membro de controle), mas mostra menor dispersão em tempos de antecedência de 3 a 5 dias, indicando potencialmente overfitting.
• Visualização: Os valores médios do conjunto alinham-se bem com os padrões de grande escala do ECMWF ENS, embora as médias do Huracan sejam ligeiramente mais suaves. Os desvios padrão do conjunto são geralmente mais espalhados no Huracan em comparação com as perturbações localizadas e concentradas do ECMWF ENS.

Significância e Alegações
O artigo afirma que o Huracan representa um grande avanço na previsão meteorológica de ponta a ponta orientada por dados. Ao acoplar com sucesso a assimilação de dados de conjunto com a previsão, ele demonstra que sistemas baseados em ML podem rivalizar com sistemas NWP inteiros, tanto na geração de condições iniciais quanto na precisão da previsão. Os autores afirmam que este trabalho abre oportunidades para melhorar a previsão operacional, potencialmente revolucionando o campo ao remover a dependência de condições iniciais derivadas da NWP. No entanto, os autores reconhecem modestamente as limitações atuais, incluindo lacunas de desempenho em variáveis de pressão/geopotencial e uma queda perceptível de desempenho entre os anos de treinamento e teste (sugerindo overfitting), que exigem mais pesquisa. Eles também observam que, embora o sistema aprenda vieses inerentes ao ERA5 durante o treinamento, o ajuste autorregressivo longo e a injeção de ruído ajudam a mitigar isso, permitindo que o sistema treinado opere independentemente da NWP indefinidamente.