A Hybrid LSTM--Vision Transformer Architecture for Predicting HRRR Forecast Errors

Resumo Técnico: Uma Arquitetura Híbrida LSTM–Vision Transformer para a Predição de Erros de Previsão do HRRR

Definição do Problema
Sistemas de Previsão Numérica de Tempo (NWP) de alta resolução, como o modelo High-Resolution Rapid Refresh (HRRR), exibem erros sistemáticos de previsão frequentemente ligados a processos não resolvidos da camada limite planetária (PBL), convecção e circulações induzidas pelo terreno. Pesquisas anteriores (Evans et al., 2025) demonstraram que redes de Long Short-Term Memory (LSTM) poderiam prever com sucesso esses erros utilizando observações de mesonet de superfície. No entanto, esse trabalho identificou uma limitação crítica: o desempenho degradava-se significativamente durante períodos de evolução atmosférica vertical complexa, sugerindo que dados apenas de superfície são insuficientes para capturar as estruturas atmosféricas que impulsionam esses erros.

Metodologia
Para abordar a limitação dos inputs apenas de superfície, os autores desenvolveram um framework híbrido LSTM–Vision Transformer (LSTM–ViT). Esta arquitetura integra o aprendizado de sequências temporais de dados de superfície com o processamento baseado em atenção de perfis atmosféricos resolvidos verticalmente.

• Fontas de Dados: O modelo utiliza dados da New York State Mesonet (NYSM), combinando:
  • Rede Padrão: 127 estações de superfície fornecendo 16 variáveis meteorológicas (ex: temperatura, vento, umidade, precipitação).
  • Rede de Perfiladores: 17 estações equipadas com radiômetros de micro-ondas (MWR) fornecendo perfis verticais (da superfície até 5 km) de temperatura, umidade, conteúdo de água líquida e outras variáveis em intervalos de 10 minutos.
  • Previsões HRRR: Três versões do modelo HRRR (v2, v3, v4) servindo como as previsões de base a serem corrigidas.
• Arquitetura:
  • Codificador LSTM: Processa a sequência temporal de observações de superfície e campos de previsão do HRRR, comprimindo o histórico atmosférico recente em um estado latente.
  • Codificador Vision Transformer (ViT): Trata os dados do MWR como matrizes semelhantes a imagens (Tempo × Altura × Variável). Ele achata as dimensões tempo-altura em tokens e utiliza atenção de múltiplas cabeças (multi-headed self-attention) para aprender as relações entre observações em diferentes altitudes e tempos. Embeddings posicionais e temporais são adicionados para preservar a estrutura do perfil vertical.
  • Mecanismo de Fusão: As representações latentes dos codificadores LSTM e ViT são concatenadas e passadas por um Perceptron Multicamadas (MLP) de "fusão". Este MLP mapeia as características combinadas para o espaço do decodificador, aplicando ativação LeakyReLU e dropout para evitar overfitting.
  • Decodificador LSTM: Utiliza a representação fundida para gerar predições sequenciais de erro de previsão para tempos de antecedência específicos (1–18 horas).
  • Pós-processamento: Uma função de pós-processamento linear é aplicada para adaptar as predições a estações e variáveis individuais.
• Treinamento: Os modelos foram treinados com dados de 2018–2022, validados em dados de 2023 e testados em 2024–2025. Um método de perda focado em outliers foi empregado para melhorar a representação de eventos raros e de alto impacto.

Principais Contribuições

1. Nova Arquitetura Híbrida: O artigo introduz um framework unificado que combina a modelagem de sequência recorrente (LSTM) para a dinâmica temporal de superfície com mecanismos de atenção (ViT) para a estrutura atmosférica vertical, especificamente adaptado para a correção de erros de NWP.
2. Integração de Perfilamento Vertical: Demonstra a utilidade de incorporar perfis de radiômetros de micro-ondas em modelos de aprendizado de máquina para a predição de erro de previsão, indo além das limitações dos inputs apenas de superfície.
3. Predição de Variáveis Alvo: O framework é explicitamente treinado para prever erros de previsão para três variáveis críticas: precipitação acumulada, velocidade do vento a 10 m e temperatura a 2 m.

Resultos
O modelo híbrido LSTM–ViT foi avaliado contra o baseline LSTM e as previsões brutas do HRRR em 17 estações de perfiladores.

• Erros de Precipitação: O framework LSTM–ViT alcançou aproximadamente um aumento de duas vezes na habilidade preditiva em relação ao baseline LSTM. Reduziu significativamente a super-predição de pequenos erros positivos e melhorou a detecção de erros negativos (viés seco), embora alguma assimetria tenha persistido. Os maiores ganhos ocorreram em tempos de antecedência mais curtos (1–12 horas) e durante períodos convectivos.
• Erros de Vento: O modelo híbrido mostrou melhorias consistentes sobre o baseline LSTM, particularmente em tempos de antecedência curtos (1–10 horas). Reduziu o viés positivo sistemático observado no baseline LSTM e produziu uma representação de erro temporalmente mais equilibrada. No entanto, a predição de erro de vento permaneceu altamente dependente da estação devido ao terreno complexo e interações da PBL.
• Erros de Temperatura: O modelo LSTM–ViT melhorou em relação ao baseline LSTM em tempos de antecedência iniciais a intermediários (5–14 horas), particularmente ao capturar assinaturas de erro localizadas e temporalmente evolutivas. Desempenhou melhor que o baseline durante a inversão da PBL (meio-dia solar), mas mostrou redução de habilidade durante condições noturnas em comparação ao baseline.
• Dependência do Tempo de Antecedência (Lead Time): Em todas as variáveis, a vantagem relativa do LSTM–ViT sobre o baseline LSTM foi mais pronunciada em tempos de antecedência de previsão mais curtos. À medida que o tempo de antecedência aumentava, o valor preditivo do perfil vertical observado diminuía, e o baseline LSTM demonstrava, por vezes, uma habilidade mais estável na correção de vieses persistentes de grande escala.

Significância e Alegações
Os autores afirmam que esta pesquisa fornece um caminho fisicamente significativo para melhorar a predição de erro de previsão em sistemas operacionais de NWP. Ao combinar o aprendizado de sequência temporal com mecanismos de atenção informados verticalmente, o modelo captura características de erro de previsão associadas a processos de PBL que abordagens baseadas apenas na superfície não conseguem captar.

O estudo conclui que, embora o framework LSTM–ViT ofereça uma orientação aprimorada para previsores sobre o viés do modelo e confiança — particularmente em regimes atmosféricos de rápida evolução — as duas arquiteturas (LSTM e LSTM–ViT) exibem forças complementares. O modelo híbrico destaca-se na resolução de processos localizados e dinamicamente evolutivos em tempos de antecedência curtos, enquanto o LSTM isolado permanece eficaz na captura de vieses temporais de grande escala em tempos de antecedência estendidos. Os autores sugerem que o maior valor operacional pode residir no uso destes como componentes complementares de um framework unificado, em vez de metodologias concorrentes.

O artigo reconhece limitações, incluindo o deslocamento temporal nas predições (deslocando eventos em 1–2 horas), redução de habilidade em regimes noturnos e a necessidade de melhoria na qualidade dos dados e cobertura observacional para garantir a estabilidade do treinamento em todas as estações. Trabalhos futuros são propostos focando em Redes Neurais Bayesianas para calibração de incerteza e confiabilidade.