A Hybrid LSTM--Vision Transformer Architecture for Predicting HRRR Forecast Errors

Resumen Técnico: Una arquitectura híbrida de LSTM–Vision Transformer para la predicción de errores de pronóstico del HRRR

Planteamiento del problema
Los sistemas de Predicción Numérica del Tiempo (NWP) de alta resolución, como el modelo High-Resolution Rapid Refresh (HRRR), exhiben errores sistemáticos de pronóstico que a menudo están vinculados a procesos no resueltos de la capa límite planetaria (PBL), la convección y las circulaciones inducidas por el terreno. Investigaciones previas (Evans et al., 2025) demostraron que las redes de Memoria de Corto Plazo de Largo Ámbito (LSTM) podían predecir con éxito estos errores utilizando observaciones de mesonet de superficie. Sin embargo, ese trabajo identificó una limitación crítica: el rendimiento se degradaba significativamente durante periodos de evolución atmosférica vertical compleja, lo que sugiere que los datos únicamente de superficie son insuficientes para capturar las estructuras atmosféricas que impulsan estos errores.

Metodología
Para abordar la limitación de las entradas de solo superficie, los autores desarrollaron un marco híbrido de LSTM–Vision Transformer (LSTM–ViT). Esta arquitectura integra el aprendizaje de secuencias temporales de datos de superficie con el procesamiento basado en atención de perfiles atmosféricos resueltos verticalmente.

• Fuentes de datos: El modelo utiliza datos de la Red de Mesonet del Estado de Nueva York (NYSM), combinando:
  • Red Estándar: 127 estaciones de superficie que proporcionan 16 variables meteorológicas (p. ej., temperatura, viento, humedad, precipitación).
  • Red de Perfiladores: 17 estaciones equipadas con radiómetros de microondas (MWR) que proporcionan perfiles verticales (desde la superficie hasta los 5 km) de temperatura, humedad, contenido de agua líquida y otras variables a intervalos de 10 minutos.
  • Pronósticos HRRR: Tres versiones del modelo HRRR (v2, v3, v4) que sirven como pronósticos base para ser corregidos.
• Arquitectura:
  • Codificador LSTM: Procesa la secuencia temporal de las observaciones de superficie y los campos de pronóstico del HRRR, comprimiendo el historial atmosférico reciente en un estado latente.
  • Codificador Vision Transformer (ViT): Trata los datos del MWR como arreglos similares a imágenes (Tiempo × Altura × Variable). Aplana las dimensiones de tiempo-altura en tokens y utiliza atención propia de múltiples cabezales para aprender las relaciones entre observaciones en diferentes altitudes y tiempos. Se añaden incrustaciones (embeddings) posicionales y temporales para preservar la estructura del perfil vertical.
  • Mecanismo de Fusión: Las representaciones latentes de los codificadores LSTM y ViT se concatenan y se pasan a través de un Perceptrón Multicapa (MLP) de "fusión". Este MLP mapea las características combinadas al espacio del decodificador, aplicando activación LeakyReLU y dropout para prevenir el sobreajuste.
  • Decodificador LSTM: Utiliza la representación fusionada para generar predicciones secuenciales de error de pronóstico para tiempos de adelanto específicos (1–18 horas).
  • Post-procesamiento: Se aplica una función de post-procesamiento lineal para adaptar las predicciones a estaciones y variables individuales.
• Entrenamiento: Los modelos fueron entrenados con datos de 2018–2022, validados con datos de 2023 y probados con datos de 2024–2025. Se empleó una función de pérdida centrada en valores atípicos para mejorar la representación de eventos raros de alto impacto.

Contribuciones Clave

1. Arquitectura Híbrida Novedosa: El artículo introduce un marco unificado que combina el modelado de secuencias recurrentes (LSTM) para la dinámica superficial temporal con mecanismos de atención (ViT) para la estructura atmosférica vertical, diseñado específicamente para la corrección de errores de NWP.
2. Integración de Perfilado Vertical: Demuestra la utilidad de incorporar perfiles de radiómetros de microondas en modelos de aprendizaje automático para la predicción de errores de pronóstico, yendo más allá de las limitaciones de las entradas basadas únicamente en la superficie.
3. Predicción de Variables Específicas: El marco está entrenado explícitamente para predecir errores de pronóstico para tres variables críticas: precipitación acumulada, velocidad del viento a 10 m y temperatura a 2 m.

Resultados
El modelo híbrido LSTM–ViT fue evaluado contra el LSTM base y los pronósticos brutos del HRRR a través de 17 estaciones de perfiladores.

• Errores de Precipitación: El marco LSTM–ViT logró aproximadamente un aumento del doble en la capacidad predictiva en relación con el LSTM base. Redujo significativamente la sobrepredicción de pequeños errores positivos y mejoró la detección de errores negativos (sesgo seco), aunque persistió cierta asimetría. Las mayores ganancias ocurrieron en tiempos de adelanto cortos (1–12 horas) y durante periodos convectivos.
• Errores de Viento: El modelo híbrico mostró mejoras consistentes sobre el LSTM base, particularmente en tiempos de adelanto cortos (1–10 horas). Redujo el sesgo positivo sistemático observado en el LSTM base y produjo una representación de error más equilibrada temporalmente. Sin embargo, la predicción del error del viento siguió dependiendo fuertemente de la estación debido a la compleja topografía local e interacciones de la PBL.
• Errores de Temperatura: El modelo LSTM–ViT mejoró respecto al LSTM base en los tiempos de adelanto tempranos e intermedios (5–14 horas), particularmente al capturar firmas de error localizadas y en evolución temporal. Funcionó mejor que el base durante el vuelco de la PBL (mediodía solar), pero mostró una reducción en la capacidad durante condiciones nocturnas en comparación con el base.
• Dependencia del Tiempo de Adelanto: En todas las variables, la ventaja relativa del LSTM–ViT sobre el LSTM base fue más pronunciada en los tiempos de adelanto de pronóstico más cortos. A medida que el tiempo de adelanto aumentaba, el valor predictivo del perfil vertical observado disminuía, y el LSTM base a veces demostraba una capacidad más estable para corregir sesgos persistentes de gran escala.

Significancia y Reivindicaciones
Los autores afirman que esta investigación proporciona una vía físicamente significativa para mejorar la predicción de errores de pronóstico en sistemas operativos de NWP. Al combinar el aprendizaje de secuencias temporales con mecanismos de atención informados verticalmente, el modelo captura características de error de pronóstico asociadas con procesos de la PBL que los enfoques basados solo en la superficie no logran captar.

El estudio concluye que, si bien el marco LSTM–ViT ofrece una guía mejorada para los pronosticadores respecto al sesgo del modelo y la confianza —especialmente en regímenes atmosféricos que evolucionan rápidamente—, las dos arquitecturas (LSTM y LSTM–ViT) exhiben fortalezas complementarias. El modelo híbrido destaca en la resolución de procesos localizados y dinámicamente evolutivos en tiempos de adelanto cortos, mientras que el LSTM independiente sigue siendo efectivo para capturar sesgos de gran escala y temporalmente persistentes en tiempos de adelanto extendidos. Los autores sugieren que el mayor valor operativo podría residir en el uso de estos como componentes complementarios de un marco unificado en lugar de metodologías competidoras.

El documento reconoce limitaciones, incluyendo el desplazamiento temporal en las predicciones (desplazando eventos por 1–2 horas), la reducción de la capacidad en regímenes nocturnos y la necesidad de mejorar la calidad de los datos y la cobertura observacional para asegurar la estabilidad del entrenamiento en todas las estaciones. El trabajo futuro propuesto se centrará en Redes Neuronales Bayesianas para la calibración de la incertidumbre y la fiabilidad.