Does Aurora Encode Atmospheric Structure? Latent Regime Analysis and Attribution

Resumen Técnico: ¿Codifica Aurora la Estructura Atmosférica? Análisis de Regímenes Latentes y Atribución

Planteamiento del Problema
Aunque los modelos fundacionales de aprendizaje profundo (DL) como Aurora, FourCastNet y GraphCast han demostrado una precisión y eficiencia computacional superiores en comparación con la Predicción Numérica del Tiempo (NWP) tradicional, operan como "cajas negras" opacas. A diferencia de la NWP, que se basa en ecuaciones físicas explícitas, los modelos de DL codifican los estados atmosféricos en representaciones latentes de alta dimensión y no interpretables. Esta opacidad dificulta la confianza operativa, ya que los meteorólogos no pueden verificar si las predicciones de un modelo son físicamente consistentes o simplemente el resultado de correlaciones espurias. Aunque la IA explicable (XAI) se ha aplicado a las CNN meteorológicas, la dinámica interna de los modelos fundacionales basados en transformers de miles de millones de parámetros permanece mayormente inexplorada. Específicamente, se desconoce si estos modelos organizan sus espacios latentes por regímenes meteorológicos distintos (por ejemplo, estaciones vs. tormentas) o si pueden atribuir los pronósticos a las estructuras atmosféricas verticales 3D correctas.

Metodología
Los autores investigan las representaciones internas de Aurora, un modelo fundacional basado en una arquitectura 3D Swin Transformer V2 U-Net preentrenada en conjuntos de datos heterogéneos (ERA5, HRES, CMIP6). El estudio aborda dos preguntas de investigación centrales (RQ) utilizando el checkpoint AuroraSmallPretrained:

1. Análisis de Regímenes Latentes (RQ1): Para determinar si el espacio latente está organizado por regímenes meteorológicos, los autores aplicaron un Análisis de Componentes Principales (PCA) con Agrupación Espacial al mapa de características latentes del cuello de botella ($Z$) del modelo.

   • Datos: Datos de la temporada de huracanes de 2005 sobre EE. UU., filtrados para eventos de tormentas extremas ($v_{max} \ge 24.0$ m/s) y condiciones de calma ($v_{max} \le 15.0$ m/s), junto con segmentos estacionales.
   • Técnica: Se computaron vectores de descriptores estadísticos (media, desviación estándar, RMS) para regiones agrupadas espacialmente. Se utilizó la Descomposición en Valores Singulares (SVD) para identificar los modos dominantes de variación.
   • Validación: Se empleó el remuestreo de bootstrap ($N=1000$) para cuantificar la estabilidad de los autovectores y asegurar que los patrones observados no fueran artefactos del tamaño de la muestra.

2. Atribución Local y Estructura Vertical (RQ2): Para determinar si el modelo aísla sistemas de tormentas específicos y refleja su estructura 3D, los autores aplicaron la Propagación de Relevancia por Capas (LRP) a la "Gran Tormenta de 1987".

   • Adaptación: El método LRP se adaptó al backbone Swin V2 envolviendo el mecanismo de autoatención de ventana desplazada para preservar el grafo computacional durante los desplazamientos espaciales cíclicos (torch.roll), asegurando la conservación de la relevancia.
   • Proceso: Se aplicó una máscara espacial binaria correspondiente a la región objetivo (Europa) a las activaciones latentes. La relevancia se propagó hacia atrás al espacio de entrada para generar mapas de calor para variables como temperatura, viento y presión de Nivel Medio del Mar (MSL).
   • Validación Cuantitativa: Se realizó una prueba de perturbación de un solo disparo en el sector del Atlántico Norte. Se enmascararon los píxeles con los puntajes de relevancia más altos (el 1% superior) y la relación de distorsión del pronóstico resultante ($D$) se comparó con el enmascaramiento aleatorio para verificar la fidelidad de la atribución.

Resultados Clave

• Organización Latente (RQ1): El análisis revela que el espacio latente de Aurora está organizado principalmente por ciclos estacionales en lugar de eventos de tormentas dinámicas específicas.

  • El primer componente principal (PC1) captura el 24.1% de la varianza total, funcionando como un eje estacional que separa linealmente los regímenes de invierno e verano con alta estabilidad (similitud de coseno de 0.998 en la validación de bootstrap).
  • Por el contrario, los eventos de tormentas extremas no forman un grupo linealmente separable. Los regímenes de tormenta y calma exhiben distribuciones superpuestas, y el PC3 del régimen de tormenta muestra una inestabilidad significativa (similitud de coseno de 0.650), probablemente debido a la heterogeneidad espacial de las trayectorias de los ciclones individuales y al tamaño limitado de la muestra.

• Atribución y Estructura Vertical (RQ2): El análisis LRP demuestra que el modelo presta atención a características consistentes con la estructura vertical 3D de la Gran Tormenta de 1987.

  • Enfoque Espacial: A diferencia de un baseline donde la relevancia está geográficamente anclada a características estáticas (por ejemplo, topografía), la relevancia del modelo para la tormenta está fuertemente localizada en la cabeza del ciclón y los límites frontales.
  • Coherencia Vertical: El análisis vertical muestra que las activaciones del viento en superficie contribuyen a las características latentes que codifican la troposfera superior (aprox. 150 hPa). Esto sugiere que el modelo ha aprendido a vincular las anomalías de superficie con sus impulsores verticales necesarios sin instrucción física explícita.
  • Impacto de la Perturbación: El enmascaramiento del 1% superior de los píxeles identificados por LRP degradó el pronóstico (MSE) un factor de 3.31× más que el enmascaramiento aleatorio ($MSE_{LRP} = 5.30 \times 10^4$ vs. $MSE_{rand} = 1.60 \times 10^4$). Esto confirma que las características identificadas son impulsores críticos de la inferencia del modelo.

Significancia y Reivindicaciones
El artículo afirma que Aurora va más allá del simple reconocimiento de patrones. A pesar de ser un modelo puramente basado en datos, este:

1. Desentrelaza los modos estacionales en su espacio latente, organizando los estados atmosféricos por el ciclo anual.
2. Codifica la estructura atmosférica vertical, vinculando con éxito las condiciones de superficie con la dinámica de la atmósfera superior.
3. Prioriza características físicamente relevantes sobre atajos geográficos estáticos, como lo demuestra la prueba de perturbación.

Limitaciones
Los autores reconocen ciertas restricciones:

• El análisis se realizó en la versión pequeña de Aurora debido a limitaciones computacionales.
• Las definiciones de tormenta dependieron únicamente de la magnitud escalar del viento, careciendo de métricas vectoriales como la vorticidad.
• El análisis latente utilizó un tamaño de muestra relativamente pequeño, y la superposición en los regímenes estacionales puede reflejar las limitaciones de un PCA lineal para resolver topologías cíclicas.
• El estudio de atribución se centró en un único caso de tormenta, lo que sugiere la necesidad de una evaluación más amplia a través de diversos fenómenos meteorológicos.