Does Aurora Encode Atmospheric Structure? Latent Regime Analysis and Attribution

Resumo Técnico: O Aurora Codifica a Estrutura Atmosférica? Análise de Regimes Latentes e Atribuição

Definição do Problema
Embora modelos de fundação de aprendizado profundo (DL) como o Aurora, FourCastNet e GraphCast tenham demonstrado precisão superior e eficiência computacional em comparação com a previsão numérica de tempo (NWP) tradicional, eles operam como "caixas pretas" opacas. Diferente da NWP, que se baseia em equações físicas explícitas, os modelos de DL codificam estados atmosféricos em representações latentes de alta dimensão e não interpretáveis. Essa opacidade dificulta a confiança operacional, pois os meteorologistas não podem verificar se as previsões de um modelo são fisicamente consistentes ou apenas o resultado de correlações espúrias. Embora a IA explicável (XAI) tenha sido aplicada a CNNs meteorológicas, a dinâmica interna de modelos de fundação baseados em transformers de bilhões de parâmetros permanece amplamente inexplorada. Especificamente, é desconhecido se esses modelos organizam seus espaços latentes por regimes meteorológicos distintos (ex: estações vs. tempestades) ou se conseguem atribuir previsões às corretas estruturas atmosféricas verticais em 3D.

Metodologia
Os autores investigam as representações internas do Aurora, um modelo de fundação baseado em uma arquitetura 3D Swin Transformer V2 U-Net pré-treinada em conjuntos de dados heterogêneos (ERA5, HRES, CMIP6). O estudo aborda duas questões de pesquisa centrais (RQs) utilizando o checkpoint AuroraSmallPretrained:

1. Análise de Regimes Latentes (RQ1): Para determinar se o espaço latente é organizado por regimes meteorológicos, os autores aplicaram Análise de Componentes Principais (PCA) Espacialmente Agrupada ao mapa de características latentes do gargalo ($Z$) do modelo.

   • Dados: Dados da temporada de furacões de 2005 sobre os EUA, filtrados para eventos de tempestades extremas ($v_{max} \ge 24,0$ m/s) e condições calmas ($v_{max} \le 15,0$ m/s), juntamente com segmentos sazonais.
   • Técnica: Vetores de descritores estatísticos (média, desvio padrão, RMS) foram computados para regiões espacialmente agrupadas. A Decomposição de Valores Singulares (SVD) foi usada para identificar os modos dominantes de variação.
   • Validação: O reamostragem por bootstrap ($N=1000$) foi empregada para quantificar a estabilidade dos autovetores e garantir que os padrões observados não fossem artefatos de tamanho de amostra.

2. Atribuição Local e Estrutura Vertical (RQ2): Para determinar se o modelo isola sistemas de tempestades específicos e reflete sua estrutura 3D, os autores aplicaram Propagação de Relevância por Camadas (LRP) à "Grande Tempestade de 1987".

   • Adaptação: O método LRP foi adaptado para o backbone Swin V2 envolvendo o mecanismo de autoatenção de janela deslocada para preservar o grafo computacional durante os deslocamentos espaciais cíclicos (torch.roll), garantindo a conservação da relevância.
   • Processo: Uma máscara espacial binária correspondente à região alvo (Europa) foi aplicada às ativações latentes. A relevância foi propagada de volta ao espaço de entrada para gerar mapas de calor para variáveis como temperatura, vento e pressão do Nível Médio do Mar (MSL).
   • Validação Quantitativa: Um teste de perturbação de disparo único foi realizado no setor do Atlântico Norte. Os 1% de pixels com as maiores pontuações de relevância foram mascarados, e a razão de distorção da previsão ($D$) resultante foi comparada com a máscara aleatória para verificar a fidelidade da atribuição.

Principais Resultados

• Organização Latente (RQ1): A análise revela que o espaço latente do Aurora é organizado primariamente por ciclos sazonais, em vez de eventos dinâmicos de tempestades específicos.

  • O primeiro componente principal (PC1) captura 24,1% da variação total, funcionando como um eixo sazonal que separa linearmente os regimes de inverno e verão com alta estabilidade (similaridade de cosseno de 0,998 na validação por bootstrap).
  • Inversamente, eventos de tempestades extremas não formam um cluster linearmente separável. Regimes de tempestade e calmos exibem distribuições sobrepostas, e o PC3 do regime de tempestade mostra instabilidade significativa (similaridade de cosseno de 0,650), provavelmente devido à heterogeneidade espacial de trajetórias de ciclones individuais e ao tamanho limitado da amostra.

• Atribuição e Estrutura Vertical (RQ2): A análise LRP demonstra que o modelo atenta-se a características consistentes com a estrutura vertical 3D da Grande Tempestade de 1987.

  • Foco Espacial: Ao contrário de uma linha de base onde a relevância está geograficamente travada em características estáticas (ex: topografia), a relevância do modelo para a tempestade está fortemente localizada na cabeça do ciclone e nas fronteiras frontais.
  • Coerência Vertical: A análise vertical mostra que as ativações do vento de superfície contribuem para características latentes que codificam a alta troposfera (aprox. 150 hPa). Isso sugere que o modelo aprendeu a vincular anomalias de superfície com seus drivers verticais necessários sem instrução física explícita.
  • Impacto da Perturbação: O mascaramento dos 1% de pixels identificados pelo LRP degradou a previsão (MSE) em um fator de 3,31× mais do que a máscara aleatória ($MSE_{LRP} = 5,30 \times 10^4$ vs. $MSE_{rand} = 1,60 \times 10^4$). Isso confirma que as características identificadas são drivers críticos da inferência do modelo.

Significância e Alegações
O artigo afirma que o Aurora vai além do simples reconhecimento de padrões. Apesar de ser um modelo puramente baseado em dados, ele:

1. Desmembra modos sazonais em seu espaço latente, organizando estados atmosféricos pelo ciclo anual.
2. Codifica a estrutura atmosférica vertical, vinculando com sucesso condições de superfície à dinâmica da alta atmosfera.
3. Prioriza características fisicamente relevantes sobre atalhos geográficos estáticos, conforme evidenciado pelos testes de perturbação.

Limitações
Os autores reconhecem algumas restrições:

• A análise foi realizada na versão pequena do Aurora devido a limites computacionais.
• As definições de tempestade basearam-se apenas na magnitude escalar do vento, carecendo de métricas vetoriais como vorticidade.
• A análise latente utilizou um tamanho de amostra relativamente pequeno, e a sobreposição nos regimes sazonais pode refletir as limitações de uma PCA linear para resolver topologias cíclicas.
• O estudo de atribuição focou em um único caso de tempestade, sugerindo a necessidade de uma avaliação mais ampla através de diversos fenômenos meteorológicos.