Bayesian Transformer for Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data

Resumo Técnico: Transformer Bayesiano para Mapeamento de Concentração de Gelo Marinho Pan-Ártico e Estimativa de Incerteza

Definição do Problema
O mapeamento preciso e de alta resolução da concentração de gelo marinho (SIC) Pan-Ártico, com uma quantificação de incerteza confiável, é crítico para estudos de mudanças climáticas, navegação Ártica e estratégias de adaptação. No entanto, alcançar isso é dificultado por três desafios primários:

1. Assinaturas de Características Sutis: Distinguir entre classes de SIC em imagens de satélite (Radar de Abertura Sintética [SAR] e Micro-ondas Passivas [PM]) é difícil devido ao ruído e ao ambiente marinho dinâmico.
2. Ambiguidade do Modelo: Modelos tradicionais de aprendizado profundo frequentemente carecem de uma estimativa de incerteza robusta, levando a mapas de SIC ambíguos. Métodos existentes, como simulação de Monte Carlo (MC) e geração de ensembles, fornecem aproximações heurísticas que podem não representar as verdadeiras distribuições posteriores.
3. Heterogeneidade de Dados: Integrar diversas fontes de dados — Sentinel-1, RADARSAT Constellation Mission (RCM) e Advanced Microwave Scanning Radiometer 2 (AMSR2) — é complexo devido às diferenças de resolução, frequência e características de ruído.

Metodologia
Os autores propõem uma abordagem de Transformer Bayesiano inovadora que aborda esses desafios através de três componentes integrados:

1. Arquitetura de Transformer de Alta Resolução:
   Para melhorar a extração de características, os autores projetaram um modelo Transformer capaz de discernir padrões de gelo sutis. A arquitetção consiste em dois módulos distintos:

   • GloFormer (Módulo Global): Um bloco "entre tokens" que utiliza autoatenção de múltiplas cabeças para modelar o contexto global em todos os tokens.
   • LoFormer (Módulo Local): Um bloco "dentro do token" projetado para aprender características locais aplicando autoatenção através de patches dentro de cada token.
     Estes blocos são repetidos quatro vezes para capturar características de alta e baixa frequência. O modelo é treinado usando uma perda L1 geograficamente ponderada, que atribui pesos maiores a regiões de confiança (água aberta, massa de gelo) e pesos menores à zona de gelo marginal, baseando-se em cartas do Centro de Gelo dos EUA (NIC).

2. Extensão Bayesiana para Quantificação de Incerteza:
   O Transformer é estendido para uma Rede Neural Bayesiana (BNN) ao tratar os parâmetros do modelo ($\omega$) como variáveis aleatórias em vez de valores fixos.

   • Inferência Variacional: O modelo emprega Bayes by Backpropagation (BBB) para aproximar a verdadeira distribuição posterior dos parâmetros usando uma distribuição variacional Gaussiana diagonal.
   • Função de Perda: O objetivo de treinamento combina a perda L1 geograficamente ponderada com uma perda de divergência de Kullback-Leibler (KL) para minimizar a diferença entre a distribuição variacional e a priori.
   • Saída de Incerteza: Após o treinamento, os parâmetros do modelo são amostrados múltiplas vezes. A média preditiva ($\mu$) fornece a estimativa de SIC, enquanto a variância ($\sigma^2$) quantifica a incerteza epistêmica.

3. Fusão de Dados em Nível de Decisão:
   Para abordar a heterogeneidade dos dados, os autores fundem dados Sentinel-1, RCM e AMSR2 no nível de decisão. Em vez de fundir características brutas, os modelos geram mapas de SIC e estimativas de incerteza para cada fonte de dados de forma independente. Estes são então combinados, estabelecendo-se uma hierarquia baseada nos níveis de incerteza: o Sentinel-1 (menor incerteza) é sobreposto, seguido pelo RCM e, finalmente, pelo AMSR2.

Principais Contribuições

• Arquitetura Inovadora: Introdução de um Transformer de alta resolução com módulos duais de global (GloFormer) e local (LoFormer) especificamente adaptados para o reconhecimento de padrões de gelo marinho.
• Estimativa de Incerteza Robusta: Implementação de um framework Bayesiano (BBB) que modela explicitamente a incerteza dos parâmetros, oferecendo mapas de incerteza mais confiáveis e calibrados do que métodos heurísticos como MC Dropout ou ensembles de épocas.
• Estratégia de Fusão Eficaz: Demonstração de que a fusão de decisão de dados SAR e PM heterogêneos, guiada pela incerteza derivada do modelo, melhora tanto o mapeamento de SIC quanto a quantificação de incerteza.

Resultados e Análise
O modelo foi testado em conjuntos de dados Pan-Árticos de setembro de 2021. As principais descobertas incluem:

• Distribuição de Incerteza: O Transformer Bayesiano identificou corretamente a maior incerteza na zona de gelo marginal dinâmica (concentração de 10%–90%) em comparação com água aberta ou massas de gelo densas.
• Comparação de Desempenho:
  • Magnitude da Incerteza: O Transformer Bayesiano produziu valores de incerteza significativamente menores e mais consistentes (0,01%–0,41%) entre as fontes de dados em comparação com o MC Dropout (0,17%–29,16%) e o Epoch Ensemble (0,64%–14,29%).
  • Sensibilidade da Fonte de Dados: Os dados Sentinel-1 produziram a menor incerteza, seguidos pelo RCM, com o AMSR2 apresentando a maior incerteza (provavelmente devido aos impactos de nuvens/nevoeiro e ruído térmico). Isso validou a hierarquia de fusão de nível de decisão.
  • Precisão: O Transformer Bayesiano alcançou a maior precisão para os conjuntos de dados Sentinel-1 e AMSR2 e superou os Transformers determinísticos, o MC Dropout e os ensembles de épocas para a maioria dos conjuntos de dados.
• Qualidade Visual: O modelo conseguiu preservar pequenas características de gelo (canais e placas) visíveis na imagem SAR, enquanto mitigou o impacto dos efeitos do vento e do ruído térmico, demonstrando uma regularização eficaz contra o sobreajuste (overfitting).

Significância
O artigo afirma que o proposto Transformer Bayesiano oferece um framework mais confiável para o mapeamento de SIC Pan-Ártico do que as abordagens existentes. Ao integrar a estimativa de incerteza diretamente no objetivo de treinamento, o modelo fornece uma quantificação de incerteza consistente através de conjuntos de dados heterogêneos e demonstra capacidades de generalização mais fortes. Esta abordagem apoia a criação de mapas de SIC de alta resolução com métricas de incerteza robustas, que são essenciais para o monitoramento ambiental de longo prazo e navegação segura em um Ártico em mudança. Os autores observam que trabalhos futuros explorarão Redes Neurais Bayesianas heterocedásticas e fusão de nível de característica multimodal.