Bayesian Transformer for Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data

Resumen Técnico: Transformer Bayesiano para el Mapeo de la Concentración de Hielo Marino en el Ártico Pan-Ártico y la Estimación de la Incertidumbre

Planteamiento del Problema
El mapeo preciso y de alta resolución de la concentración de hielo marino (SIC, por sus siglas en inglés) en el Ártico pan-ártico, con una cuantificación de la incertidumbre fiable, es crítico para los estudios del cambio climático, la navegación ártica y las estrategias de adaptación. Sin embargo, lograr esto se ve obstaculizado por tres desafíos primarios:

1. Signaturas de Características Sutiles: Distinguir entre las clases de SIC en imágenes satelitales (Radar de Apertura Sintética [SAR] y Microondas Pasivas [PM]) es difícil debido al ruido y al entorno marino dinámico.
2. Ambigüedad del Modelo: Los modelos de aprendizaje profundo tradicionales suelen carecer de una estimación de la incertidumbre robusta, lo que genera mapas de SIC ambiguos. Los métodos existentes, como la simulación de Monte Carlo (MC) y la generación de ensambles, proporcionan aproximaciones heurísticas que pueden no representar las distribuciones posteriores reales.
3. Heterogeneidad de los Datos: Integrar diversas fuentes de datos —Sentinel-1, la Misión de Constelación RADARSAT (RCM) y el Radiómetro de Escaneo de Microondas Avanzado 2 (AMSR2)— es complejo debido a las diferencias en resolución, frecuencia y características de ruido.

Metodología
Los autores proponen un enfoque novedoso de Transformer Bayesiano que aborda estos desafíos a través de tres componentes integrados:

1. Arquitectura de Transformer de Alta Resolución:
   Para mejorar la extracción de características, los autores diseñaron un modelo Transformer capaz de discernir patrones de hielo sutiles. La arquitectura consta de dos módulos distintos:

   • GloFormer (Módulo Global): Un bloque de "entre tokens" que utiliza la atención de múltiples cabezales para modelar el contexto global a través de todos los tokens.
   • LoFormer (Módulo Local): Un bloque de "dentro del token" diseñado para aprender características locales aplicando la autoatención a través de parches dentro de cada token.
     Estos bloques se repiten cuatro veces para capturar tanto características de alta como de baja frecuencia. El modelo se entrena utilizando una pérdida L1 geográficamente ponderada, que asigna pesos más altos a las regiones de confianza (agua abierta, paquete de hielo) y pesos más bajos a la zona de hielo marginal, basándose en los mapas del Centro de Hielo de los EE. UU. (NIC).

2. Extensión Bayesiana para la Cuantificación de la Incertidumbre:
   El Transformer se extiende a una Red Neuronal Bayesiana (BNN) tratando los parámetros del modelo ($\omega$) como variables aleatorias en lugar de valores fijos.

   • Inferencia Variacional: El modelo emplea Bayes por Retropropagación (BBB) para aproximar la verdadera distribución posterior de los parámetros utilizando una distribución variacional gaussiana diagonal.
   • Función de Pérdida: El objetivo de entrenamiento combina la pérdida L1 geográficamente ponderada con una pérdida de divergencia de Kullback-Leibler (KL) para minimizar la diferencia entre la distribución variacional y la previa.
   • Salida de Incertidumbre: Tras el entrenamiento, los parámetros del modelo se muestrean múltiples veces. La media predictiva ($\mu$) proporciona la estimación de la SIC, mientras que la varianza ($\sigma^2$) cuantifica la incertidumbre epistémica.

3. Fusión de Datos a Nivel de Decisión:
   Para abordar la heterogeneidad de los datos, los autores fusionan los datos de Sentinel-1, RCM y AMSR2 al nivel de decisión. En lugar de fusionar características puras, los modelos generan mapas de SIC y estimaciones de incertidumbre para cada fuente de datos de forma independiente. Estos se combinan, estableciendo una jerarquía basada en los niveles de incertidumbre: Sentinel-1 (incertidumbre más baja) se superpone, seguido de RCM, y finalmente AMSR2.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de un Transformer de alta resolución con módulos duales globales (GloFormer) y locales (LoFormer) específicamente adaptados para el reconocimiento de patrones de hielo marino.
• Estimación de Incertidumbre Robusta: Implementación de un marco Bayesiano (BBB) que modela explícitamente la incertidumbre de los parámetros, ofreciendo mapas de incertidumbre más fiables y calibrados en comparación con métodos heurísticos como MC Dropout o ensambles de épocas.
• Estrategia de Fusión Efectiva: Demostración de que la fusión a nivel de decisión de datos SAR y PM heterogéneos, guiada por la incertidumbre derivada del modelo, mejora tanto el mapeo de la SIC como la cuantificación de la incertidumbre.

Resultados y Análisis
El modelo fue probado con conjuntos de datos del Ártico pan-ártico de septiembre de 2021. Los hallazgos clave incluyen:

• Distribución de la Incertidumbre: El Transformer Bayesiano identificó correctamente una mayor incertidumbre en la zona de hielo marginal dinámica (concentración del 10% al 90%) en comparación con el agua abierta o los paquetes de hielo densos.
• Comparación de Desempeño:
  • Magnitud de la Incertidumbre: El Transformer Bayesiano produjo valores de incertidumbre significativamente más bajos y consistentes (0.01%–0.41%) entre las fuentes de datos en comparación con MC Dropout (0.17%–29.16%) y el Ensamble de Épocas (0.64%–14.29%).
  • Sensibilidad de la Fuente de Datos: Los datos de Sentinel-1 arrojaron la menor incertidumbre, seguidos de RCM, con AMSR2 mostrando la mayor incertidumbre (probablemente debido a impactos de nubes/niebla y ruido térmico). Esto validó la jerarquía de fusión a nivel de decisión.
  • Precisión: El Transformer Bayesiano logró la mayor precisión para los conjuntos de datos Sentinel-1 y AMSR2, y superó a los Transformers deterministas, a MC Dropout y a los ensambles de épocas en la mayoría de los conjuntos de datos.
• Calidad Visual: El modelo preservó con éxito las pequeñas características de hielo (canales y témpanos) visibles en las imágenes SAR, mitigando al mismo tiempo el impacto de los efectos del viento y el ruido térmico, demostando una regularización efectiva contra el sobreajuste.

Significancia
El artículo afirma que el Transformer Bayesiano propuesto ofrece un marco más fiable para el mapeo de la SIC en el Ártico pan-ártico que los enfoques existentes. Al integrar la estimación de la incertidumbre directamente en el objetivo de entrenamiento, el modelo proporciona una cuantificación de la incertidumbre consistente a través de conjuntos de datos heterogéneos y demuestra capacidades de generalización más fuertes. Este enfoque respalda la creación de mapas de SIC de alta resolución con métricas de incertidumbre robustas, las cuales son esenciales para el monitoreo ambiental a largo plazo y la navegación segura en un Ártico cambiante. Los autores señalan que trabajos futuros explorarán Redes Neuronales Bayesianas heterocedásticas y la fusión de datos a nivel de características multimodales.