Bayesian Transformer for Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data

Sintesi Tecnica: Transformer Bayesiano per la mappatura della concentrazione di ghiaccio marino nell'Artico e la stima dell'incertezza

Problematica
La mappatura accurata e ad alta risoluzione della concentrazione di ghiaccio marino (SIC) nell'Artico, con una gestione affidabile dell'incertezza, è fondamentale per gli studi sul cambiamento climatico, la navigazione artica e le strategie di adattamento. Tuttavia, il raggiungimento di ciò è ostacolato da tre sfide primarie:

1. Segnature di Caratteristiche Sottili: Distinguere tra le classi di SIC nelle immagini satellitari (Radar ad Apertura Sintetica [SAR] e Microonde Passive [PM]) è difficile a causa del rumore e della dinamicità dell'ambiente marino.
2. Ambiguità del Modello: I modelli tradizionali di deep learning spesso mancano di una robusta stima dell'incertezza, portando a mappe di SIC ambigue. I metodi esistenti, come la simulazione Monte Carlo (MC) e la generazione di ensemble, forniscono approssimazioni euristiche che potrebbero non rappresentare le vere distribuzioni a posteriori.
3. Eterogeneità dei Dati: Integrare diverse fonti di dati — Sentinel-1, RADARSAT Constellation Mission (RCM) e Advanced Microwave Scanning Radiometer 2 (AMSR2) — è complesso a causa delle differenze in risoluzione, frequenza e caratteristiche di rumore.

Metodologia
Gli autori propongono un approccio Transformer Bayesiano innovativo che affronta queste sfide attraverso tre componenti integrate:

1. Architettura Transformer ad Alta Risoluzione:
   Per migliorare l'estrazione delle caratteristiche, gli autori hanno progettato un modello Transformer capace di discernere sottili pattern di ghiaccio. L'architettura consiste in due moduli distinti:

   • GloFormer (Modulo Globale): Un blocco "among token" che utilizza l'attenzione multi-testa (multi-head self-attention) per modellare il contesto globale attraverso tutti i token.
   • LoFormer (Modulo Locale): Un blocco "within token" progettato per apprendere le caratteristiche locali applicando l'auto-attenzione attraverso i patch all'interno di ogni token.
     Questi blocchi sono ripetuti quattro volte per catturare sia le caratteristiche ad alta che a bassa frequenza. Il modello è addestrato utilizzando una perdita L1 geograficamente pesata, che assegna pesi maggiori alle regioni con alta confidenza (acqua aperta, banchi di ghiaccio) e pesi minori alla zona marginale del ghiaccio, basandosi sui grafici del U.S. National Ice Center (NIC).

2. Estensione Bayesiana per la Quantificazione dell'Incertezza:
   Il Transformer viene esteso in una Rete Neurale Bayesiana (BNN) trattando i parametri del modello ($\omega$) come variabili casuali anziché come valori fissi.

   • Inferenza Variazionale: Il modello impiega la tecnica Bayes by Backpropagation (BBB) per approssimare la vera distribuzione a posteriori dei parametri utilizzando una distribuzione variaizionale gaussiana diagonale.
   • Funzione di Perdita: L'obiettivo di addestramento combina la perdita L1 geograficamente pesata con una perdita di divergenza di Kullback-Leibler (KL) per minimizzare la differenza tra la distribuzione variaizionale e la prior.
   • Output dell'Incertezza: Dopo l'addestramento, i parametri del modello vengono campionati più volte. La media predittiva ($\mu$) fornisce la stima della SIC, mentre la varianza ($\sigma^2$) quantifica l'incertezza epistemica.

3. Fusione dei Dati a Livello Decisionale:
   Per affrontare l'eterogeneità dei dati, gli autori fondono i dati Sentinel-1, RCM e AMSR2 al livello decisionale. Invece di fondere le caratteristiche grezze, i modelli generano mappe SIC e stime dell'incertezza per ogni fonte di dati indipendentemente. Questi vengono poi combinati, stabilendo una gerarchia basata sui livelli di incertezza: Sentinel-1 (incertezza più bassa) è sovrapposto, seguito da RCM e infine da AMSR2.

Contributi Chiave

• Architettura Innovativa: Introduzione di un Transformer ad alta risoluzione con moduli duali globali (GloFormer) e locali (LoFormer) specificamente adattati per il riconoscimento dei pattern del ghiaccio marino.
• Stima Robusta dell'Incertezza: Implementazione di un framework Bayesiano (BBB) che modella esplicitamente l'incertezza dei parametri, offrendo mappe di incertezza più affidabili e calibrate rispetto ai metodi euristici come MC Dropout o gli epoch ensemble.
• Strategia di Fusione Efficace: Dimostrazione che la fusione a livello decisionale di dati eterogenei SAR e PM, guidata dall'incertezza derivata dal modello, migliora sia la precisione della mappatura della SIC che la quantificazione dell'incertezza.

Risultati e Analisi
Il modello è stato testato su dataset Pan-Artici di settembre 2021. Le scoperte principali includono:

• Distribuzione dell'Incertezza: Il Transformer Bayesiano ha identificato correttamente l'incertezza più elevata nella dinamica zona marginale del ghiaccio (concentrazione 10%–90%) rispetto all'acqua aperta o ai banchi di ghiaccio densi.
• Confronto delle Prestazioni:
  • Magnitudo dell'Incertezza: Il Transformer Bayesiano ha prodotto valori di incertezza significativamente più bassi e consistenti (0,01%–0,41%) tra le diverse fonti di dati rispetto a MC Dropout (0,17%–29,16%) ed Epoch Ensemble (0,64%–14,29%).
  • Sensibilità alla Fonte di Dati: I dati Sentinel-1 hanno prodotto l'incertezza più bassa, seguiti da RCM, con AMSR2 che mostra l'incertezza più alta (probabilmente a causa di nuvole/nebbia e rumore termico). Ciò ha validato la gerarchia di fusione a livello decisionale.
  • Accuratezza: Il Transformer Bayesiano ha raggiunto la massima accuratezza per i dataset Sentinel-1 e AMSR2 e ha superato i Transformer deterministici, MC Dropout ed epoch ensemble per la maggior parte dei dataset.
• Qualità Visiva: Il modello ha preservato con successo i piccoli elementi di ghiaccio (lead e floes) visibili nelle immagini SAR, mitigando al contempo l'impatto degli effetti del vento e del rumore termico, dimostrando un'efficace regolarizzazione contro l'overfitting.

Significatività
L'articolo sostiene che il proposto Transformer Bayesiano offre un framework più affidabile per la mappatura della SIC nell'Artico rispetto agli approoli esistenti. Integrando la stima dell'incertezza direttamente nell'obiettivo di addestramento, il modello fornisce una quantificazione dell'incertezza coerente attraverso dataset eterogenei e dimostra capacità di generalizzazione più forti. Questo approccio supporta la creazione di mappe di SIC ad alta risoluzione con metriche di incertezza robuste, essenziali per il monitoraggio ambientale a lungo termine e la navigazione sicura in un Artico che cambia. Gli autori osservano che i lavori futuri esploreranno le reti neurali Bayesiane eteroschedastiche e la fusione multimodale a livello di caratteristiche.