Bayesian Transformer for Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data

Technische Samenvatting: Bayesiaanse Transformer voor Pan-Arctische Zeeijsconcentratie-mapping en Onzekerheidsschatting

Probleemstelling
Nauwkeurige, hoogresolutie mapping van de Pan-Arctische zeeijsconcentratie (SIC) met betrouwbare onzekerheidskwantificering is cruciaal voor klimaatveranderingsstudies, Arctische navigatie en adaptatiestrategieën. Dit wordt echter bemoeilijkt door drie primaire uitdagingen:

1. Subtiele Kenmerkken: Het onderscheiden van SIC-klassen in satellietbeelden (Synthetic Aperture Radar [SAR] en Passieve Microgolf [PM]) is moeilijk vanwege ruis en de dynamische mariene omgeving.
2. Modelambiguïteit: Traditionele deep learning-modellen missen vaak robuuste onzekerheidsschatting, wat leidt tot ambigue SIC-kaarten. Bestaande methoden zoals Monte Carlo (MC)-simulaties en ensemblegeneratie bieden heuristische benaderingen die mogelijk niet de ware posterieure verdelingen vertegenwoordigen.
3. Dataheterogeniteit: Het integreren van diverse databronnen—Sentinel-1, RADARSAT Constellation Mission (RCM) en Advanced Microwave Scanning Radiometer 2 (AMSR2)—is complex vanwege verschillen in resolutie, frequentie en ruiskenmerken.

Methodologie
De auteurs stellen een innovatieve Bayesiaanse Transformer-aanpak voor die deze uitdagingen aanpakt via drie geïntegreerde componenten:

1. Hoogresolutie Transformer-architectuur:
   Om de extractie van kenmerken te verbeteren, hebben de auteurs een Transformer-model ontworpen dat in staat is om subtiele ijspatronen te onderscheiden. De architectuur bestaat uit twee afzonderlijke modules:

   • GloFormer (Globale Module): Een "among token"-blok dat gebruikmaakt van multi-head self-attention om de globale context over alle tokens te modelleren.
   • LoFormer (Lokale Module): Een "within token"-blok ontworpen om lokale kenmerken te leren door self-attention toe te passen op patches binnen elk token.
     Deze blokken worden vier keer herhaald om zowel hoog- als laagfrequente kenmerken te vangen. Het model wordt getraind met een geografisch gewogen L1-loss, die hogere gewichten toekent aan betrouwbare regio's (open water, ijsvelden) en lagere gewichten aan de marginale ijszone, gebaseerd op kaarten van het U.S. National Ice Center (NIC).

2. Bayesiaanse Uitbreiding voor Onzekerheidsschatting:
   De Transformer wordt uitgebreid tot een Bayesiaans Neuraal Netwerk (BNN) door de modelparameters ($\omega$) te behandelen als random variabelen in plaats van vaste waarden.

   • Variational Inference: Het model maakt gebruik van Bayes by Backpropagation (BBB) om de ware posterieure verdeling van de parameters te benaderen met behulp van een diagonale Gaussische variationele verdeling.
   • Verliesfunctie: Het trainingsdoel combineert de geografisch gewogen L1-loss met een Kullback-Leibler (KL)-divergentieverlies om het verschil tussen de variationele verdeling en de prior te minimaliseren.
   • Onzekerheidsoutput: Na de training worden de modelparameters meerdere keren gesampled. Het voorspellende gemiddelde ($\mu$) levert de SIC-schatting, terwijl de variantie ($\sigma^2$) de epistemische onzekerheid kwantificeert.

3. Beslissingsniveau Datafusie:
   Om dataheterogeniteit aan te pakken, fuseren de auteurs Sentinel-1, RCM en AMSR2 data op het beslissingsniveau. In plaats van ruwe kenmerken te fuseren, genereren de modellen onafhankelijk van elkaar SIC-kaarten en onzekerheidsschattingen voor elke databron. Deze worden vervolgens gecombineerd, waarbij een hiërarchie is vastgesteld op basis van de onzekerheidsniveaus: Sentinel-1 (laagste onzekerheid) ligt als bovenste laag, gevolgd door RCM, en tenslotte AMSR2.

Belangrijkste Bijdragen

• Innovatieve Architectuur: Introductie van een hoogresolutie Transformer met duale globale (GloFormer) en lokale (LoFormer) modules, specifiek afgestemd op de herkenning van zeeijspatronen.
• Robuuste Onzekerheidsschatting: Implementatie van een Bayesiaans framework (BBB) dat de parameteronzekerheid expliciet modelleert, wat meer betrouwbare en gekalibreerde onzekerheidskaarten biedt dan heuristische methoden zoals MC Dropout of epoch ensembles.
• Effectieve Fusiestrategie: Demonstratie dat beslissingsniveau fusie van heterogene SAR- en PM-data, gestuurd door modelafgeleide onzekerheid, zowel de SIC-mapping nauwkeurigheid als de onzekerheidsschatting verbetert.

Resultaten en Analyse
Het model werd getest op Pan-Arctische datasets van september 2021. Belangrijkste bevindingen zijn:

• Onzekerheidsverdeling: De Bayesiaanse Transformer identificeerde correct hogere onzekerheid in de dynamische marginale ijszone (10%–90% concentratie) vergeleken met open water of dichte ijsvelden.
• Prestatievergelijking:
  • Onzekerheidsmagnitude: De Bayesiaanse Transformer produceerde significant lagere en consistentere onzekerheidswaarden (0,01%–0,41%) over verschillende databronnen vergeleken met MC Dropout (0,17%–29,16%) en Epoch Ensemble (0,64%–14,29%).
  • Gevoeligheid voor Databron: Sentinel-1 data leverde de laagste onzekerheid op, gevolgd door RCM, waarbij AMSR2 de hoogste onzekerheid vertoonde (waarschijnlijk door de impact van wolken/mist en thermische ruis). Dit valideerde de hiërarchie van de beslissingsniveau fusie.
  • Nauwkeurigheid: De Bayesiaanse Transformer behaalde de hoogste nauwkeurigheid voor de Sentinel-1 en AMSR2 datasets en presteerde beter dan deterministische Transformers, MC Dropout en epoch ensembles voor de meerderheid van de datasets.
• Visuele Kwaliteit: Het model slaagde erin kleine ijskenmerken (leads en ijsschotsen) te behouden die zichtbaar zijn in SAR-beelden, terwijl de impact van windeffecten en thermische ruis werd verminderd, wat een effectieve regularisatie tegen overfitting aantoont.

Betekenis
Het artikel stelt dat de voorgestelde Bayesiaanse Transformer een betrouwbaarder kader biedt voor Pan-Arctische SIC-mapping dan bestaande benaderingen. Door onzekerheidsschatting direct in het trainingsdoel te integreren, biedt het model een consistente onzekerheidskwantificering over heterogene datasets en demonstreert het een sterkere generalisatiecapaciteit. Deze aanpak ondersteunt de creatie van hoogresolutie SIC-kaarten met robuuste onzekerheidsmetrieken, die essentieel zijn voor langetermijn milieuoverwaking en veilige navigatie in een veranderend Arctisch gebied. De auteurs merken op dat toekomstig werk heteroscedastische Bayesiaanse Neurale Netwerken en multi-modale feature-level fusie zal verkennen.