Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

Technische Samenvatting: Clustering-gestuurde Domeinspecifieke Pretrained Foundation Model voor Zeer Hoge Resolutie Arctische Remote Sensing

Probleemstelling
Ondanks de ongekende beschikbaarheid van Earth Observation (EO) data, blijven enorme archieven onderbenut voor wetenschappelijke synthese. Een centrale uitdaging in de geoinformatica is het transformeren van grote, heterogene remote sensing-datasets naar wetenschappelijk bruikbare producten. Hoewel recente vooruitgang in self-supervised learning en foundation models (bijv. Masked Autoencoders of MAEs) veelbelovend is gebleken in computer vision, is de directe toepassing ervan op remote sensing niet triviaal. Remote sensing-beelden verschillen fundamenteel van alledaagse afbeeldingen; "geo-objecten" zijn emergente eigenschappen van schaal, ruimtelijke context en temporele processen, in plaats van discrete visuele instanties. Bovendien zijn bestaande Remote Sensing Foundation Models (RSFMs), zoals Prithvi-EO-2.0, primair getraind op medium- tot grovere resolutie data of datasets met gemengde resolutie. Dit roept de vraag op of een enkel gegeneraliseerd model in staat is om diverse aardse systeemprocessen adequaat te representeren, of dat domeinadaptatie noodzakelijk is om omgeving-specifieke patronen te vangen, met name in het Arctisch gebied waar snelle klimaatgestuurde veranderingen en fijnmazige permafrost-kenmerken (bijv. ijspekelpolygonen, retrogressieve thermokarst-slumps) zeer hoge ruimtelijke resolutie (VHSR) analyse vereisen.

Methodologie
De studie stelt een nieuw framework voor voor de ontwikkeling van een op het Arctisch gebied gericht RSFM door middel van de combinatie van diversiteit-bewuste regionale schaal beeldcuratie met MAE self-supervised pretraining van een Vision Transformer (ViT) encoder. De methodologie bestaat uit vijf kerncomponenten:

1. Data Curatie en Sampling:

   • Bron: De auteurs maakten gebruik van 267 TB aan Vantor VHSR multispectrale satellietbeelden (ca. 0,5 m resolutie) die meer dan 5 miljoen km² van de Arctische permafrost-tundra ecoregio beslaan.
   • Strategie: Om oversampling van visueel repetitieve of informatiearme gebieden te voorkomen, werd een twee-fasen clustering-workflow toegepast.
     • Fase 1 (Scene-niveau): Ongeveer 32.000 kandidaat-scenes werden gekarakteriseerd met behulp van spectrale descriptoren (per-band gemiddelde/SD) en acquisitie-metadata. Affinity-propagation clustering werd gebruikt om representatieve scene-exemplaren te selecteren zonder het aantal clusters vooraf te specificeren.
     • Fase 2 (Chip-niveau): Geselecteerde scenes werden gepartitioneerd in niet-overlappende 1024x1024 pixel chips. Deze chips werden verder gekarakteriseerd door spectrale statistieken en Gabor-gebaseerde textuurkenmerken. Een tweede affinity-propagation clustering stap selecteerde representatieve chip-exemplaren binnen elke scene.
   • Resultaat: Dit proces cureerde ongeveer 3 miljoen representatieve trainingspatches, wat zorgde voor een brede scene-diversiteit terwijl redundantie werd verminderd.

2. Pretraining Architectuur:

   • Model: Een ViT-Large encoder werd gepretrained met een domein-geadapteerd MAE-doel.
   • Loss Functie: Het reconstructie-doel combineerde een covariantie-bewuste Mahalanobis-term en een Spectral Angle Mapper (SAM) term om zowel multivariate spectrale afwijking als spectrale-vorm consistentie te vangen, wat de spectrale gedragingen van remote sensing beter reflecteert dan standaard pixel-wise loss.
   • Training: Het model werd getraind op 16 compute nodes (totaal 64 GPU's) gedurende 800 epochs. Checkpoints werden geëvalueerd op downstream validatie-taken om de uiteindelijke gewichten te selecteren, in plaats van uitsluitend te vertrouwen op de reconstructie-loss.

3. Downstream Evaluatie:

   • De gepretrainde encoder werd geïntegreerd in het ViTDetLoc framework (een transformer-gebaseerde detectie- en segmentatiearchitectuur uitgebreid met locatie-embeddings).
   • Datasets: Het model werd gefinetuned en geëvalueerd op vier hand-gelabelde Arctische feature-mapping datasets:
     • Door mensen gebouwde infrastructuur (gebouwen, wegen, tanks).
     • Ijspekelpolygonen (IWP).
     • Retrogressieve thermokarst-slumps (RTS).
     • Tundra capillaire netwerken (TCNs).
   • Baselines: Prestaties werden vergeleken met een ImageNet-geïnitialiseerde ViT-Large baseline en het algemene Earth foundation model, Prithvi-EO-2.0.

Belangrijkste Bijdragen

• Domeinspecifieke Curatie: Het artikel introduceert een schaalbare, diversiteit-bewuste samplingstrategie die trainingsdata selecteert op basis van werkelijke beeldkenmerken (spectraal, textuur, metadata) in plaats van grove landbedekkingslabels, waarmee de fijnmazige variabiliteit inherent aan VHSR Arctische beelden wordt geadresseerd.
• Arctisch-Specifiek Foundation Model: De ontwikkeling van een RSFM die specifiek is gepretrained op gecureerde Arctische VHSR-beelden, wat aantoont dat domein-geadapteerde self-supervised pretraining meer overdraagbare representaties oplevert voor fijnmazige Arctische mapping dan algemene modellen.
• Validatie op Sparse Features: De studie valideert het model op uitdagende, schaarse en visueel subtiele Arctische kenmerken (bijv. capillaire netwerken en thermokarst-slumps) waarbij standaard modellen vaak moeite hebben.

Resultaten

• Curatie Analyse: Terwijl random sampling subsets produceerde met lagere Wasserstein-afstanden tot het volledige archief (wat duidt op een nauwere afstemming van de marginale distributie), resulteerde de clustering-gebaseerde aanpak in een grotere dispersie in de descriptor-ruimte. Dit bevestigde dat de curatie-strategie erin slaagde de diversiteit te prioriteren en redundantie te verminderen, waardoor het model werd blootgesteld aan een breder scala aan visuele en acquisitie-condities.
• Downstream Prestaties:
  • Het Arctische MAE-gepretrainde model presteerde consequent beter dan de ImageNet-geïnitialiseerde baseline over alle vier de taken, met verbeteringen van ongeveer 5–8 procentpunt in de foreground mean F1 score.
  • Specifieke foreground mean F1 scores voor de Arctische MAE waren: 0,87 (Infrastructuur), 0,72 (IWP), 0,93 (RTS) en 0,87 (TCNs).
  • Cruciaal is dat het voorgestelde model Prithvi-EO-2.0 in alle downstream vergelijkingen overtrof, met ten minste een verbetering van 15%. De auteurs schrijven dit toe aan de resolutie-mismatch (Prithvi gebruikt 30m data versus 0,5m Vantor) en de domeinverschuiving, wat suggereert dat cross-resolutie transfer van algemene modellen onvoldoende is voor gespecialiseerde, fijnmazige Arctische taken.

Significantie en Claims
Het artikel claimt dat het optimaliseren van de pretraining data-distributie op regionale schaal, terwijl de architectuur en MAE-doel vast blijven, een herbruikbare, domeinspecifieke encoder kan produceren voor meerdere VHSR remote sensing toepassingen. De auteurs stellen dat voor taken die betrokken zijn bij fijnmazige textuur, lokale morfologie en specifieke oppervlaktecondities (zoals Arctische permafrost-dynamiek), domeinspecifieke self-supervised pretraining op gecureerde beelden meer overdraagbare representaties biedt dan het vertrouwen op algemene Earth observation foundation models. Dit werk demonstreert een schaalbaar pad om grote, ongelabelde Arctische beeldarchieven te transformeren naar foundation models die downstream detectie- en segmentatietaken ondersteunen, zelfs met beperkte gelabelde data.