Heterogeneous SAR-optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset

Technische Samenvatting: Heterogene SAR–Optische Fusie voor Nabij-Real-Time LULC-Mapping onder Wolkencontaminatie

Probleemstelling
Optische remote sensing is de primaire databron voor Landgebruik en Landbedekking (LULC) mapping vanwege de rijke spectrale en texturele informatie. De betrouwbaarheid ervan wordt echter ernstig aangetast door wolk- en wolkenschaduwcontaminatie, met name in tropische, moesson- en hogere breedtegraadregio's. Deze beperking belemmert nabij-real-time of target-datum mapping, waarbij kaarten de huidige oppervlaktestaat moeten reflecteren in plaats van een tijdelijk vertraagde composiet. Bestaande oplossingen worden geconfronteerd met aanzienlijke uitdagingen: homogene temporele fusie vertrouwt op voldoende wolkvrije optische waarnemingen, die in persistent bewolkte gebieden mogelijk niet beschikbaar zijn; heterogene reconstructie-eerst methoden (waarbij SAR wordt gebruikt om optische beelden te herstellen) optimaliseren vaak voor pixel-niveau reconstructie in plaats van semantische classificatie, wat leidt tot het verlies van klasse-onderscheidende informatie; bovendien gaan bestaande end-to-end heterogene fusiemethoden vaak uit van betrouwbare optische inputs, waardoor ze er niet in slagen de ruimtelijk variërende onzekerheid geïntroduceerd door wolken adequaat aan te pakken. Verder is er een gebrek aan grootschalige, gestandaardiseerde benchmark-datasets die specifiek zijn ontworpen voor wolk-gecontamineerde SAR–optische LULC-mapping.

Methodologie: CloudLULC-Net
Om deze uitdagingen aan te pakken, stellen de auteurs CloudLULC-Net voor, een end-to-end heterogeen SAR–optisch fusiekader. In tegenstelling tot reconstructie-eerst benaderingen, voorspelt dit netwerk direct LULC-kaarten vanuit wolk-gecontamineerde Sentinel-2 optische beelden en tijdelijk aangrenzende Sentinel-1 SAR-waarnemingen. De architectuur bestaat uit vier primaire stadia:

1. Modality-Specific Feature Encoding: Dual-branch encoders extraheren kenmerken uit optische ($X_o$) en SAR ($X_s$) inputs, waarbij hun onderscheidende fysieke kenmerken (spectraal versus structureel/backscattering) behouden blijven.
2. Optical Reliability Modulation (ORM): Voordat de fusie plaatsvindt, reguleert een ORM-module adaptief de optische feature-responses. Het leert een latente betrouwbaarheidspoort (reliability gate) van de optische features zelf om onbetrouwbare responsen in wolkgevoelige regio's te onderdrukken, terwijl nuttige spectrale aanwijzingen in heldere gebieden behouden blijven. Dit wordt bereikt via een residuele contextuele branch die alternatieve representaties biedt wanneer de oorspronkelijke optische respons als onbetrouwbaar wordt beschouwd.
3. Heterogeneous Information Adaptive Aggregation (HIAA): Deze module modelleert hoog-orde ruimtelijke–kanaal interacties tussen de betrouwbaarheidsbewuste optische features en de SAR-features. Het maakt gebruik van een stapel blokken, die elk bevatten:
   • Spatial High-Order Interaction (SHOI): Gebruikt Fourier-transformatie-ondersteunde correlatiemodellering om efficiënt lang-afstands cross-modale ruimtelijke afhankelijkheden te vangen zonder de kwadratische complexiteit van standaard self-attention.
   • Channel High-Order Interaction (CHOI): Recalibreert kanaalsgewijze spectrale–structurele responsen op basis van de ruimtelijk geïnteracteerde features, en weegt informatieve kanalen adaptief.
4. Unified Semantic Mapping Transformer (USMT): In plaats van beelden te reconstrueren, worden de gefuseerde tokens getransformeerd naar een taakgerichte LULC semantische latente ruimte met behulp van een Diffusion Transformer (DiT)-stijl architectuur. Dit organiseert heterogene features in een verenigde semantische ruimte die is uitgelijnd met landbedekkingscategorieën.
5. Semantic Anchor-Guided Optimization: Tijdens de training wordt de intermediaire semantische latente representatie geregulariseerd met behulp van een label-afgeleide semantische anker. Deze strategie stemt de gefuseerde SAR–optische features af op de grondwaarheid (ground-truth) semantische structuur, wat de consistentie en robuustheid verbetert buiten de standaard pixel-gewijze classificatieverlies.

Benchmark Dataset: CloudLULC-Set
De studie introduceert CloudLULC-Set, een grootschalige benchmark-dataset bestaande uit 40.223 gecureerde triplets van wolk-gecontamineerde Sentinel-2 beelden, tijdelijk aangrenzende Sentinel-1 SAR-beelden en pixel-niveau LULC-annotaties.

• Scope: Beslaat 48 regio's van belang (ROIs) wereldwijd, verspreid over diverse klimaten en landbedekkingstypes.
• Annotatie: Labels zijn gegenereerd via expertinterpretatie met behulp van tijdelijk aangrenzende wolkvrije optische beelden als primaire referenties, wat zorgt voor temporele consistentie met de target-datum in plaats van te vertrouwen op jaarlijkse landgebruikproducten.
• Classes: Zes verenigde categorieën: Water, Bos, Grasland, Akkerbouw, Onbebouwd land en Bebouwde kom.
• Condities: Bevat aanzienlijke variabiliteit in wolkendekking, waarbij maandelijkse gemiddelden in representatieve studiegebieden vaak de 40% overschrijden.

Experimentele Resultaten
Uitgebreide experimenten op CloudLULC-Set tonen aan dat CloudLULC-Net zowel heterogene reconstructie-eerst als end-to-end mapping baselines overtreft:

• Prestaties: Bereikt een Overall Accuracy (OA) van 86,60%, een F1-score van 83,29% en een gemiddelde Intersection over Union (mIoU) van 73,51%. Dit is een significante verbetering ten opzichte van de sterkste baseline (SegCR), die 85,66% OA en 72,73% mIoU behaalde.
• Efficiëntie: Het model behoudt een hoge computationele efficiëntie met een inferentiesnelheid van 42,27 FPS en 20,51 G FLOPs, waarmee het veel complexe baselines overtreft in snelheid terwijl het de computationele kosten verlaagt.
• Robuustheid: De prestaties blijven superieur bij variërende niveaus van wolkendekking (0–100%). Hoewel alle methoden achteruitgaan bij toenemende wolkendekking, vertoont CloudLULC-Net een tragere daling, met name in het bereik van 40–80% wolkendekking.
• Ablatie studies: Bevestigen dat elk component significant bijdraagt. De HIAA-module (specifiek de combinatie van SHOI en CHOI) levert de grootste prestatiewinst, gevolgd door de semantic anchor-guided optimalisatie en ORM.
• Externe Validatie: Bij vergelijking met bestaande globale LULC-producten (bijv. ESA WorldCover, Esri Land Cover, Google Dynamic World) in Maryland (VS) en Tamil Nadu (India), behaalde CloudLULC-Net een hogere nauwkeurigheid, met name in gefragmenteerde bebouwde en landbouwgebieden onder zware bewolking waar optische-only producten faalden of incompleet waren.

Significantie en Claims
Het artikel claimt dat CloudLULC-Net een robuuste oplossing biedt voor target-date LULC-mapping in wolkgevoelige regio's, waarmee een kritiek gat wordt gedicht waar bestaande globale producten vertrouwen op jaarlijkse composieten of falen door wolkblokkades. Door wolk-gecontamineerde optische data direct te fuseren met SAR-waarnemingen op een end-to-end wijze, vermijdt het framework de semantische degradatie die gepaard gaat met intermediaire beeldreconstructie. De auteurs benadrukken dat het voorgestelde framework fijnmazige seizoensanalyse mogelijk maakt (bijv. hydrologische monitoring in het Poyang Lake-bekken) waar wachten op wolkvrije optische data niet haalbaar is. De introductie van CloudLULC-Set biedt een gestandaardiseerd evaluatieprotocol voor toekomstig onderzoek in dit specifieke domein, waarbij verder wordt gekeken dan algemene multimodale fusie om de specifieke uitdagingen van wolk-geïnduceerde semantische onzekerheid aan te pakken. Het werk demonstreert dat het integreren van SAR structurele cues met betrouwbaarheidsbewuste optische modulatie effectief de kloof kan overbruggen tussen gedegradeerde optische waarnemingen en accurate landbedekkingsclassificatie.