Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

1. Probleemstelling

Huidige semantische segmentatie in de remote sensing staat voor drie primaire uitdagingen:

• Beperkingen van Single-Modal Data: Single-source beelden (bijv. optisch) worstelen met spectrale ambiguïteit (bijv. het onderscheiden van asfalt van schaduw) en zijn vatbaar voor weersomstandigheden. Hoewel multi-modale benaderingen (combinatie van Optisch en SAR) bestaan, vertrouwen deze vaak op eenvoudige feature-concatenatie of gewogen gemiddelden, waardoor ze complexe cross-modale semantische relaties niet volledig kunnen vastleggen.
• Verwaarlozing van Niet-Visuele Kennis: Bestaande multi-modale kaders integreren visuele data (Optisch/SAR) maar negeren niet-visuele tekstuele data. Tekstuele data bevat rijke real-world kennis (geografische context, materiaaleigenschappen) die de semantische kloof tussen visuele patronen en concepten kan overbruggen.
• Stijve Class Taxonomieën: Traditionele modellen zijn beperkt tot een vast aantal vooraf gedefinieerde klassen. Ze kunnen onbekende categorieën niet herkennen, wat hun aanpasbaarheid aan nieuwe scenario's of door de gebruiker gedefinieerde mappingbehoeften beperkt. Open-Vocabulary Semantic Segmentation (OVSS) is nodig om classificatie via natuurlijke taalbeschrijvingen mogelijk te maken.

2. Methodologie: TSMNet

De auteurs stellen TSMNet voor, een tekst-gesuperviseerde multi-modale open-vocabulary semantische segmentatienetwerk. De architectuur is ontworpen om beeld- en tekstfeatures uit te lijnen in een unified semantische ruimte via hiërarchisch leren.

Kerncomponenten:

1. Multi-Modal Visuele Encoder:

   • Gebruikt een Vision Transformer (ViT) backbone om multi-level features te extraheren uit zowel Optische als SAR-beelden.
   • Multi-Modal Feature Rectification Module (MFRM): Past dynamisch kanaal- en ruimtelijke gewichten aan tussen Optische en SAR-features om heterogeniteit te corrigeren en complementaire informatie te versterken.
   • Multi-Modal Feature Fusion Module (MFFM): Gebruikt een cross-modale attention-mechanisme om diepe semantische interactie en aggregatie over meerdere schalen uit te voeren, waarbij zowel lokale details als globale semantics behouden blijven.

2. Dual-Branch Tekst Encoder & Fusie:

   • Tekst Encoder: Gebaseerd op CLIP (met BERT voor tekstverwerking), extrahert het twee onderscheiden typen tekstuele informatie:
     • Object-Level Labels: Specifieke categorienamen (bijv. "weg", "boom").
     • Scene-Level Semantics: Globale beschrijvingen en context (bijv. "een dichtbebouwde stedelijke omgeving met hoogbouw").
   • Context-Aware Prompting: In plaats van statische templates, gebruikt het model leerbare tekstcontexten en cross-attention-mechanismen om tekstfeatures te verfijnen op basis van visuele aanwijzingen.
   • Fusiestrategie:
     • Object-Level Fusie: Lijn pixel-level visuele features uit met categorietekst-embeddings om segmentatiemasks te genereren.
     • Scene-Level Fusie: Gebruikt een globale uitlijnmodule met contrastief leren (InfoNCE loss) om globale beeldrepresentaties uit te lijnen met scenesbeschrijvingen, dienend als prior voor de segmentatietak.

3. Loss Functies:
   Het trainingsdoel combineert vier losses:

   • Object-Level Label Loss: Cross-entropy loss voor pixel-klasse uitlijning.
   • Scene-Level Semantic Loss: InfoNCE contrastieve loss om globale beeld-tekstparen uit te lijnen.
   • Segmentatietak Loss: Combinatie van Cross-Entropy en Dice Loss om mask-consistentie te waarborgen.

4. Inference:
   Het model ondersteunt Open-Vocabulary inference. Gebruikers kunnen willekeurige natuurlijke taalbeschrijvingen invoeren (niet alleen vooraf gedefinieerde klassen). Het netwerk berekent de cosinus-sequentie tussen pixelfeatures en de gecodeerde tekst-embeddings om dynamisch segmentatiemasks te genereren.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur (TSMNet): Een kader dat visuele (Optisch/SAR) en tekstuele modaliteiten synergetisch integreert, met een dual-branch tekstencoder die zowel object-level labels als scene-level semantics gelijktijdig verwerkt.
2. Geavanceerde Fusiemechanismen:
   • Ontwikkeling van MFRM en MFFM om heterogene Optische en SAR-data effectief te fuseren, waarbij ruis en semantische kloven worden aangepakt.
   • Implementatie van een Text-Guided Visual Semantic Fusion module die tekstuele priors gebruikt om visuele features te verfijnen voor mensinterpreteerbare besluitvorming.
3. Nieuwe Datasets: De auteurs hebben twee nieuwe hoogwaardige multi-modale vision-language datasets samengesteld om de kloof in bestaande resources te dichten:
   • SWJTU-Vision-Language: 2.712 paren Optische/SAR-beelden uit vier Chinese steden met handmatige pixel-level labels en gedetailleerde tekstbeschrijvingen.
   • YESeg-OPT-SAR: 2.231 paren RGB/SAR-beelden met 0,5m resolutie en gedetailleerde tekstuele annotaties.
4. Open-Vocabulary Capaciteit: Het systeem maakt herkenning van onbekende categorieën mogelijk via natuurlijke taal, waardoor de beperkingen van vaste taxonomieën worden overwonnen.

4. Experimentele Resultaten

De auteurs evalueerden TSMNet tegen state-of-the-art (SOTA) modellen, waaronder single-modal (Deeplab V3+), multi-modal visuele (CMGFNet, MCANet) en bestaande open-vocabulary modellen (DenseCLIP, TACOSS).

• Prestaties op SWJTU-Vision-Language:

  • TSMNet behaalde 69,73% Overall Accuracy (OA) en 48,83% mIoU.
  • Het presteerde beter dan het op één na beste model (DenseCLIP) met 1,64% in OA en 1,39% in mIoU.
  • Opmerkelijke verbeteringen werden gezien in uitdagende klassen zoals "wegen" en "bomen".

• Prestaties op YESeg-OPT-SAR:

  • TSMNet behaalde 85,33% OA en 66,69% mIoU.
  • Het overtrof DenseCLIP (85,13% OA, 65,47% mIoU) en andere multi-modal baselines.
  • Kwalitatieve analyse toonde aan dat TSMNet significant minder classificatiefouten maakte (bijv. het verwarren van kale grond met lage vegetatie) in vergelijking met modellen die uitsluitend op visuele features vertrouwen.

• Ablatie Studies:

  • Het verwijderen van het multi-modale fusienetwerk verlaagde de mIoU met ongeveer 1,8%.
  • Het verwijderen van natuurlijke taalgeleiding (uitsluitend visuele data gebruiken) liet de prestaties aanzienlijk dalen, wat bewijst dat tekstbeschrijvingen cruciaal zijn voor het overbruggen van de semantische kloof en het verbeteren van generalisatie.

5. Betekenis

• Paradigmaverschuiving: Dit werk vestigt een nieuw paradigma voor verklarende remote sensing-analyse door tekstuele kennis te integreren, waardoor modelbeslissingen beter interpreteerbaar worden en beter aansluiten bij menselijke cognitie (globaal-naar-lokaal begrip).
• Generalisatie: Door gebruik te maken van open-vocabulary capaciteiten kan het model zich aanpassen aan nieuwe geografische scenario's en sensortypes zonder hertraining op vaste klassensets, simpelweg door tekstprompts bij te werken.
• Data Resource: De release van twee nieuwe vision-language datasets adresseert een kritieke bottleneck in het veld en biedt een benchmark voor toekomstig onderzoek in multi-modale remote sensing.
• Praktische Toepassing: De mogelijkheid om categorieën via natuurlijke taal te definiëren, stelt niet-experts in staat om aangepaste landgebruikskaarten te genereren, waardoor de bruikbaarheid van remote sensing in stadsplanning, rampenbestrijding en milieu-monitoring wordt versterkt.