Decouple and Rectify: Semantics-Preserving Structural Enhancement for Open-Vocabulary Remote Sensing Segmentation

Probleemstelling

Open-vocabulary semantische segmentatie in het domein van remote sensing (RS) vereist zowel taal-gealigneerde herkenning (voor het identificeren van onbekende objecten via tekst) als fijne ruimtelijke afbakening. Hoewel modellen zoals CLIP uitstekende semantische generalisatie bieden, kampen hun visuele representaties met een gebrek aan structurele details, wat leidt tot vage objectgrenzen.

Bestaande methoden proberen dit te compenseren door features van een in RS getraind DINO-model (dat sterke structurele priors heeft) te integreren met CLIP. Echter, deze methoden behandelen CLIP-features als een monolithische, uniforme semantische ruimte. Ze passen structurele verbetering onselectief toe op alle kanalen, wat vaak leidt tot twee problemen:

1. Verlies van semantische integriteit: De taal-gealigneerde betekenis van CLIP wordt verstoord door de ruwe toevoeging van structurele data.
2. Ondoeltreffende versterking: Omdat niet alle CLIP-kanalen even belangrijk zijn voor structuur of semantiek, wordt de versterking niet gericht genoeg toegepast, wat resulteert in diffuus gedrag en onnauwkeurige grenzen.

Methodologie: DR-Seg

De auteurs stellen DR-Seg voor, een nieuw raamwerk dat "Decoupleren en Rectificeren" (Decouple-and-Rectify) toepast. De kerninzicht is dat CLIP-features functionele heterogeniteit vertonen: verschillende kanalen hebben verschillende functies (sommige zijn puur semantisch, andere meer structureel).

Het raamwerk bestaat uit drie hoofdstappen:

1. Semantics-Preserving Subspace Decoupling (SPSD):

   • In plaats van CLIP-features als geheel te gebruiken, worden deze opgebroken in twee subruimtes: een semantisch gedomineerde subspace en een structuur-gedomineerde subspace.
   • Dit gebeurt op basis van kanaal-specifieke criteria: entropie van cross-class activatie en inter-class gelijkenis. Kanalen die zeer selectief reageren op specifieke klassen (lage entropie) worden als semantisch belangrijk beschouwd en behouden. Kanalen die minder selectief zijn, worden toegewezen aan de structuur-gedomineerde subspace.
   • Deze scheiding is offline berekend en vastgesteld, wat zorgt voor een stabiele decompositie.

2. Prior-Driven Graph Rectification (PDGR):

   • Alleen de structuur-gedomineerde subspace wordt onderworpen aan versterking.
   • Een graf-module gebruikt features van het DINO-model om een sparse affinity graph te construeren. Deze graf verbindt ruimtelijk nabijgelegen punten met vergelijkbare structurele kenmerken.
   • Via een leerbaar graf-netwerk worden de structurele priors van DINO "geinjecteerd" in de structuur-subspace. Dit corrigeert de structurele details zonder de semantische informatie in de andere subspace aan te tasten.
   • De gecorrigeerde structuur-subspace wordt vervolgens opnieuw samengevoegd (recomponeren) met de oorspronkelijke semantische subspace om een "verfijnde" CLIP-feature te vormen.

3. Uncertainty-Guided Adaptive Fusion (UGAF):

   • Het systeem heeft nu twee takken: de originele CLIP-tak (sterk in semantiek) en de verfijnde tak (sterk in structuur).
   • Een adaptieve fusie-module combineert deze twee op basis van pixel-gebaseerde onzekerheid.
   • In gebieden waar de originele CLIP-predicities onzeker zijn (hoge entropie), wordt meer gewicht gegeven aan de verfijnde structuur-tak. In semantisch zeker gebieden blijft de originele tak dominant. Dit zorgt voor een dynamische balans tussen semantische betrouwbaarheid en structurele precisie.

Belangrijkste Bijdragen

• Identificatie van Heterogeniteit: De auteurs tonen empirisch aan dat CLIP-features niet uniform zijn, maar bestaan uit functioneel verschillende kanalen. Dit weerlegt de aanname dat structurele priors indiscriminatie kunnen worden toegevoegd.
• DR-Seg Framework: Een nieuw raamwerk dat semantische integriteit behoudt door selectieve versterking toe te passen op een gescheiden structuur-subspace, in plaats van holistische fusie.
• Nieuwe State-of-the-Art (SOTA): Het model presteert superieur op acht verschillende remote sensing benchmarks, met name in het behoud van scherpe objectgrenzen en het herkennen van kleine structuren.

Resultaten

DR-Seg is getest op acht benchmarks, waaronder DLRSD, iSAID, Potsdam en Vaihingen.

• Prestaties: Het model vestigt een nieuwe state-of-the-art. Bij training op DLRSD met een ViT-L backbone bereikte het een mIoU van 49,01% en een mACC van 64,90%, wat een verbetering is van +2,83% en +2,55% ten opzichte van de vorige beste methode (RSKT-Seg).
• Generalisatie: Het model toont sterke cross-dataset generalisatie, wat aantoont dat het selectief versterken van structuur de ruimtelijke precisie verbetert zonder de semantische generalisatie van CLIP te verliezen bij domeinverschuivingen.
• Kwalitatieve Verbetering: Visuele vergelijkingen tonen duidelijk scherpere objectgrenzen (bijv. gebouwen, voertuigen) en minder class-confusie in vergelijking met bestaande methoden zoals GSNet en RSKT-Seg.

Betekenis

Dit werk is significant omdat het een fundamenteel nieuw perspectief biedt op het integreren van vision-language modellen met structurele priors in het complexe domein van remote sensing. In plaats van te proberen een model te "fixen" door alles te mengen, lost DR-Seg het probleem op door de interne werking van het model te respecteren (decoupleren) en gericht te verbeteren (rectificeren). Dit biedt een robuustere en efficiëntere aanpak voor open-vocabulary segmentatie, wat cruciaal is voor toepassingen zoals stadsplanning, landdekkingsmapping en rampenbeheersing waar nauwkeurige objectgrenzen essentieel zijn.