A Controlled Benchmark of Visual State-Space Backbones with Domain-Shift and Boundary Analysis for Remote-Sensing Segmentation

Probleemstelling

Visuele State-Space-modellen (SSM's), zoals Mamba, worden steeds vaker gepropageerd als efficiëntere alternatieven voor Vision Transformers (ViT's) voor taken zoals semantische segmentatie in de aardse waarneming (remote sensing). Echter, de praktische voordelen van deze modellen blijven onduidelijk onder eerlijke vergelijkingen. Bestaande studies isoleren zelden de effecten van de encoder (het ruggegraatsnetwerk) van die van de decoder, trainingskeuzes en data-pipelines. Dit maakt het moeilijk om te bepalen of prestatieverbeteringen komen door het nieuwe model of door andere factoren.

Daarnaast zijn remote-sensing-toepassingen gevoelig voor domeinverschuivingen (bijv. van stedelijke naar landelijke omgevingen) en hebben ze te maken met complexe grensproblemen (boundary delineation) door gemengde pixels en rasterisatie. Bestaande evaluaties kijken vaak alleen naar de gemiddelde Intersection-over-Union (mIoU), wat geen inzicht geeft in waar en waarom fouten optreden onder domeinverschuiving.

Methodologie

De auteurs presenteren een strikt gecontroleerde benchmark om de prestaties van visuele SSM-backbones te isoleren en te vergelijken met CNN- en Transformer-baselines.

1. Gestandaardiseerde Pipeline:

   • Enige variabele: Alleen de encoder-backbone varieert.
   • Vaste componenten: De decoder (een lichtgewicht U-Net-stijl decoder), de loss-functie, het trainingsschema, data-augmentaties, invoerresolutie (512x512) en evaluatieprotocollen zijn identiek voor alle modellen.
   • Unieke Interface: Alle encoders worden via een unified 4-stage feature interface gekoppeld aan de decoder, waarbij features op strides {4, 8, 16, 32} worden geëxtraheerd.

2. Onderzochte Modellen:

   • SSM-families: VMamba, MambaVision en Spatial-Mamba (in verschillende groottes: Tiny, Small, Base, Large).
   • Baselines: DeepLabv3 (CNN) en UNetFormer (Transformer).
   • Initialisatie: Alle modellen starten met ImageNet-1K vooraf getrainde gewichten.

3. Datasets en Evaluatie:

   • LoveDA: Voor analyse van cross-domein generalisatie (Urban vs. Rural). Er wordt getest op "All-to-All" en "Source-only" overdracht (Urban→Rural en Rural→Urban) zonder adaptatie.
   • ISPRS Potsdam: Voor validatie op zeer hoge resolutie (5 cm) met fijne objecten en grenzen.
   • Metrics: Naast standaard mIoU, Overall Accuracy (OA) en F1-score, introduceren de auteurs een grensgerichte diagnose. Ze meten de mIoU apart voor grenspixels (gedilateerd met 2 pixels) en interieurpixels om de prestaties bij randen te analyseren.

4. Training:

   • Gebruik van een gecombineerde loss-functie: Lovász-Softmax (voor Jaccard-index), Focal loss (voor class-imbalance) en een Boundary-term (voor randfouten).
   • Optimisatie met AdamW gedurende 50k iteraties.

Belangrijkste Bijdragen

1. Reproduceerbare Benchmark: Een strikt gecontroleerde vergelijking van drie visuele SSM-families onder een identieke segmentatie-pipeline en een unificatie van de feature-interface.
2. Gedetailleerde Analyse: Een analyse van in-domein nauwkeurigheid, cross-domein robuustheid, grensgevoeligheid en praktische efficiëntie (FPS, geheugen, FLOPs) onder één meetprotocol.
3. Validatie op Meerdere Datasets: Bevestiging van bevindingen op zowel LoveDA als ISPRS Potsdam, wat leidt tot richtlijnen voor modelselectie bij domeinverschuiving.

Resultaten

De experimentele resultaten (getoond in Tabel I-IV) leiden tot drie hoofdontdekkingen:

1. Beperkte Schaalwinst binnen Families:
   Het vergroten van de modelgrootte (bijv. van Tiny naar Large binnen MambaVision) levert slechts bescheiden winsten op in mIoU, terwijl de rekentkosten (FLOPs, geheugen) aanzienlijk stijgen. Bijvoorbeeld, VMamba-Small presteert bijna even goed als de grotere varianten maar is veel efficiënter.

2. Asymmetrische Cross-Domein Generalisatie:
   Er is een duidelijke asymmetrie in overdracht:

   • Rural → Urban: Werkt relatief goed.
   • Urban → Rural: Presteert significant slechter.
     De auteurs verklaren dit doordat landelijke scènes meer visuele diversiteit hebben, wat transferleerbare representaties bevordert. Stedelijke modellen neigen echter om te overfitten op geregulariseerde geometrie en scherpe randen die in landelijke beelden niet voorkomen.

3. Grenzen als Dominante Foutbron:
   De diagnostische analyse toont aan dat de grootste prestatiedaling onder domeinverschuiving optreedt bij grenspixels (boundary pixels), niet in de interieurgebieden.

   • Er is een grote kloof (gap) tussen de mIoU van het interieur en de grenzen (bijv. ~59% interieur vs. ~29% grens voor VMamba-Small).
   • Dit suggereert dat zelfs sterkere encoders moeite hebben om geometrische ambiguïteit op te lossen bij dunne wegen, gebouwcontouren en smalle watergrenzen.
   • Spatial-Mamba presteerde over het algemeen slechter, wat suggereert dat voor gefragmenteerde remote-sensing-scènes de structuur van de features en de compatibiliteit met de decoder belangrijker zijn dan de initiële SSM-architectuur.

Efficiëntie:
Visuele SSM's bieden over het algemeen een gunstiger afweging tussen nauwkeurigheid en efficiëntie (FPS) in vergelijking met de gecontroleerde CNN- en Transformer-baselines, hoewel de grootste SSM-modellen (zoals MambaVision-L2) zware rekeneisen stellen.

Significantie en Conclusie

De studie concludeert dat toekomstige verbeteringen in remote-sensing segmentatie minder waarschijnlijk zullen komen uit het simpelweg vergroten van de encoder (scaling), maar eerder uit:

• Robuustheidsgerichte ontwerpen: Specifiek gericht op het omgaan met domeinverschuivingen.
• Grensgevoelige decoding: De decoder moet beter worden ontworpen om grensambiguïteit en onzekerheid te modelleren, aangezien dit de primaire bottleneck is.

Deze paper stelt een praktisch referentiekader op voor het ontwerpen en evalueren van toekomstige Mamba-gebaseerde segmentatie-backbones, waarbij het belang van een eerlijke, gecontroleerde vergelijking wordt benadrukt boven het vergelijken van losse state-of-the-art resultaten uit verschillende papers.