BuildMamba: A Visual State-Space Based Model for Multi-Task Building Segmentation and Height Estimation from Satellite Images

Technische Samenvatting van "BuildMamba: Een op visuele toestandsruimte gebaseerd model voor multi-task gebouwsegmentatie en hoogteschatting uit satellietbeelden"

Probleemstelling
Accurate gebouwsegmentatie en hoogteschatting uit enkelvoudige RGB-satellietbeelden zijn cruciaal voor stadsanalyses, waaronder planning, infrastructuurmonitoring en risicobeoordeling. Deze taak is echter inherent slecht gesteld vanwege de bijna top-down beeldvormingsgeometrie, die 3D-structuren verbergt, en de afhankelijkheid van indirecte verschijningskenmerken zoals textuur en schaduwen. Bestaande benaderingen, die vaak monocular-depth-architecturen aanpassen, lijden onder verschillende beperkingen:

• Structurele zwakte: Ze vertrouwen vaak op impliciete correlaties tussen beeldtextuur en hoogte, zonder expliciet structureel inzicht in gebouwvormen.
• Artefacten: Veelvoorkomende problemen zijn randbloeding, systematische onderschatting van hoogbouw en gevoeligheid voor homogene daktexturen en veranderingen in verlichting.
• Afhankelijkheid van aanvullende data: Veel robuuste methoden vereisen aanvullende modaliteiten (bijv. SAR, LiDAR of DSM's) of aanvullende supervisie (bijv. landgebruiksmaskers) die tijdens inferentie vaak niet beschikbaar zijn, wat de schaalbaarheid in RGB-only omgevingen beperkt.
• Rekenkundige afwegingen: Traditionele globale modellering via Transformers leidt tot kwadratische rekencomplexiteit, terwijl CNN's moeite hebben met lange-afstandsafhankelijkheden.

Methodologie: BuildMamba
De auteurs stellen BuildMamba voor, een unificerend multi-task raamwerk dat is ontworpen om gezamenlijk gebouwsegmentatie en hoogteschatting uit te voeren met uitsluitend RGB-input. De architectuur is gebaseerd op een visuele toestandsruimte-ruggengraat (VMamba) om globale contextmodellering in evenwicht te brengen met rekenkundige efficiëntie. Het raamwerk bestaat uit vier hoofdbestanddelen:

1. Visuele Toestandsruimte-ruggengraat (VMamba):
   In plaats van standaard attentiemechanismen maakt het model gebruik van Selective State-Space Models (S6) die zijn gegeneraliseerd voor 2D-visuele data. Dit maakt gebruik van een Cross-Scan Module (CSM) die beeldpatches ontvouwt tot vier verschillende sequenties die de feature map in verschillende richtingen doorkruisen. Hierdoor kan het model lange-afstands-globale afhankelijkheden vangen met lineaire rekencomplexiteit ($O(N)$) terwijl het ruimtelijke localiteit behoudt, waardoor de efficiëntieknelpunten van Transformers worden aangepakt.

2. Mamba Attention Module (MAM):
   Geïntegreerd aan het einde van elke encoder-fase, kalibreert MAM de ruimtelijke belangrijkheid dynamisch. Het verwerkt features langs de hoogte- en breedte-as via adaptieve gemiddelde pooling, waarbij een attentiekarte wordt gegenereerd die informatieve regio's benadrukt en ruis onderdrukt. Dit verbetert de fusie van lokale en globale features die zijn geëxtraheerd door de dual-path encoder.

3. Ruimtelijk-bewuste Mamba-FPN (S-MambaFPN):
   Om de beperkingen van standaard Feature Pyramid Networks (FPN) bij het doorgeven van lange-afstandsafhankelijkheden aan te pakken, vervangen de auteurs de verfijningoperator door een gated state-space scan. Deze module combineert een basis Mamba-tak met een ruimtelijk-bewuste scan-tak die dieptewijze convoluties (3×3 en 7×7) gebruikt om lokale en mid-range aanwijzingen vast te leggen. De outputs worden gecombineerd via element-voor-element vermenigvuldiging, waardoor het netwerk ruimtelijk bewijs kan fuseren met lange-afstandscontext op elk niveau van de piramide.

4. Masker-bewuste Hoogteverfijning (MHR):
   Deze module maakt gebruik van de asymmetrie tussen segmentatie en hoogteschatting, waarbij segmentatiemaskers vaak sneller convergeren en betrouwbaardere structurele randen bieden. De MHR-module behandelt het segmentatiemasker als een structuur-bewuste betrouwbaarheids-prior. Het neemt de ruwe hoogtevoorspelling en het segmentatiemasker als een twee-kanaals input en voorspelt een residuele hoogtecorrectie. Een gated update-functie moduleert dit residu op basis van segmentatiebetrouwbaarheid, waardoor hoogte-artefacten (vlekjesruis) in gebieden met weinig textuur effectief worden onderdrukt en randen worden verscherpt zonder dat de hoogteschatting tot een triviale functie van het masker wordt gereduceerd.

Verliesfunctie
Het raamwerk wordt getraind met een samengestelde objectieve functie:

• Segmentatieverlies: Een hybride van Cross-Entropy, Dice-verlies (om class-imbalance aan te pakken) en een rand-bewuste term met behulp van Laplacian edge maps om structurele consistentie af te dwingen.
• Regressieverlies: Huber-verlies wordt gebruikt voor hoogteschatting om outliers en de langstaartverdeling van gebouwhoogtes aan te pakken, waarbij differentieerbaarheid wordt gewaarborgd terwijl extreme waarden worden voorkomen die de gradiënten destabiliseren.

Belangrijkste Bijdragen
Het artikel claimt de volgende bijdragen:

• Unificerend RGB-only Raamwerk: Een multi-task model dat segmentatie en hoogteregressie expliciet koppelt via structurele beperkingen, waardoor de behoefte aan aanvullende modaliteiten zoals DSM's of SAR wordt geëlimineerd.
• Nieuwe Architecturale Modules: De integratie van de Mamba Attention Module (MAM) en de Ruimtelijk-bewuste Mamba-FPN (S-MambaFPN) om de interactie tussen globale en lokale features en multi-scale aggregatie te verbeteren.
• Masker-bewuste Verfijning: Een specifieke module die segmentatie-outputs gebruikt als betrouwbaarheids-priors om regressie-artefacten op te ruimen en hoogte-residuen te corrigeren.
• Rand-bewuste Strategie: Een verliesstrategie die hoogte-discontinuïteiten langs gebouwranden benadrukt om randverzachting te verminderen.

Experimentele Resultaten
BuildMamba werd geëvalueerd op drie benchmarks: DFC19, DFC23 en de uitdagende Huawei BHE-dataset (die diverse stedelijke omgevingen, verkeerde labels en ontbrekende data bevat).

• Segmentatieprestaties: BuildMamba behaalde state-of-the-art IoU-scores van 0,90 op DFC19 en 0,93 op DFC23. Op de complexe Huawei BHE-dataset behaalde het een IoU van 0,60, waarmee het het op één na beste model (UANet) met 7,0% overtrof.
• Hoogteschatting-prestaties: Het model behaalde een RMSE van 1,06 m op DFC19 en 1,77 m op DFC23. Op de Huawei BHE-dataset behaalde het een RMSE van 9,23 m en een $\delta_1$-nauwkeurigheid van 0,806.
• Vergelijking: Het model overtrof consistent baselines zoals UANet, FarSeg++, DSMNet en HTC-DC. Opmerkelijk is dat het de vorige beste RGB-only methode (HTC-DC) op DFC23 met ongeveer 31,6% in RMSE overtrof.
• Ablatiestudies: Experimenten bevestigden dat elk component (VMamba-ruggengraat, MAM, S-MambaFPN en MHR) incrementeel bijdraagt aan de prestaties. De Mamba-ruggengraat bleek een betere nauwkeurigheids-complexiteitsafweging te bieden in vergelijking met ResNet-101 en Swin-S ruggengraten.

Betekenis en Claims
De auteurs positioneren BuildMamba als een oplossing voor de specifieke uitdagingen van monocular satellietgebaseerde hoogteschatting, met name de afweging tussen globale context en rekenkundige efficiëntie. Het artikel claimt dat BuildMamba, door gebruik te maken van visuele toestandsruimtemodellen, een nieuwe prestatiebovengrens vestigt voor RGB-only methoden. De betekenis ligt in het vermogen om robuuste, structureel consistente voorspellingen te leveren in diverse en zwak gelabelde real-world scenario's zonder afhankelijkheid van aanvullende data, waardoor schaalbare 3D-stadsreconstructie uit enkelvoudige beelden mogelijk wordt. De auteurs merken op dat dit werk een aanzienlijk uitgebreide versie is van hun eerdere voorlopige raamwerk, met een rigoureuzere analyse van schaalbaarheid en robuustheid over meerdere datasets.