Robust Multispectral Semantic Segmentation under Missing or Full Modalities via Structured Latent Projection

Probleemstelling

Multimodale remote sensing-data (zoals optische beelden, SAR, en digitale hoogtekaarten) bieden complementaire informatie die essentieel is voor nauwkeurige semantische segmentatie van landbedekking. In de praktijk zijn echter niet altijd alle modaliteiten beschikbaar vanwege sensorstoringen, atmosferische omstandigheden (bijv. wolken) of acquisitieproblemen.

Bestaande multimodale modellen lossen dit vaak op door een gedeelde representatie te leren over alle inputs heen. Dit leidt echter tot een fundamenteel compromis (trade-off):

1. Robuustheid: Het model kan werken bij ontbrekende modaliteiten.
2. Prestatie: Door te focussen op een gedeelde representatie, gaat vaak modality-specifiek, complementaire informatie verloren. Dit resulteert in een suboptimale prestatie wanneer alle modaliteiten wel beschikbaar zijn.

De huidige uitdaging is het ontwikkelen van een unificatie-mechanisme dat robuust is bij ontbrekende data, maar tegelijkertijd de maximale prestatie behoudt wanneer alle data aanwezig is, zonder afhankelijk te zijn van extra loss-termen voor regularisatie.

Methodologie: CBC-SLP

De auteurs stellen CBC-SLP (Complementary Branch with Structured Latent Projection) voor. Dit is een architectuur die gebaseerd is op het inbrengen van een inductieve bias in de structuur van het netwerk, in plaats van dit te forceren via een verliesfunctie.

Kerncomponenten van het model:

1. Modality-specifieke Encoders:
   Elke modality (bijv. RGB, NIR, DSM) wordt verwerkt door een eigen encoder (gebaseerd op ResNet50). Er wordt een binaire beschikbaarheidsmasker ($s$) toegepast op de feature maps om ontbrekende modaliteiten expliciet te markeren.

2. Cross-modal Fusie en Attention:

   • Intra-modal Self-Attention: Elke modality doorloopt een Transformer-blok om context binnen de eigen modality te verrijken.
   • Inter-modal Correlatie: Een blok berekent pixel-voor-pixel correlaties tussen modaliteiten. Dit verrijkt de representatie van een modality met informatie uit de andere modaliteiten, maar behoudt de structuur van de oorspronkelijke data.

3. Gestructureerde Latente Projectie (Structured Latent Projection - SLP):
   Dit is het kerninnovatiepunt. In plaats van alle features te comprimeren in één gedeelde ruimte, wordt de latente representatie opgesplitst in twee componenten:

   • Gedeelde Component ($z_{sh}$): Een modality-invariante representatie die altijd beschikbaar is voor de decoder.
   • Private Componenten ($z_{pr}^m$): Modality-specifieke representaties die unieke, complementaire informatie bevatten.

4. Routing via Maskering:
   Tijdens de inferentie (en training met dropout) worden de private componenten dynamisch gerouteerd naar de decoder op basis van het beschikbaarheidsmasker:

   • Als modality $m$ aanwezig is, wordt $z_{pr}^m$ doorgegeven.
   • Als modality $m$ ontbreekt, wordt deze component op nul gezet ($\tilde{z}_{pr}^m = 0$).
   • De decoder ontvangt dus altijd de gedeelde component, plus de private componenten van de beschikbare modaliteiten.

Theoretische Basis:
Het paper citeert theoretische resultaten die aantonen dat perfecte uitlijning (alignment) van multimodale representaties ($Z_1 = Z_2 = ...$) leidt tot een verlies van modality-specifieke informatie en een hogere cross-entropy loss. Door de representatie te decomponeren, vermijdt het model deze degradatie en behoudt het de informatieve waarde van specifieke modaliteiten.

Belangrijkste Bijdragen

1. CBC-SLP Architectuur: Een nieuw model dat zowel gedeelde als modality-specifieke informatie behoudt via een gestructureerde latente projectie, zonder extra loss-termen.
2. Unificatie van Scenarios: Het model presteert optimaal in zowel volledige als onvolledige modality-scenario's, waardoor het compromis tussen robuustheid en maximale nauwkeurigheid wordt opgelost.
3. Generalisatie: Het model is getest op zowel homogene (alleen optische banden) als heterogene (optisch + SAR + hoogte) modality-configuraties.
4. Theoretische Onderbouwing: Het paper levert een theoretisch argument (via Theorem 1) waarom het behoud van private componenten essentieel is voor downstream taken.

Resultaten

Het model is geëvalueerd op drie datasets: DSTL (satellietbeelden), Potsdam (luchtfoto's + DSM), en Hunan (Sentinel-2 + Sentinel-1 SAR + DEM).

• Full Modality Scenarios: CBC-SLP overtreft state-of-the-art modellen (zoals M3L, MMANet, CMX) significant. Bijvoorbeeld op de DSTL dataset met een IoU-verbetering van ~1.6% t.o.v. de beste concurrent.
• Missing Modality Scenarios: Het model behoudt robuuste prestaties wanneer modaliteiten ontbreken. Op de Potsdam dataset, zelfs wanneer alleen de DSM (hoogte) beschikbaar is, presteert het beter dan concurrenten.
• Vergelijking met Baseline: In vergelijking met een eerdere versie (CBC) die alleen een gedeelde representatie gebruikt, toont CBC-SLP een verbetering van 1.8% in IoU bij volledige modaliteiten en 0.9% bij ontbrekende modaliteiten. Dit bewijst dat het toevoegen van private componenten geen nadeel oplevert voor de volledige modality-case.
• Informatie Gap Analyse: Een analyse van de decoder-input toont aan dat CBC-SLP een semantisch informatieverere representatie biedt dan modellen die alleen op gedeelde features vertrouwen, wat leidt tot lagere conditionele entropie.

Significantie

Dit werk is significant voor het veld van remote sensing en multimodal learning omdat het een praktische oplossing biedt voor een veelvoorkomend probleem: de onzekerheid over data-beschikbaarheid in de echte wereld.

• Efficiëntie: Het vereist geen training van meerdere modellen voor elke mogelijke combinatie van ontbrekende modaliteiten; één uniek model dekt alle scenario's.
• Kwaliteit: Het lost het fundamentele probleem op dat bestaande modellen vaak te veel focus leggen op robuustheid ten koste van de maximale nauwkeurigheid.
• Toepasbaarheid: De aanpak is direct toepasbaar op kritieke toepassingen zoals landbouwmonitoring, ecologische analyse en rampenbeheer, waar sensoruitval of atmosferische storingen frequent voorkomen.

Kortom, CBC-SLP bewijst dat het behoud van modality-specifieke "ruis" of unieke kenmerken, naast de gedeelde signalen, cruciaal is voor het maximaliseren van de prestaties in zowel ideale als imperfecte omstandigheden.