Technische Samenvatting: Heroverweging van Efficiënte Mixture-of-Experts voor Remote Sensing Modality-Missing Classificatie

1. Probleemdefinitie

Multimodale remote sensing classificatie vertrouwt op complementaire databronnen (bijv. optisch, SAR, hyperspectraal, LiDAR) om robuuste aardobservatie te bereiken. Echter, realistische scenario's lijden frequent onder ontbrekende modaliteiten (missing modalities) door sensorfouten, atmosferische interferentie of budgetbeperkingen. Deze incompleetheid leidt tot ernstige prestatievermindering in conventionele multimodale modellen, die doorgaans uitgaan van volledige modaliteitsbeschikbaarheid tijdens zowel training als inferentie.

Bestaande oplossingen volgen over het algemeen een tweestaps-paradigma: het trainen van een model op volledige data en het vervolgens aanpassen aan scenario's met ontbrekende modaliteiten via extra modules of hertraining. Deze aanpak lijdt onder twee primaire beperkingen:

1. Computationele Overhead: Herhaalde hertraining of aanpassing voor meerdere patronen van ontbrekende modaliteiten is inefficiënt.
2. Generalisatiekloof: Modellen die getraind zijn op volledige data falen in het rekening houden met de inherente incompleetheid van realistische observaties, wat hun vermogen om ongeziene condities van ontbrekende modaliteiten aan te pakken, beperkt.

Hoewel prompt-gebaseerde parameter-efficiënte fijnafstemming (PEFT) een lichtgewicht alternatief biedt, vereist dit vaak een exponentiële groei van configuraties naarmate het aantal modaliteiten toeneemt, wat de schaalbaarheid belemmert.

2. Methodologie: MaMOL

De auteurs stellen Missing-aware Mixture-of-LoRAs (MaMOL) voor, een parameter-efficiënt framework dat het leren van ontbrekende modaliteiten herformuleert als een conditioneel computationeel probleem. In plaats van ontbrekende modaliteiten te behandelen als een taak voor datareconstructie, maakt MaMOL gebruik van een Mixture-of-Experts (MoE) architectuur om computationele paden dynamisch te selecteren op basis van beschikbare inputs.

Kernarchitectuur

MaMOL is gebouwd op een bevroren, vooraf getrainde Vision Transformer (ViT) backbone. Het injecteert low-rank adaptation (LoRA) experts in de feed-forward lagen, waarbij de transformatie wordt gedecomposeerd in drie gestructureerde componenten:
$$f(z, m) = f_{shr}(z) + f_{mod}(z, m) + f_{pat}(z, m)$$
Waarbij $z$ de inputrepresentatie is en $m$ de indicator voor de beschikbaarheid van de modaliteit.

Het framework maakt gebruik van een dual-routing mechanisme bestaande uit twee complementaire categorieën experts:

1. Statische Experts (Modality-Invariant & Specific):

   • Shared Expert: Wordt altijd geactiveerd om modaliteit-invariante kennis te coderen die gemeenschappelijk is voor alle scenario's, wat zorgt voor globale stabiliteit.
   • Modality-Specific Experts: Worden alleen geactiveerd wanneer hun overeenkomstige modaliteit aanwezig is ($\alpha_i = m_i$). Deze behouden modaliteit-afhankelijke priors en stabiliseren de feature-alignment wanneer specifieke sensoren beschikbaar zijn.

2. Dynamische Experts (Pattern-Aware):

   • Een set van $K_d$ experts die zich adaptief specialiseren in verschillende missing-pattern configuraties.
   • Routing Mechanisme: In tegenstelling tot standaard MoE, incorporeert de router expliciet zowel de semantische inhoud van de input ($z$) als de configuratie van de ontbrekende modaliteit ($\psi(m)$). Het selecteert de top-$K$ experts via een gating-functie:
     $$g = \text{TopK}(\text{softmax}(W \phi([z; \psi(m)])))$$
   • Dit stelt het model in staat om specifieke adaptaties te leren voor ontbrekende patronen (bijv. "alleen HS ontbrekend" versus "alleen LiDAR ontbrekend") zonder hertraining.

Parameter-efficiëntie

Door gebruik te maken van LoRA (Low-Rank Adaptation), introduceert MaMOL minimale trainbare parameters. De experts worden gedecomposeerd in low-rank matrices ($A \in \mathbb{R}^{r \times d}, B \in \mathbb{R}^{d \times r}$ met $r \ll d$), wat de unificatie van $2^M - 1$ mogelijke modaliteitscombinaties binnen één enkele modelstructuur mogelijk maakt.

3. Belangrijkste Bijdragen

1. Herformulering van het Probleem: Het artikel herformuleert het leren van ontbrekende modaliteiten in remote sensing als een conditioneel expert-selectieprobleem, en biedt de eerste systematische studie van MoE-paradigma's onder diverse instellingen van ontbrekende modaliteiten.
2. MaMOL Framework: Introductie van een dual-routing, parameter-efficiënt MoE-framework dat meerdere scenario's van ontbrekende modaliteiten verenigt. Het ontkoppelt modaliteit-invariante gedeelde kennis van modaliteit-bewuste dynamische adaptaties.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat MaMOL de robuustheid en generalisatie aanzienlijk verbetert onder diverse scenario's van ontbrekende modaliteiten met minimale computationele overhead. Het framework blijkt schaalbaar naar natuurlijke beeldtaken, wat de cross-domein toepasbaarheid valideert.

4. Experimentele Resultaten

De auteurs hebben MaMOL geëvalueerd op drie publieke multimodale remote sensing datasets: Houston2013 (HS + LiDAR), Trento (HS + LiDAR) en Augsburg (HS + SAR).

• Prestaties: MaMOL presteerde consequent beter dan state-of-the-art baselines (inclusclusief MMP, DCP en diverse MoE-varianten zoals Moerep, Moeada, Moetask) over alle ontbrekende ratio's (50%, 70%, 90%) en ontbrekende configuraties.
  • Op de Houston2013 dataset met 50% ontbrekende ratio behaalde MaMOL 98,40% OA (tegenover 97,60% voor de op één na beste methode), en 88,00% OA in de 50% train/100% test split scenario, wat de baselines die naar ~83-85% zakten, significant overtrof.
  • Op Augsburg, waar de verschillen tussen modaliteiten groot zijn, toonde MaMOL duidelijke voordelen met een score van 79,05% OA vergeleken met 78,57% voor de beste baseline onder 50% ontbrekende ratio's.
• Generalisatie: Transfer-experimenten op de MM-IMDb natuurlijke beeldendataset bevestigden dat MaMOL generaliseert buiten remote sensing, waarbij het de hoogste F1-Macro scores behaalde over alle train/test splits.
• Ablatie-studies:
  • Het verwijderen van Dynamic Experts veroorzaakte een substantiële daling in prestaties, wat hun rol bij het adapteren aan ontbrekende patronen bevestigt.
  • Het verwijderen van Static Experts verminderde de stabiliteit, wat hun belang benadrukt bij het behouden van invariante kennis.
  • Het plaatsen van experts in de laatste zes Transformer-lagen leverde de beste resultaten op, wat suggereert dat dynamische routing het meest effectief is voor het modelleren van hoogwaardige cross-modale interacties.

5. Betekenis en Claims

Het artikel claimt dat MaMOL een lichtgewicht, robuuste en uitbreidbare oplossing biedt voor realistische multimodale incompleetheid. Door ontbrekende modaliteiten te behandelen als een conditioneel computationeel probleem in plaats van een datareconstructieprobleem, demonstreren de auteurs dat:

• MoE-architecturen inherent kunnen adapteren aan diverse scenario's van ontbrekende modaliteiten zonder de noodzaak voor aparte hertraining of exponentiële prompt-configuraties.
• De ontkoppeling van gedeelde en dynamische experts een stabiele kennisoverdracht mogelijk maakt terwijl flexibiliteit voor specifieke ontbrekende patronen behouden blijft.
• De aanpak schaalbaar is, in staat is om complexe multi-modaliteitscombinaties te verwerken (tot drie modaliteiten in experimenten) en kan worden overgedragen naar het domein van natuurlijke afbeeldingen.

Dit werk positioneert MaMOL als een stap richting het bouwen van missing-aware en generaliseerbare multimodale leersystemen, waarmee de fundamentele uitdaging van betrouwbaarheid in sensor-beperkte remote sensing toepassingen wordt aangepakt.