Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts

Probleemstelling

Het paper adresseert de uitdaging van Domain Generalization Semantic Segmentation (DGSS) in spectrale Remote Sensing (RS) beelden (hyperspectraal, multispectraal en RGB).

• De Kernuitdaging: Modellen presteren vaak slecht op onzichtbare domeinen (nieuwe locaties, sensoren of seizoenen) door aanzienlijke spectrale verschuivingen (spectral shifts). Deze verschuivingen worden veroorzaakt door verschillen in sensortypes, verlichting en geografische omgevingen.
• Beperking van Bestaande Methoden: Hoewel Parameter-Efficient Fine-Tuning (PEFT) op Foundation Models (zoals DINOv3 of DOFA) veelbelovend is, gebruiken bestaande methoden vaak een globale, homogene aanpak ("one-size-fits-all").
  • Dit ignoreren de ruimtelijke heterogeniteit van landbedekking. Bijvoorbeeld, een aanpassing die bedoeld is voor "rijstvelden" kan onbedoeld interfereren met spectrale vergelijkbare maar semantisch verschillende buren zoals "vijvers".
  • Dit leidt tot inter-class verwarring en een gebrek aan fijne, lokale aanpassingen die nodig zijn voor complexe RS-scènes.

Methodologie: SpectralMoE

De auteurs stellen SpectralMoE voor, een nieuw PEFT-framework dat de paradigma verschuift van globale aanpassing naar ruimtelijk adaptieve, conditionele berekening. Het framework wordt als een lichtgewicht plugin in elke laag van een bevroren Vision Foundation Model (VFM) en een Depth Foundation Model (DFM) geïntegreerd.

De architectuur bestaat uit drie kerncomponenten:

1. Dual-Gated Mixture-of-Experts (MoE) voor Lokale Fijne Afstemming:

   • In plaats van één adapter voor het hele beeld, worden er meerdere parallelle "expert" netwerken geïnstancieerd.
   • Een dubbel-gated netwerk routeert visuele features en diepte-features (geschat vanuit RGB-bandjes) onafhankelijk van elkaar.
   • Voor elk ruimtelijk token wordt bepaald welke $k$ experts het beste passen bij dat specifieke feature. Dit zorgt voor lokale, precieze aanpassingen per modality, waardoor interferentie tussen verschillende modaliteiten wordt voorkomen.
   • De experts gebruiken Low-Rank Decomposition voor parameter-efficiëntie.

2. Gebruik van Robuuste Structurele Priors (Diepte):

   • Om de inherente spectrale ambiguïteit te mitigeren, introduceert het model ruimtelijke structuurinformatie als prior.
   • Een Depth Foundation Model (DFM) schat impliciete diepte-features uit de RGB-bandjes van de RS-beelden.
   • Diepte-informatie (hoogte, contouren, ruimtelijke relaties) is robuuster tegen spectrale variaties dan de spectrale data zelf.

3. Cross-Attention Fusie:

   • Na de expert-gebaseerde verfijning, wordt een cross-attention mechanisme gebruikt om de structuurinformatie uit de diepte-features adaptief te fuseren met de visuele features.
   • De visuele features fungeren als query en de diepte-features als key/value. Dit stelt het model in staat om de meest waardevolle structurele informatie te "bevragen" en te integreren, wat semantische ambiguïteit in spectraal vergelijkbare gebieden vermindert.

Belangrijkste Bijdragen

1. SpectralMoE Framework: Een nieuw PEFT-framework dat state-of-the-art (SOTA) DGSS-prestaties bereikt op diverse spectrale RS-benchmarks (hyperspectraal, multispectraal en RGB).
2. Dual-Gated MoE Architectuur: Een innovatief ontwerp dat visuele en diepte-features onafhankelijk routeert naar gespecialiseerde experts. Dit overwint de beperkingen van globale PEFT-methoden en lost inter-class verwarring op door lokale, ruimtelijk adaptieve aanpassingen.
3. Structuurgeoriënteerde Fusie: De introductie van diepte-geëvalueerde structurele priors en een cross-attention fusie-mechanisme om semantische ambiguïteit veroorzaakt door spectrale gelijkenis effectief te mitigeren.

Resultaten

SpectralMoE is uitgebreid geëvalueerd op zeven DGSS-benchmarks, waaronder:

• Cross-Sensor: Five-Billion-Pixels (GF-2 naar GF-1/Planet/Sentinel-2).
• Cross-Region: Five-Billion-Pixels, FLAIR, WHU-OHS.
• Cross-Style/Continent: LoveDA, OpenEarthMap, Potsdam & Vaihingen.

Kernbevindingen:

• SOTA Prestaties: SpectralMoE vestigt een nieuwe state-of-the-art op alle geteste benchmarks, vaak met een aanzienlijke marge boven bestaande methoden zoals REIN, FADA, SET en DepthForge.
  • Bijvoorbeeld, op de Five-Billion-Pixels cross-sensor taak verbeterde het de mIoU met 7,13% ten opzichte van de beste concurrent (REIN) wanneer DINOv3 als backbone werd gebruikt.
• Robuustheid: Het framework werkt consistent goed op verschillende Foundation Models (DINOv2, DINOv3, CLIP, SAM, EVA02) en zowel op RS-specialistische modellen (DOFA) als algemene visuele modellen.
• Ablatie Studies:
  • Het verwijderen van de MoE-mechanisme (globale aanpassing) leidt tot een significante daling in prestaties, wat de noodzaak van lokale verfijning bevestigt.
  • Het verwijderen van de dubbele poort (dual-gating) of de cross-attention fusie resulteert ook in prestatieverlies, wat aantoont dat zowel modale onafhankelijkheid als structurele fusie cruciaal zijn.
  • De optimale hoeveelheid experts ($N_e$) bleek 6 te zijn.

Significantie

Dit paper biedt een fundamentele doorbraak in de interpretatie van spectrale remote sensing beelden. Het demonstreert dat de overgang van globale naar ruimtelijk adaptieve aanpassing essentieel is voor het overwinnen van spectrale verschuivingen.

• Door de combinatie van Mixture-of-Experts (voor lokale precisie) en diepte-gebaseerde structurele priors (voor robuustheid), biedt SpectralMoE een oplossing die veel beter generaliseert naar onbekende omgevingen dan eerdere methoden.
• Dit heeft grote praktische implicaties voor toepassingen zoals landbouwmonitoring, stedelijke planning en rampenbeheer, waar modellen vaak moeten werken onder variabele omstandigheden zonder toegang te hebben tot doeldata tijdens het trainen.