Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts

1. Problématique : La Défaillance des Ajustements Globaux

Le domaine de la Segmentation Sémantique par Généralisation de Domaine (DGSS) en télédétection spectrale (images hyperspectrales, multispectrales et RGB) fait face à un défi majeur : les décalages spectraux (spectral shifts). Ces décalages, causés par des variations de capteurs, d'éclairage, de saisons et d'environnements géographiques, entraînent une dégradation significative des performances des modèles lorsqu'ils sont appliqués à des domaines non vus lors de l'entraînement.

Bien que l'utilisation de Modèles de Base (Foundation Models - FMs) pré-entraînés et leur adaptation via des techniques de Raffinement Fin Économe en Paramètres (PEFT) soient prometteuses, les méthodes existantes souffrent d'une limitation critique :

• Approche "Taille Unique" (One-size-fits-all) : Les méthodes actuelles (comme REIN, FADA) appliquent des ajustements globaux et homogènes à l'ensemble de la carte de caractéristiques.
• Conséquence : Cette approche ignore l'hétérogénéité spatiale inhérente aux données de télédétection. Par exemple, des classes comme les "rizières" et les "étangs" peuvent être spectralement similaires et spatialement adjacentes. Un ajustement global conçu pour l'une peut interférer avec l'autre, provoquant une confusion inter-classe et une segmentation imprécise.

2. Méthodologie : SpectralMoE

Pour surmonter ces limites, les auteurs proposent SpectralMoE, un nouveau cadre PEFT qui passe d'un ajustement global à un calcul conditionnel spatialement adaptatif. L'architecture repose sur trois piliers innovants intégrés dans des modèles de base figés (VFMs pour la vision et DFMs pour la profondeur).

A. Raffinement Précis Local via un MoE à Double Portes (Dual-Gated MoE)

Au lieu d'apprendre un seul jeu de tokens d'adaptation partagé, SpectralMoE instancie un réseau de Mélange d'Experts (MoE) dans chaque couche du modèle de base.

• Architecture : Le module contient $N_e$ réseaux d'experts parallèles.
• Double Porte (Dual-Gating) : Un mécanisme de routage indépendant est conçu pour les deux modalités :
  1. Caractéristiques Visuelles ($f^v$) : Issues des bandes spectrales.
  2. Caractéristiques de Profondeur ($f^d$) : Estimées à partir des bandes RGB via un Modèle de Base de Profondeur (DFM, ex: PromptDA).
• Fonctionnement : Pour chaque token spatial, un réseau de portes calcule des logits basés sur la distance par rapport aux prototypes d'experts. Les $k$ meilleurs experts sont sélectionnés pour chaque modalité de manière indépendante. Cela permet un ajustement de caractéristiques localisé et spécialisé, évitant les interférences entre modalités et gérant l'hétérogénéité spatiale.
• Efficacité : Les tokens adaptatifs des experts sont paramétrés via une décomposition de rang faible (Low-Rank Decomposition) pour minimiser le nombre de paramètres apprenables.

B. Fusion Guidée par l'Attention Croisée (Cross-Attention)

Après le raffinement par les experts, les informations structurelles robustes issues de la profondeur doivent être fusionnées avec les caractéristiques visuelles pour réduire l'ambiguïté sémantique.

• Mécanisme : Une couche d'Attention Croisée est utilisée où la carte d'ajustement visuelle ($\Delta\hat{f}^v$) agit comme requête (query), et la carte d'ajustement de profondeur ($\Delta\hat{f}^d$) agit comme clé et valeur (key, value).
• Objectif : Cela permet aux tokens visuels de "sonder" activement la carte de profondeur pour extraire et agréger les informations structurelles les plus pertinentes (contours, hauteurs, relations spatiales), qui sont plus stables face aux changements spectraux que les données spectrales brutes.
• Résultat : Une fusion adaptative qui enrichit les caractéristiques visuelles avec des priors structurels, atténuant les confusions dans les zones spectralement similaires.

C. Objectif d'Optimisation

L'entraînement se fait uniquement sur les paramètres du module SpectralMoE et la tête de segmentation, tandis que les backbones (VFM et DFM) restent figés. Une fonction de perte de rééquilibrage de charge (load-balancing loss) est ajoutée pour éviter l'effondrement des experts (assurant que tous les experts sont utilisés de manière équilibrée).

3. Contributions Clés

1. Cadre SpectralMoE : Proposition d'un nouveau framework PEFT qui atteint des performances State-of-the-Art (SOTA) sur des benchmarks DGSS variés (hyperspectral, multispectral, RGB).
2. MoE à Double Porte : Conception d'un mécanisme de routage indépendant pour les modalités visuelle et de profondeur, résolvant le problème de confusion inter-classe causé par les ajustements globaux homogènes.
3. Priors Structurels Robustes : Introduction de caractéristiques de profondeur estimées à partir de bandes RGB et leur fusion via une attention croisée pour mitiger l'ambiguïté sémantique due aux similitudes spectrales.

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 benchmarks couvrant des tâches de généralisation croisée (régions, capteurs, styles, bandes spectrales, continents).

• Performance Globale : SpectralMoE établit un nouveau record SOTA sur tous les benchmarks, surpassant les méthodes concurrentes (SET, FADA, REIN, DepthForge) et les modèles de base figés.
  • Sur la tâche Hyperspectrale (WHU-OHS) : Gain de +3.22% de mIoU par rapport au meilleur compétiteur (DepthForge).
  • Sur les tâches Multispectrales (Five-Billion-Pixels) : Amélioration allant jusqu'à +7.13% de mIoU par rapport aux méthodes PEFT existantes.
  • Sur les tâches RGB : Performances supérieures sur les tâches de changement de style, de bande spectrale et de continent.
• Robustesse du Backbone : La méthode est robuste et performante sur différents modèles de base (DINOv3, DINOv2, EVA02, SAM, CLIP), démontrant une grande applicabilité.
• Études d'Ablation :
  • Le retrait du MoE (remplacement par un expert unique) fait chuter les performances de ~2-3%, confirmant la nécessité du raffinement local.
  • Le retrait du double gating (partage d'un seul réseau de portes) dégrade les performances, validant l'importance du routage modal indépendant.
  • L'absence de caractéristiques de profondeur ou d'attention croisée réduit significativement la précision, prouvant l'apport crucial des priors structurels.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'adaptation des modèles de base pour la télédétection. Il démontre que pour gérer la complexité des scènes terrestres (hétérogénéité spatiale et décalages spectraux), une approche "taille unique" est insuffisante.

En introduisant une adaptation conditionnelle et spatialement localisée via un MoE, couplée à l'utilisation de priors structurels (profondeur) pour guider le raffinement, SpectralMoE offre une solution robuste pour le déploiement de modèles de segmentation sémantique dans des environnements réels non vus. Cela ouvre la voie à des systèmes d'interprétation d'images satellitaires plus fiables et généralisables, essentiels pour la surveillance environnementale et la gestion des ressources.