Résumé technique : Repenser l'efficacité du mélange d'experts pour la classification de modalités manquantes en télédétection

1. Définition du problème

La classification multimodale en télédétection repose sur des sources de données complémentaires (par exemple, optique, SAR, hyperspectrale, LiDAR) pour obtenir une observation de la Terre robuste. Cependant, les scénarios réels souffrent fréquemment de modalités manquantes dues à des défaillances de capteurs, des interférences atmosphériques ou des contraintes budgétaires. Cette incomplétude entraîne une dégradation sévère des performances des modèles multimodaux conventionnels, qui supposent généralement une disponibilité complète des modalités lors de l'entraînement et de l'inférence.

Les solutions existantes suivent généralement un paradigme en deux étapes : entraîner un modèle sur des données complètes, puis l'adapter aux scénarios de données manquantes via des modules supplémentaires ou un réentraînement. Cette approche souffre de deux limitations principales :

1. Surcharge de calcul : Le réentraînement ou l'adaptation répétés pour plusieurs configurations de modalités manquantes est inefficace.
2. Écart de généralisation : Les modèles entraînés sur des données complètes ne parviennent pas à prendre en compte l'incomplétude inhérente aux observations du monde réel, limitant leur capacité à gérer des conditions de modalités manquantes inédites.

Bien que le réglage fin efficace en paramètres (PEFT) basé sur des prompts offre une alternative légère, il nécessite souvent une croissance exponentielle des configurations à mesure que le nombre de modalités augmente, ce qui entrave la scalabilité.

2. Méthodologie : MaMOL

Les auteurs proposent MaMOL (Missing-aware Mixture-of-LoRAs), un cadre paramétriquement efficace qui reformule l'apprentissage de modalités manquantes comme un problème de calcul conditionnel. Au lieu de traiter les modalités manquantes comme une tâche de reconstruction de données, MaMOL utilise une architecture de mélange d'experts (Mixture-of-Experts, MoE) pour sélectionner dynamiquement des chemins de calcul basés sur les entrées disponibles.

Architecture de base

MaMOL est construit sur un fond de base Vision Transformer (ViT) pré-entraîné et gelé. Il injecte des experts d'adaptation de bas rang (LoRA) dans les couches de propagation directe (feed-forward), décomposant la transformation en trois composantes structurées :
$$f(z, m) = f_{shr}(z) + f_{mod}(z, m) + f_{pat}(z, m)$$
Où $z$ est la représentation d'entrée et $m$ est l'indicateur de disponibilité de la modalité.

Le cadre emploie un mécanisme de routage duel composé de deux catégories d'experts complémentaires :

1. Experts Statiques (Invariants et Spécifiques aux modalités) :

   • Expert Partagé : Toujours activé pour encoder la connaissance invariante aux modalités commune à tous les scénarios, assurant une stabilité globale.
   • Experts Spécifiques aux modalités : Activés uniquement lorsque leur modalité correspondante est présente ($\alpha_i = m_i$). Ils préservent les priors dépendants de la modalité et stabilisent l'alignement des caractéristiques lorsque des capteurs spécifiques sont disponibles.

2. Experts Dynamiques (Sensibles aux motifs) :

   • Un ensemble de $K_d$ experts qui se spécialisent de manière adaptative dans différentes configurations de motifs manquants.
   • Mécanisme de Routage : Contrairement au MoE standard, le routeur intègre explicitement à la fois le contenu sémantique de l'entrée ($z$) et la configuration de la modalité manquante ($\psi(m)$). Il sélectionne les top-$K$ experts via une fonction de porte :
     $$g = \text{TopK}(\text{softmax}(W \phi([z; \psi(m)])))$$
   • Cela permet au modèle d'apprendre des adaptations spécifiques pour les motifs manquants (par exemple, "HS manquant uniquement" vs "LiDAR manquant uniquement") sans réentraînement.

Efficacité des paramètres

En utilisant LoRA (Low-Rank Adaptation), MaMOL introduit un nombre minimal de paramètres entraînables. Les experts sont décomposés en matrices de bas rang ($A \in \mathbb{R}^{r \times d}, B \in \mathbb{R}^{d \times r}$ avec $r \ll d$), permettant l'unification de $2^M - 1$ combinaisons de modalités possibles au sein d'une structure de modèle unique.

3. Contributions clés

1. Reformulation du problème : L'article reformule l'apprentissage de modalités manquantes en télédétection comme un problème de sélection d'experts conditionnel, fournissant la première étude systématique des paradigmes MoE sous diverses configurations de modalités manquantes.
2. Cadre MaMOL : Introduction d'un cadre MoE à double routage et efficace en paramètres qui unifie de multiples scénarios de modalités manquantes. Il découple la connaissance partagée invariante aux modalités de l'adaptation dynamique sensible aux modalités.
3. Validation empirique : Des expériences approfondies démontrent que MaMOL améliore considérablement la robustesse et la généralisation sous divers scénarios de modalités manquantes avec un surcoût de calcul minimal. Le cadre est montré comme étant capable de s'étendre aux tâches d'images naturelles, validant son applicabilité trans-domaine.

4. Résultats expérimentaux

Les auteurs ont évalué MaMOL sur trois jeux de données publics de télédétection multimodale : Houston2013 (HS + LiDAR), Trento (HS + LiDAR) et Augsburg (HS + SAR).

• Performance : MaMOL a systématiquement surpassé les bases de référence de l'état de l'art (incluant MMP, DCP et diverses variantes de MoE comme Moerep, Moeada, Moetask) pour tous les taux de manque (50 %, 70 %, 90 %) et configurations de manque.
  • Sur le jeu de données Houston2013 avec un taux de manque de 50 %, MaMOL a atteint 98,40 % d'OA (contre 97,60 % pour le second meilleur), et 88,00 % d'OA dans le scénario de division 50 % entraînement / 100 % test, surpassant nettement les bases de référence qui chutent vers ~83-85 %.
  • Sur Augsburg, où les disparités de modalités sont importantes, MaMOL a montré des avantages clairs, atteignant 79,05 % d'OA contre 78,57 % pour la meilleure base de référence sous un taux de manque de 50 %.
• Généralisation : Les expériences de transfert sur le jeu de données d'images naturelles MM-IMDb ont confirmé que MaMOL se généralise au-delà de la télédétection, atteignant les scores F1-Macro les plus élevés pour toutes les divisions entraînement/test.
• Études d'ablation :
  • Le retrait des Experts Dynamiques a provoqué une chute substantielle des performances, confirmant leur rôle dans l'adaptation aux motifs de manque.
  • Le retrait des Experts Statiques a réduit la stabilité, soulignant leur importance pour préserver la connaissance invariante.
  • Le placement des experts dans les six dernières couches du Transformer a produit les meilleurs résultats, suggérant que le routage dynamique est plus efficace pour modéliser les interactions croisées de haut niveau.

5. Signification et affirmations

L'article affirme que MaMOL offre une solution légère, robuste et extensible pour l'incomplétude multimodale du monde réel. En traitant les modalités manquantes comme un problème de calcul conditionnel plutôt que comme un problème de reconstruction de données, les auteurs démontrent que :

• Les architectures MoE peuvent intrinsèquement s'adapter à divers scénarios de modalités manquantes sans nécessiter de réentraînement séparé ou de configurations de prompts exponentielles.
• Le découplage des experts partagés et dynamiques permet un transfert de connaissances stable tout en maintenant la flexibilité pour des motifs de manque spécifiques.
• L'approche est évolutive, capable de gérer des combinaisons multimodales complexes (jusqu'à trois modalités dans les expériences) et de se transférer vers les domaines d'images naturelles.

Ce travail positionne MaMOL comme une étape vers la construction de systèmes d'apprentissage multimodaux conscients des manques et généralisables, répondant au défi fondamental de la fiabilité dans les applications de télédétection contraintes par les capteurs.