Résumé Technique : Échantillonnage de Scénarios Guidé par l'Espace Latent pour la Segmentation Multimodale en Cas de Modalités Manquantes

1. Définition du Problème

La segmentation sémantique multimodale en télédétection exploite des informations complémentaires provenant de capteurs divers (par exemple, optique, SAR, MNS) pour améliorer la cartographie de l'occupation des sols et la surveillance environnementale. Cependant, les déploiements réels souffrent souvent de l'absence de certaines modalité dues à des défaillances de capteurs, à des interférences atmosphériques ou à des problèmes d'acquisition de données. Bien que les méthodes existantes abordent ce problème par la reconstruction, l'apprentissage de caractéristiques invariantes aux modalités ou des objectifs d'entraînement robustes, une limitation critique persiste : les stratégies d'entraînement standard emploient généralement un abandon aléatoire uniforme des modalités.

Cet échantillonnage uniforme traite tous les scénarios de disponibilité des modalités comme également informatifs. Les auteurs émettent l'hypothèse que cela est sous-optimal car différents motifs de modalités manquantes perturbent la représentation latente partagée apprise par le modèle à des degrés divers. Par conséquent, un modèle entraîné avec un abandon uniforme peut ne pas prioriser adéquatement les scénarios les plus difficiles ou les plus informatifs lors de la phase de fine-tuning, limitant ainsi sa robustesse lorsque des modalités sont absentes.

2. Méthodologie

L'article propose une nouvelle stratégie de fine-tuning qui remplace l'abandon aléatoire uniforme par une distribution d'échantillonnage de scénarios guidée par l'espace latent. L'idée centrale est de dériver les probabilités d'échantillonnage directement du comportement d'un modèle de segmentation multimodale pré-entraîné. La méthodologie se déroule en quatre étapes principales :

A. Quantification de la Distorsion du Scénario

Les auteurs utilisent un modèle pré-entraîné (spécifiquement l'architecture CBC-SLP, bien que la méthode soit applicable à d'autres) qui structure son espace latent en composants partagés et spécifiques aux modalités.

1. État de Référence : Pour une entrée donnée, la représentation latente partagée sous une disponibilité complète des modalités ($\mathbf{z}_{sh, full}$) sert de référence.
2. Mesure de Distorsion : Pour chaque scénario possible de disponibilité des modalités $\mathbf{s}^{(k)}$, le modèle génère une représentation latente partagée $\mathbf{z}_{sh}(\mathbf{X}, \mathbf{s}^{(k)})$. La « distorsion latente partagée » est calculée comme la distance euclidienne moyenne au carré entre la représentation du scénario et la référence à modalité complète :
   $$d_{sh}^{(k)}(i) = \frac{1}{|\Omega_{sh}|} \|\mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{s}^{(k)}) - \mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{F}_M)\|_2^2$$
3. Importance Brute : La distorsion moyenne sur l'ensemble d'entraînement définit le score d'importance brute $\eta^{(k)}$ pour le scénario $k$. Des scores plus élevés indiquent des scénarios qui causent une perturbation plus importante de l'espace latent partagé.

B. Couplage de Scénarios par Noyau

Pour affiner ces scores bruts et prendre en compte les relations entre les scénarios, les auteurs emploient une approche de lissage par noyau régularisé inspirée du cadre MaD-Mix.

1. Définition du Noyau : Un noyau à fonction de base radiale (RBF) est défini sur les descripteurs de scénarios (les scores de distorsion bruts) pour capturer la similarité entre les scénarios :
   $$\kappa(\eta^{(p)}, \eta^{(q)}) = \exp\left(-\frac{(\eta^{(p)} - \eta^{(q)})^2}{2\sigma^2}\right)$$
2. Optimisation Régularisée : L'objectif est de trouver une fonction de notation affinée $f$ dans un Espace de Hilbert à Noyau Reproductible (RKHS) qui s'adapte aux scores bruts tout en variant de manière lisse à travers des scénarios similaires. Cela se formule comme un objectif régularisé minimisant la norme RKHS et l'erreur par rapport aux scores bruts.
3. Solution Analytique : En utilisant le théorème du représentant, le vecteur de score optimal $\mathbf{r}$ est dérivé via un filtre de seuillage spectral doux appliqué au vecteur d'importance brute $\mathbf{\nu}$ :
   $$\mathbf{r} = \mathbf{K}(\mathbf{K} + \lambda\mathbf{I})^{-1}\mathbf{\nu}$$
   où $\mathbf{K}$ est la matrice du noyau et $\lambda$ est un coefficient de régularisation. Cela garantit que les scénarios avec des perturbations latentes similaires reçoivent des scores similaires, réduisant la sensibilité au bruit.

C. Construction de la Distribution de Probabilité

Les scores affinés sont convertis en une distribution de probabilité d'échantillonnage $p$ pour le fine-tuning :

1. Standardisation : Les scores sont standardisés (moyenne nulle, variance unitaire).
2. Mise à l'Échelle par Température : Un softmax mis à l'échelle par température est appliqué pour générer une distribution non uniforme.
3. Combinaison Convexe : Pour empêcher le modèle d'ignorer les scénarios rares, la distribution finale est un mélange de la distribution softmax apprise et d'une distribution uniforme, contrôlée par un coefficient de mélange $\gamma$.

D. Protocole d'Entraînement

La méthode opère en deux étapes :

1. Pré-entraînement : Le modèle est entraîné en utilisant un abandon aléatoire uniforme standard des modalités.
2. Fine-tuning : Le modèle est affiné pour quelques époques supplémentaires. Durant cette phase, les masques de disponibilité des modalités sont échantillonnés selon la distribution de probabilité apprise $p$, plutôt que de manière uniforme. Cela biaise l'entraînement vers les scénarios qui induisent une distorsion latente plus élevée.

3. Contributions Clés

L'article expose trois contributions principales :

1. Stratégie d'Entraînement Nouvelle : Une méthode pour la segmentation sémantique multimodale qui dérive les poids des scénarios directement à partir de l'espace latent appris, remplaçant l'abandon aléatoire uniforme par une distribution apprise et non uniforme.
2. Formulation de la Distorsion Latente : Une définition spécifique de l'importance des scénarios basée sur la distorsion latente partagée, convertie en une distribution d'échantillonnage via un lissage par noyau régularisé. Cette formulation capture à la fois la sévérité des scénarios individuels et la structure relationnelle entre eux dans l'espace descripteur latent.
3. Évaluation Complète : Des expériences extensives sur trois ensembles de données de télédétection (DSTL, Potsdam, Hunan) utilisant trois architectures différentes (CBC-SLP, CBC, CMX). L'étude démontre des améliorations constantes par rapport au fine-tuning standard et à l'adaptation basée sur LoRA.

4. Résultats Expérimentaux

La stratégie proposée a été évaluée sur :

• Ensembles de données : DSTL (optique homogène), Potsdam (hétérogène RGB/IRRG/MNS) et Hunan (hétérogène MSI/SAR/MNT).
• Architectures : CBC-SLP, CBC et CMX.
• Lignes de base : Aucun fine-tuning, fine-tuning avec abandon aléatoire, et fine-tuning avec adaptation LoRA.

Constats Clés :

• Amélioration Constante : La stratégie proposée a surpassé à la fois le fine-tuning par abandon aléatoire standard et l'adaptation basée sur LoRA sur tous les ensembles de données et architectures.
• Robustesse en Cas de Modalités Manquantes : Des gains significatifs ont été observés dans les scénarios avec des modalités manquantes. Par exemple, sur l'ensemble de données Potsdam avec CBC-SLP, la méthode a amélioré l'IoU de 0,9 % lorsque seul le RGB était disponible par rapport à l'abandon aléatoire.
• Performance avec Modalités Complètes : De manière notable, la méthode n'a pas dégradé les performances lorsque toutes les modalités étaient disponibles ; en fait, elle a souvent montré de légères améliorations (par exemple, un gain de +1,3 % en IoU par rapport à LoRA sur Hunan avec des modalités complètes), suggérant que la stratégie améliore l'apprentissage de caractéristiques générales sans compromettre les scénarios de données complètes.
• Généralisabilité : L'approche s'est avérée efficace sur différents designs architecturaux (espaces latents partagés vs partagés-spécifiques) et combinaisons hétérogènes de modalités, indiquant que la guidance par l'espace latent est un signal agnostique au modèle.
• Analyse Qualitative : Les comparaisons visuelles ont montré que la méthode proposée produisait des limites plus précises et récupérait plus de pixels cibles dans des scénarios de modalités manquantes difficiles (par exemple, MNS ou MSI manquants) par rapport aux lignes de base.

5. Signification et Revendications

Les auteurs affirment que leur travail démontre que les représentations latentes pré-entraînées peuvent servir de base efficace pour l'échantillonnage lors du fine-tuning en cas de modalités manquantes.

L'article soutient que :

• L'abandon aléatoire uniforme ne parvient pas à prendre en compte l'hétérogénéité de la façon dont différents motifs de modalités manquantes affectent les représentations internes du modèle.
• En exploitant directement la structure latente pré-entraînée, la méthode proposée fournit une guidance plus informative et pertinente pour la tâche que le fine-tuning paramétrique efficace générique (comme LoRA) ou l'échantillonnage uniforme standard.
• La stratégie n'est pas limitée à une architecture spécifique mais offre un cadre général pour améliorer les performances de fine-tuning dans la segmentation multimodale lorsque des modalités sont indisponibles.

L'étude conclut que l'apprentissage d'une distribution d'échantillonnage de scénarios à partir de l'espace latent permet au modèle de se concentrer plus efficacement sur les configurations les plus difficiles et les plus informatives lors du fine-tuning, conduisant à des performances plus robustes dans les applications réelles de télédétection où les données de capteurs peuvent être incomplètes.