Résumé technique : Changement de modalités : adapter les modèles de télédétection aux nouveaux satellites et capteurs

Énoncé du problème

Les modèles de télédétection (RS) sont généralement entraînés et déployés sur des ensembles statiques de modalités (par exemple, des capteurs ou des bandes spectrales spécifiques). Cependant, le paysage de l'observation de la Terre est dynamique : des satellites sont lancés avec de nouveaux capteurs, d'anciens sont retirés, et la disponibilité des données change (par exemple, des données gratuites devenant payantes). Cela crée un défi critique : les modèles existants échouent lorsqu'ils sont confrontés à des modalités non vues lors de l'entraînement. Par exemple, un modèle entraîné sur les 12 bandes de Sentinel-2 ne peut pas prédire sur un nouveau capteur hyperspectral possédant des centaines de bandes.

L'article identifie trois scénarios spécifiques où les modèles doivent s'adapter à ces changements de modalités sans le luxe de ré-étiqueter les données ou de ré-entraîner à partir de zéro en raison des contraintes de calcul et d'annotation :

1. Transfert de modalité : Passer d'une ancienne modalité ($M_A$) à une nouvelle ($M_B$) tout en maintenant la capacité prédictive (par exemple, passer de LandSAT à Sentinel-2).
2. Addition de modalité : Incorporer une nouvelle modalité ($M_B$) aux prédictions aux côtés de la modalité existante ($M_A$) pour tirer parti d'informations complémentaires.
3. Observation furtive (Modality Peeking) : Améliorer les prédictions sur une ancienne modalité ($M_A$) en observant une nouvelle modalité non étiquetée ($M_B$) pendant l'adaptation, puis revenir à $M_A$ pour l'inférence.

La littérature existante traite ces scénarios de manière isolée (par exemple, la distillation de connaissances pour le transfert, l'apprentissage semi-supervisé pour l'observation furtive, l'expansion de connaissances multimodales pour l'addition) ou suppose des modalités fixes (apprentissage continu, adaptation de domaine). Aucun cadre unifié n'existe pour gérer ces trois scénarios dans un contexte sans étiquettes utilisant des données multimodales non étiquetées.

Méthodologie : DeluluNet

Les auteurs proposent DeluluNet, une architecture unifiée conçue pour adapter un modèle prédictif unimodal existant ($f_0$) à des changements de modalités en utilisant des données appariées non étiquetées ($D_a \subset M_A \times M_B$). Le concept central est l'hallucination de modalité : prédire les représentations des modalités manquantes à partir de celles qui sont présentes.

Architecture

DeluluNet augmente un enseignant unimodal pré-entraîné ($f_0$, typiquement un ViT) avec trois composants modulaires :

1. Extraction spécifique à la modalité :
   • Les composants de $M_A$ sont initialisés à partir des poids de $f_0$.
   • Les composants de $M_B$ (tokenizer et couches de transformer) sont initialisés aléatoirement pour apprendre les caractéristiques spécifiques à la nouvelle modalité.
2. Fusion inter-modalités via des Transformers de masquage :
   • Inspiré par la modélisation d'image masquée, ce composant facilite l'apprentissage entre les modalités.
   • Il utilise un masquage au niveau du jeton (masquage aléatoire des jetons à travers les modalités) et un masquage au niveau de la modalité (traitant une modalité entière comme absente).
   • Un Transformer de masquage utilise l'attention croisée pour « halluciner » (imputer) les jetons masqués ou les modalités entières à partir des jetons visibles de l'autre modalité. Une requête apprise porte attention aux jetons visibles de l'autre modalité pour prédire les manquants.
3. Tête de prédiction :
   • Une tête spécifique à la tâche ($Head_{M_B}$) qui prédit à partir des représentations de $M_B$.

Stratégie d'entraînement

DeluluNet est entraîné de bout en bout en utilisant une stratégie de mélange de lots (batch mixing) qui alterne entre deux divisions de données :

• Division d'adaptation non étiquetée ($D_a$) : Contient des données appariées $M_A$ et $M_B$. Le modèle applique un masquage (au niveau du jeton et de la modalité) et utilise une perte de distillation (Distillation Loss). Le modèle apprend à prédire à partir des représentations hallucinées, distillant ainsi la connaissance de l'enseignant unimodal $f_0$.
• Division étiquetée ($D_l$) : Contient des données $M_A$ étiquetées. Le modèle traite $M_B$ comme étant masqué (halluciné) et applique une perte d'entropie croisée (Cross-Entropy Loss) par rapport aux étiquettes réelles. Cela permet au modèle d'apprendre à partir d'étiquettes réelles en utilisant des entrées pseudo-multimodales.

Fonctions de perte

L'objectif d'entraînement combine quatre termes de perte :

1. Perte de distillation : Sur les lots non étiquetés, alignement des prédictions avec l'enseignant $f_0$.
2. Perte d'entropie croisée : Sur les lots étiquetés, alignement des prédictions avec la vérité terrain.
3. MSE de pré-fusion : Supervise directement le transformer de masquage, encourageant les jetons CLS et les jetons de patch prédits à correspondre aux véritables jetons de la modalité masquée.
4. MSE latente : Ancre la représentation fusionnée aux représentations pénalt dernières couches de l'enseignant via un décodeur.

Résultats clés

Les auteurs ont évalué DeluluNet sur trois jeux de données (EuroSAT, reBEN, DFC2020) couvrant les changements de bandes (au sein de Sentinel-2) et les changements de satellites (Sentinel-1 vers Sentinel-2).

• Transfert de modalité : DeluluNet a systématiquement surpassé les bases de référence sans étiquettes comme la distillation de connaissances (KD) et le TTM (Transformed Teacher Matching). Notamment, dans plusieurs scénarios de transfert (ex: S2-rgb vers S2-non-rgb), DeluluNet a dépassé les modèles DINOv3 entièrement supervisés, atteignant des performances proches des modèles de fondation multimodaux (RSFM) oracles sans nécessiter d'étiquettes sur la modalité cible.
• Addition de modalité : DeluluNet a amélioré les performances par rapport à la base unimodale $f_0$ et a surpassé les bases de référence d'expansion de connaissances multimodales (MKE). Dans certains cas, il a égalé ou dépassé les oracles RSFM supervisés (ex: Panopticon, OlmoEarth) entraînés sur des données multimodales étiquetées.
• Observation furtive (Modality Peeking) : DeluluNet a systématiquement amélioré les prédictions sur la modalité d'origine ($M_A$) en exploitant les observations non étiquetées de $M_B$, surpassant les bases de référence d'apprentissage semi-supervisé comme MixMatch.
• Études d'ablation : Supprimer n'importe quel composant (Transformers de masquage, MSE de pré-fusion, MSE latente ou mélange de lots) entraînait une dégradation des performances dans tous les scénarios, confirmant la nécessité du mécanisme d'hallucination et des termes de perte spécifiques.
• Coût computationnel : Bien que DeluluNet soit plus coûteux en calcul que les modèles unimodaux en raison de l'hallucination, son coût est comparable aux RSFM multimodaux existants (comme Panopticon) lors du traitement d'entrées multimodales.

Signification et revendications

L'article affirme que DeluluNet fournit une alternative pratique et sans étiquettes au ré-étiquetage et au ré-entraînement dans un monde en mutation. Sa principale importance réside dans :

1. Cadre unifié : C'est la première méthode traitant conjointement les scénarios de transfert, d'addition et d'observation furtive sous une seule architecture.
2. Durabilité : Il offre une voie pour adapter les modèles existants à de nouveaux capteurs sans le coût insoutenable du pré-entraînement de modèles de fondation à partir de zéro ou de la collecte de jeux de données étiquetés massifs pour chaque nouveau capteur.
3. Déployabilité immédiate : Les praticiens peuvent augmenter les modèles finement ajustés existants avec des composants modulaires en utilisant des données satellitaires appariées largement disponibles et non étiquetées, plutôt que d'attendre le développement de nouveaux modèles de fondation.

Les auteurs reconnaissent des limites, notant que le travail actuel suppose des tâches d'occupation des sols statiques et des observations co-localisées appariées. Ils soulignent que le désalignement temporel (ex: surveillance des catastrophes) et le besoin d'un apprentissage auto-supervisé continu du modèle de fondation lui-même sont des directions importantes pour les travaux futurs. L'article conclut en appelant à des benchmarks à long terme couvrant diverses modalités pour soutenir l'évolution durable des modèles de télédétection parallèlement aux constellations de satellites.