DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning

Résumé Technique : Modélisation des Caractéristiques de Différence (DFM) pour la Légende d'Images de Télédétection par Changement

Énoncé du Problème
La légende d'images de télédétection par changement (RSICC - Remote Sensing Image Change Captioning) vise à générer automatiquement des descriptions en langage naturel des changements de surface entre des images de télédétection multi-temporelles. Bien que les méthodes existantes emploient généralement une architecture encodeur-décodeur avec une génération autorégressive, les auteurs identifient une limitation critique : la paresse du modèle (model laziness). Les approches actuelles ont tendance à privilégier l'apprentissage de motifs lexicaux fréquents et faciles à générer plutôt que de capturer les différences visuelles discriminantes entre les images. De plus, la perte autorégressive standard supervise uniformément tous les jetons (tokens), ignorant la difficulté variable de la génération de contenus dépendants de la position, ce qui conduit à des légendes qui manquent de précision sémantique concernant les changements spécifiques (par exemple, l'ajout ou la disparition d'objets).

Méthodologie : Modélisation des Caractéristiques de Différence (DFM)
Pour remédier à ces problèmes, l'article propose un nouveau cadre, la Modélisation des Caractéristiques de Différence (DFM), qui reformule le paradigme d'entraînement en intégrant l'apprentissage contrastif cross-modal et la connaissance de la détection de changement. Le cadre se compose de trois composants clés :

1. Perte Contrastive à Guidage Textuel (TGCL - Text-guided Gated Contrastive Loss) :

   • Mécanisme : Un encodeur de texte (All-MPNet-base-v2 pré-entraîné) aligne les légendes descriptives de changement avec les caractéristiques de différence extraites de l'encodeur de vision.
   • Mécanisme de Porte (Gating) : Pour éviter les conflits d'optimisation causés par les échantillons de « non-changement » (par exemple, des légendes indiquant « la scène est la même »), un indicateur de porte ($\delta_i$) filtre les paires sans changements réels du calcul de la perte contrastive.
   • Objectif : Cette perte contraint explicitement l'encodeur de vision à se concentrer sur les changements visuellement ancrés pertinents pour le texte, plutôt que sur des caractéristiques d'image génériques. Elle opère de manière bidirectionnelle (texte-vers-image et image-vers-texte) en utilisant une matrice de similarité basée sur les différences de jetons CLS et les plongements de phrases (sentence embeddings).

2. Module de Modélisation Conjointe des Caractéristiques (JFM - Joint Feature Modeling) :

   • Transfert de Connaissance : Le cadre incorpore un modèle de Détection de Changement (CD) pré-entraîné. Les plongements intermédiaires de l'encodeur CD servent de priors stables pour guider l'encodeur de vision, renforçant les caractéristiques pertinentes au changement tout en supprimant le bruit de fond.
   • Fusion de Caractéristiques : Le module JFM fusionne des représentations de différence multi-échelles. Il calcule des caractéristiques de différence directe ($\Delta v$) et des caractéristiques spatiotemporelles ($v_{diff}$) à partir du Vision Transformer (ViT). Ces dernières sont injectées de priors CD via une Attention Croisée (Cross-Attention), affinées par une Auto-Attention Bidirectionnelle, et enfin fusionnées à l'aide d'un mécanisme de Fusion Pondérée (WF - Weighted Fusion). Cela permet au modèle de capturer des variations spatiotemporelles complètes aux niveaux du pixel et de la structure.

3. Optimisation Globale :
   La fonction de perte totale combine la TGCL ($L_{TGC}$) avec la perte de génération autorégressive standard ($L_{gen}$), équilibrée par les hyperparamètres $\alpha$ et $\beta$. Cette approche à double objectif garantit que le modèle apprend à générer un texte fluide tout en étant strictement ancré dans les preuves visuelles du changement.

Contributions Clés

• Identification de la Paresse du Modèle : Les auteurs soulignent que les méthodes RSICC existantes dépendent excessivement de motifs linguistiques génériques en raison de l'entraînement autorégressif à perte unique. Ils proposent la TGCL et le transfert de connaissances de détection de changement (CD) pour imposer une compréhension du changement visuellement ancrée.
• Nouvelle Architecture : L'introduction du module Joint Feature Modeling (JFM), qui capture conjointement les caractéristiques de différence au niveau du pixel et de la structure à travers plusieurs échelles, permettant une légende plus précise et sensible au contexte.
• Porte à Guidage Textuel : La conception d'un mécanisme de porte au sein de la perte contrastive pour exclure les échantillons de non-changement, garantissant que le modèle n'optimise que les instances de changement significatives.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur deux jeux de données de référence : LEVIR-CC et Dubai-CC.

• Performance : Le DFM a obtenu des résultats de pointe (state-of-the-art), surpassant les méthodes précédentes (incluant les architectures basées sur CNN, Transformer et Mamba comme RSCaMa).
  • Sur LEVIR-CC, le DFM a atteint un score CIDEr-D de 142,51 et un score moyen ($S^*_m$) de 81,40, dépassant largement le précédent meilleur (RSCaMA).
  • Sur Dubai-CC, le DFM a atteint un score CIDEr-D de 84,65 et un $S^*_m$ de 49,21, montrant des capacités d'apprentissage few-shot particulièrement fortes sur le petit jeu de données.
• Études d'Ablation :
  • Supprimer le mécanisme de porte ou utiliser une perte contrastive standard sans masquage dégrada la performance.
  • L'utilisation de la différence de jeton CLS ($\Delta_{cls}$) pour l'alignement s'est avérée supérieure aux caractéristiques de différence brutes ($\Delta_v$).
  • L'auto-attention bidirectionnelle spécifique avec fusion pondérée dans le module JFM a produit de meilleurs résultats que la simple concaténation, le masquage ou la fusion bilinéaire.
• Analyse Qualitative : Les comparaisons visuelles ont démontré que les modèles de base génèrent souvent des phrases génériques (ex: « construit le long de la route ») dérivées du contexte, tandis que le DFM produit des descriptions plus précises de changements spécifiques (ex: « la végétation a été remplacée par une zone résidentielle »).

Signification et Revendications
L'article affirme qu'en allant au-delà du paradigme de génération autorégressive unique, le DFM atténue avec succès la paresse du modèle. L'intégration de l'apprentissage contrastif guidé par le texte et des priors de détection de changement force le modèle à prêter attention aux différences visuelles critiques. Les auteurs soutiennent que cette approche conduit à des améliorations constantes sur de multiples métriques, particulièrement en CIDEr-D, qui mesure le consensus des descriptions humaines. Ce travail établit une nouvelle direction pour la RSICC en mettant l'accent sur l'alignement des caractéristiques de différence visuelle avec les représentations textuelles sémantiques, résultant en des descriptions de changement plus interprétables et précises pour des applications dans l'aménagement du territoire et la surveillance de l'expansion urbaine.