NeXt2Former-CD: Efficient Remote Sensing Change Detection with Modern Vision Architectures

Ce papier présente NeXt2Former-CD, un cadre de détection de changement dans l'imagerie satellitaire qui combine un encodeur ConvNeXt, une fusion temporelle par attention déformable et un décodeur Mask2Former pour surpasser les modèles basés sur les SSM en termes de précision tout en conservant une latence d'inférence compétitive.

L'essentiel

Imaginez que vous êtes un détective privé chargé de surveiller une ville entière. Votre mission ? Repérer tout ce qui a changé entre deux photos prises à des moments différents : un nouveau bâtiment construit, un arbre abattu, ou une inondation.

Le problème, c'est que les photos ne sont jamais parfaites. Parfois, le soleil brille différemment, parfois les nuages bougent, et parfois, la caméra n'a pas été parfaitement alignée (ce qu'on appelle le "co-enregistrement"). Tout cela crée du "bruit" qui peut tromper un détective inexpérimenté.

Voici l'histoire de NeXt2Former-CD, un nouveau détective numérique très performant, expliqué simplement.

1. Le Problème : Les anciens détectifs et la nouvelle mode

Pendant longtemps, les détectives (les algorithmes) utilisaient des méthodes classiques (CNN) pour comparer les photos. Ensuite, une nouvelle mode est arrivée : les Transformers (qui voient l'image entière d'un coup) et plus récemment, les Mamba (des modèles très rapides qui lisent l'image comme un texte, ligne par ligne).

Les modèles "Mamba" sont très populaires car ils sont rapides et économes. Mais ils ont un défaut : en lisant l'image comme un texte (de gauche à droite, de haut en bas), ils peuvent parfois perdre le sens de la géométrie 2D réelle, un peu comme si quelqu'un essayait de comprendre une carte en lisant uniquement les noms des rues sans regarder le dessin.

2. La Solution : NeXt2Former-CD, le détective "Tout-en-un"

Les auteurs de cette étude ont dit : "Et si on utilisait les meilleurs outils existants, mais en les assemblant intelligemment, au lieu de suivre la mode Mamba ?"

Ils ont créé NeXt2Former-CD, qui fonctionne comme une équipe de trois experts :

• L'Expert Visionnaire (Le Moteur DINOv3) :
  Imaginez un détective qui a lu des millions de livres et vu des milliards de photos avant même de commencer son travail. C'est ce qu'on appelle un modèle pré-entraîné (DINOv3). Il ne part pas de zéro ; il connaît déjà à quoi ressemble un toit, une route ou un arbre. Cela lui permet de comprendre le contexte immédiatement, même si la photo est un peu floue.

• Le Mécanicien de la Comparaison (La Fusion Déformable) :
  C'est la partie la plus ingénieuse. Parfois, la photo d'hier et celle d'aujourd'hui ne sont pas parfaitement superposées (un décalage de quelques pixels).

  • L'analogie : Imaginez que vous essayez de superposer deux calques de papier transparent. Si l'un est légèrement décalé, les lignes ne correspondent pas.
  • La plupart des modèles essaient de forcer les lignes à s'aligner. Notre détective, lui, utilise une "attention déformable". C'est comme si ses yeux pouvaient s'étirer et se déformer légèrement pour attraper le bon objet, même s'il est un peu décalé. Il ignore les petits décalages géométriques et se concentre sur le vrai changement.

• Le Dessinateur Précis (Le Décodeur Mask2Former) :
  Une fois les changements identifiés, il faut les dessiner sur la carte. Au lieu de faire un dessin grossier, ce module agit comme un artiste qui dessine des contours très nets. Il ne se contente pas de dire "il y a un changement ici", il dessine la forme exacte du bâtiment ou de la zone inondée, sans les bords dentelés ou flous.

3. Les Résultats : Qui gagne la course ?

Les chercheurs ont testé ce nouveau détective sur trois grands défis (des bases de données de photos satellites réelles).

• La performance : NeXt2Former-CD a battu les champions actuels (les modèles basés sur Mamba). Il a trouvé plus de changements réels et a fait moins d'erreurs (moins de faux positifs).
• La vitesse : C'est là que ça devient surprenant. Même si ce modèle est plus "gros" (il a plus de paramètres, un peu comme un cerveau plus lourd), il est aussi rapide que les modèles Mamba sur les puces graphiques modernes.
  • Pourquoi ? Parce que les puces graphiques (GPU) adorent travailler en parallèle sur des images 2D. Le modèle Mamba, qui lit séquentiellement, ne profite pas autant de cette puissance. Notre détective, lui, utilise toute la puissance de la machine en même temps.

En résumé

Cette étude nous dit quelque chose d'important : on n'a pas besoin de suivre aveuglément la dernière mode (Mamba) pour être performant.

En combinant un cerveau très intelligent (DINOv3), des yeux flexibles (attention déformable) et un pinceau précis (Mask2Former), on peut créer un système de détection de changements qui est à la fois plus précis et aussi rapide que les technologies les plus récentes. C'est une victoire de l'ingéniosité architecturale sur la simple tendance du moment.

Résumé technique

1. Problématique et Contexte

La détection de changement (Change Detection - CD) à partir d'images de télédétection bi-temporelles est cruciale pour des applications telles que le suivi de l'expansion urbaine et l'évaluation post-catastrophe. Cependant, cette tâche se heurte à plusieurs défis majeurs :

• Bruit et artefacts : Différences d'éclairage, effets saisonniers, bruit et erreurs de co-enregistrement (co-registration) imparfaites qui créent de faux changements (pseudo-changes).
• Limites des architectures existantes :
  • Les approches CNN classiques peinent à modéliser le contexte global.
  • Les Transformers, bien que performants pour le contexte global, peuvent être coûteux en calcul sur des images haute résolution.
  • Les modèles récents basés sur les Modèles d'État d'Espace (SSM), comme Mamba, offrent une efficacité computationnelle mais introduisent des contraintes : ils nécessitent une sérialisation des caractéristiques 2D en 1D, ce qui peut dégrader la structure spatiale locale et la précision des limites (boundaries) selon la stratégie de balayage choisie.

L'objectif de l'article est d'explorer si des architectures modernes combinant convolutions et mécanismes d'attention peuvent offrir une alternative compétitive, voire supérieure, aux approches SSM, tout en conservant une efficacité d'inférence élevée.

2. Méthodologie : NeXt2Former-CD

Les auteurs proposent NeXt2Former-CD, un cadre de détection de changement "end-to-end" basé sur une architecture Siamese (à deux branches identiques). Le pipeline se compose de trois modules principaux :

A. Encodeur Siamese (Backbone)

• Architecture : Utilisation de ConvNeXt-Large pré-entraîné avec DINOv3 (un modèle d'apprentissage auto-supervisé à grande échelle sur le jeu de données LVD-1689M).
• Fonctionnement : Les deux images (avant et après le changement) sont traitées par deux branches partageant les mêmes poids.
• Avantage : L'initialisation avec DINOv3 fournit des représentations sémantiques robustes et transférables, réduisant le besoin d'apprentissage à partir de zéro et améliorant la généralisation.

B. Module d'Interaction et de Fusion Spatio-temporelle

Pour gérer les décalages spatiaux résiduels et les ambiguïtés sémantiques, le modèle intègre deux étapes à chaque échelle de caractéristiques :

1. Feature Rectify Module (FRM) : Inspiré de l'architecture Sigma, ce module "rectifie" les caractéristiques d'une image en utilisant les informations de l'autre. Il calcule des poids spatiaux et canalaires pour mettre en évidence les zones d'intérêt et supprimer les faux changements dus au bruit ou aux variations saisonnières.
2. Feature Fusion Module (FFM) : Au lieu d'une attention croisée standard (qui suppose un alignement parfait), les auteurs utilisent une Attention Déformable (Deformable Attention).
   • Pourquoi ? L'attention déformable permet un échantillonnage adaptatif autour de chaque position spatiale, ce qui est idéal pour compenser les petits décalages géométriques et les erreurs de co-enregistrement inhérentes aux paires d'images bi-temporelles.

C. Décodeur Mask2Former et Fonction de Perte Hybride

• Décodeur : Adaptation de Mask2Former, un décodeur universel de segmentation. Il prend les caractéristiques multi-échelles fusionnées et utilise un mécanisme d'attention masquée pour affiner un ensemble d'embeddings de requêtes (queries).
• Agrégation : Les sorties au niveau des requêtes (logits de classe et masques mous) sont agrégées en une carte de changement dense via une opération log-sum-exp.
• Fonction de Perte Hybride ($L$) : Pour améliorer la stabilité et la couverture des pixels, la perte totale combine :
  1. Une perte basée sur l'ensemble des requêtes ($L_{set}$) utilisant l'appariement de Hungarian (comme dans Mask2Former).
  2. Une perte de classification pixel dense explicite ($L_{pixel}$) par entropie croisée pondérée.
  • Ratio : $\lambda_{set} = 0.1$ et $\lambda_{pixel} = 10$.

3. Contributions Clés

1. Alternative aux SSM/Mamba : Démonstration que les architectures modernes basées sur ConvNeXt et l'attention (sans sérialisation 2D->1D) surpassent les modèles SSM récents pour la détection de changement.
2. Robustesse aux décalages spatiaux : L'intégration de l'attention déformable dans le module de fusion permet de mieux tolérer les erreurs de co-enregistrement et les déplacements d'objets sans nécessiter de stratégies de balayage complexes.
3. Initialisation par DINOv3 : Utilisation efficace de poids pré-entraînés massifs pour obtenir des représentations sémantiques supérieures, permettant une convergence plus rapide.
4. Efficacité pratique : Bien que le modèle ait un nombre de paramètres plus élevé, l'inférence reste rapide grâce au parallélisme GPU natif des convolutions et de l'attention, rivalisant avec les temps d'exécution des modèles Mamba.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks publics : LEVIR-CD, WHU-CD et CDD.

• Performance (Précision) :

  • NeXt2Former-CD obtient les meilleurs résultats sur tous les jeux de données, surpassant les modèles de référence basés sur Mamba (M-CD, ChangeMamba, CDMamba).
  • LEVIR-CD : F1 = 0.955, IoU = 0.914 (contre 0.954/0.911 pour M-CD).
  • CDD : F1 = 0.984, IoU = 0.969 (contre 0.981/0.963 pour M-CD).
  • Le modèle converge plus rapidement (atteint un IoU élevé dès ~25 époques) grâce à l'initialisation DINOv3.

• Efficacité (Latence) :

  • Malgré un nombre de paramètres plus important (392M vs 69M pour M-CD), le temps d'inférence est comparable (36.79 ms vs 33.84 ms par paire d'images sur RTX 5090).
  • Cela prouve que les composants convolutifs et d'attention bénéficient fortement du parallélisme GPU.

• Qualité Visuelle :

  • Les résultats qualitatifs montrent des limites de bâtiments plus nettes et alignées avec la vérité terrain par rapport à M-CD (qui produit des contours irréguliers).
  • Meilleure suppression des faux positifs dans les zones non changées (ex: variations saisonnières).

5. Signification et Conclusion

Ce travail remet en question la tendance actuelle à privilégier exclusivement les architectures SSM (Mamba) pour la télédétection. Il démontre que :

• Les architectures 2D modernes (ConvNeXt + Attention Déformable + Mask2Former), lorsqu'elles sont correctement initialisées et conçues, offrent un meilleur compromis entre précision sémantique, gestion des décalages géométriques et efficacité.
• La complexité quadratique de l'attention n'est pas nécessairement un frein si l'on utilise des mécanismes comme l'attention déformable et des backbones pré-entraînés puissants.
• L'approche proposée est pratique pour des tâches de détection de changement haute résolution, offrant une alternative robuste et performante aux designs centrés sur les SSM.

Le code sera disponible publiquement, facilitant la reproduction et l'adoption de cette architecture dans la communauté de la télédétection.