Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

Résumé technique : Préentraînement multi-échelle pour l'imagerie satellitaire à basse résolution

Énoncé du problème
La segmentation sémantique en télédétection est cruciale pour des applications telles que la sécurité alimentaire, la gestion des catastrophes et la recherche climatique. Cependant, les performances de l'apprentissage profond dans ce domaine sont souvent limitées par la rareté des annotations au niveau des pixels. Bien que l'apprentissage auto-supervisé (SSL) offre une solution en exploitant l'abondance d'images non étiquetées, la littérature actuelle sur le SSL en télédétection repose principalement sur des jeux de données à résolution moyenne (MR) (par exemple, Sentinel-1/2, GSD ≥ 10 m) en raison de leur disponibilité. Bien que les jeux de données à haute résolution (HR) (GSD ≤ 5 m) fournissent des détails spatiaux plus riches qui génèrent naturellement des performances supérieures, ils sont souvent coûteux, propriétaires ou restreints.

Une approche simple consistant à préentraîner uniquement sur des données HR ne parvient pas à capturer les avantages de l'imagerie MR, tels que des dimensions spectrales plus élevées, et peut ne pas se transférer efficacement vers des tâches en aval qui utilisent des entrées MR. À l'inverse, le préentraînement uniquement sur des données MR manque les détails spatiaux disponibles dans l'imagerie HR. Le défi central abordé par ce travail consiste à intégrer des jeux de données HR dans le préentraînement auto-supervisé d'images MR pour améliorer l'apprentissage de représentations sans perdre les avantages spécifiques des données MR.

Méthodologie
Les auteurs proposent une stratégie de préentraînement multi-échelle utilisant un composant d'affinité spatiale conçu pour être intégré dans des frameworks SSL existants. La méthodologie utilise un jeu de données réel apparié (Sen2Venus), contenant des images Sentinel-2 (10 m) et Venus (5 m) co-temporelles.

• Architecture : Le composant utilise une architecture étudiant-enseignant pour l'auto-distillation.
  • Encodeur étudiant : Traite des patches de l'image à résolution moyenne ($I_{MR}$). Cet encodeur est partagé avec le framework SSL hôte et est mis à jour par rétropropagation.
  • Encodeur enseignant (Enseignant HR) : Traite des patches de l'image à haute résolution ($I_{HR}$). Il partage la même architecture que l'étudiant mais est mis à jour via une moyenne mobile exponentielle (EMA) des paramètres de l'étudiant pour éviter l'effondrement.
• Correspondance des patches : Étant donné un facteur d'échelle $s=2$, chaque patch dans $I_{MR}$ correspond à $s^2$ patches dans $I_{HR}$. La sortie de l'enseignant HR pour ces patches correspondants est sous-échantillonnée (via une projection bilinéaire, bicubique ou linéaire) pour correspondre à la dimensionalité de la sortie de l'étudiant.
• Fonction de perte : Le cœur de la méthode est la perte de Gram. Au lieu de minimiser l'erreur quadratique moyenne (MSE) entre les représentations de patches directement, la méthode minimise la MSE entre les matrices de Gram (produits scalaires par paires de représentations normalisées L2) de l'étudiant et de l'enseignant sous-échantillonné. Cette approche tolère les différences spécifiques aux capteurs entre les deux résolutions tout en pénalisant les différences dans la structure spatiale au niveau des patches.
• Frameworks testés : Le composant a été évalué sur deux frameworks de modélisation d'images masquées (MIM) : I-JEPA (qui utilise un échantillonnage par blocs) et LatentMIM (qui utilise un échantillonnage aléatoire non contigu).

Contributions clés

1. Composant d'affinité spatiale : Un module novateur permettant aux frameworks SSL existants d'exploiter l'imagerie HR pour apprendre des représentations plus riches de l'imagerie MR grâce à un objectif de super-résolution dans l'espace latent.
2. Stratégie de préentraînement multi-échelle : Une démonstration montrant que la combinaison de données réelles appariées HR et MR lors du préentraînement produit de meilleures performances en aval que le préentraînement sur l'une ou l'autre résolution seule.
3. Validation empirique : Une évaluation complète sur quatre tâches diverses de segmentation sémantique MR (type de culture, cartographie des inondations, cartographie des cultures et détection de polluants marins) montrant des améliorations constantes.

Résultats
Les auteurs ont évalué le modèle SA proposé (préentraîné avec le composant d'affinité spatiale sur des paires HR/MR) par rapport aux modèles MR (préentraînés uniquement sur MR) et aux modèles HR (préentraînés uniquement sur HR) en utilisant une sonde linéaire sur quatre jeux de données : m-SA-Crop-Type, Sen1Floods11, PASTIS et MADOS.

• Performance : Le modèle SA a surpassé le modèle MR dans tous les cas sauf un et a surpassé le modèle HR dans la plupart des cas, tant pour les frameworks I-JEPA que LatentMIM. Par exemple, en utilisant LatentMIM, le modèle SA a atteint un Intersection over Union moyen (mIoU) de 23,39 sur m-SA-Crop-Type, contre 21,41 (MR) et 22,39 (HR).
• HR réel vs HR faux : Des études d'ablation ont confirmé que les gains de performance proviennent du contenu informationnel des données HR réelles. Les modèles entraînés avec des données HR « fausses » (générées par interpolation d'images MR) ont généralement sous-performé par rapport à ceux entraînés avec de vraies paires HR, validant que la méthode apprend des caractéristiques spécifiques aux capteurs réelles plutôt que simplement une mise à l'échelle de la résolution.
• Ablations :
  • Perte de Gram : A surpassé la perte MSE standard dans les tâches en aval.
  • Sous-échantillonnage : Le sous-échantillonnage bilinéaire s'est avéré le plus efficace et le plus efficace sur le plan computationnel par rapport à la projection bicubique ou linéaire.
  • Échantillonnage : L'échantillonnage par blocs n'a pas amélioré les performances par rapport à l'échantillonnage aléatoire par défaut pour LatentMIM.

Portée et affirmations
L'article affirme que le composant d'affinité spatiale proposé exploite efficacement les détails visuels plus riches des images satellitaires HR tout en conservant les avantages de l'imagerie MR (telles que les dimensions spectrales et la disponibilité). Les auteurs soutiennent que cette approche démontre que des stratégies d'entraînement efficaces utilisant à la fois des données HR et MR peuvent surpasser les modèles entraînés sur une seule résolution.

Le travail met en évidence que, bien que les données HR soient précieuses, le préentraînement simple sur celles-ci est sous-optimal pour les tâches MR en aval. En utilisant de vraies paires HR/MR et une distillation basée sur une perte de Gram, le modèle apprend à représenter les patches MR avec un niveau de détail spatial approchant celui des images HR. Les auteurs concluent modestement que, bien que leur méthode soit efficace, les travaux futurs devraient se concentrer sur la réduction de la dépendance aux paires d'images HR/MR co-temporelles de haute qualité, étant donné la rareté et la difficulté d'acquisition de tels jeux de données.