Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

Résumé Technique : Modèle de Fondation Préentraîné Spécifique à un Domaine et Guidé par le Clustering pour la Télédétection de Très Haute Résolution en Arctique

Énoncé du Problème
Malgré la disponibilité sans précédent des données d'observation de la Terre (EO), de vastes archives restent sous-utilisées pour la synthèse scientifique. Un défi central de l'informatique terrestre consiste à transformer de vastes ensembles de données de télédétection hétérogènes en produits prêts pour la science. Bien que les récentes avancées de l'apprentissage auto-supervisé et des modèles de fondation (par exemple, les auto-encodeurs masqués ou MAE) aient montré des promesses en vision par ordinateur, leur application directe à la télédétection est non triviale. L'imagerie de télédétection diffère fondamentalement des images quotidiennes ; les « objets géographiques » sont des propriétés émergentes de l'échelle, du contexte spatial et des processus temporels, plutôt que des instances visuelles discrètes. De plus, les modèles de fondation de télédétection (RSFM) existants, tels que Prithvi-EO-2.0, sont principalement entraînés sur des données à résolution moyenne ou grossière, ou sur des ensembles de données à résolution mixte. Cela soulève la question de savoir si un modèle généralisé unique peut représenter adéquatement divers processus des systèmes terrestres, ou si une adaptation au domaine est nécessaire pour capturer des motifs spécifiques à l'environnement, particulièrement en Arctique où les changements rapides induits par le climat et les caractéristiques fines du pergélisol (par exemple, les polygones de glace de coin, les glissements de terrain rétrogressifs) nécessitent une analyse de très haute résolution spatiale (VHSR).

Méthodologie
L'étude propose un nouveau cadre pour le développement d'un RSFM axé sur l'Arctique en combinant une curation d'images à l'échelle régionale sensible à la diversité avec un préentraînement auto-supervisé par MAE d'un encodeur Vision Transformer (ViT). La méthodologie se compose de cinq composantes clés :

1. Curation et Échantillonnage des Données :

   • Source : Les auteurs ont utilisé 267 To d'imagerie multispectrale satellite Vantor VHSR (environ 0,5 m de résolution) couvrant plus de 5 millions de km² de la région de la toundra du pergélisol arctique.
   • Stratégie : Pour éviter le suréchantillonnage de zones visuellement répétitives ou à faible information, un flux de travail de clustering en deux étapes a été employé.
     • Étape 1 (Niveau scène) : Environ 32 000 scènes candidates ont été caractérisées par des descripteurs spectraux (moyenne/écart-type par bande) et des métadonnées d'acquisition. Le clustering par propagation d'affinité a été utilisé pour sélectionner des exemplaires de scènes représentatifs sans spécifier le nombre de clusters.
     • Étape 2 (Niveau patch) : Les scènes sélectionnées ont été partitionnées en patchs non chevauchants de 1024x1024 pixels. Ces patchs ont été davantage caractérisés par des statistiques spectrales et des caractéristiques de texture basées sur les filtres de Gabor. Une seconde étape de clustering par propagation d'affinité a sélectionné des exemplaires de patchs représentatifs au sein de chaque scène.
   • Résultat : Ce processus a permis de constituer environ 3 millions de patchs d'entraînement représentatifs, assurant une large diversité de scènes tout en réduisant la redondance.

2. Architecture de Préentraînement :

   • Modèle : Un encodeur ViT-Large a été préentraîné en utilisant un objectif MAE adapté au domaine.
   • Fonction de Perte : L'objectif de reconstruction combine un terme de Mahalanobis sensible à la covariance et un terme de Spectral Angle Mapper (SAM) pour capturer à la fois la déviation spectrale multivariée et la cohérence de la forme spectrale, reflétant mieux le comportement spectral de la télédétection qu'une perte standard par pixel.
   • Entraînement : Le modèle a été entraîné sur 16 nœuds de calcul (64 GPU au total) pendant 800 époques. Les points de contrôle ont été évalués sur des tâches de validation en aval pour sélectionner les poids finaux, plutôt que de se fier uniquement à la perte de reconstruction.

3. Évaluation en Aval :

   • L'encodeur préentraîné a été intégré dans le cadre ViTDetLoc (une architecture de détection et de segmentation basée sur les transformers, augmentée par des plongements de localisation).
   • Jeux de données : Le modèle a été affiné et évalué sur quatre jeux de données de cartographie de caractéristiques arctiques étiquetés manuellement :
     • Infrastructures humaines (bâtiments, routes, réservoirs).
     • Polygones de glace de coin (IWP).
     • Glissements de terrain rétrogressifs (RTS).
     • Réseaux capillaires de la toundra (TCNs).
   • Baselines : Les performances ont été comparées à une baseline ViT-Large initialisée sur ImageNet et au modèle de fondation de la Terre à usage général, Prithvi-EO-2.0.

Contributions Clés

• Curation Spécifique au Domaine : L'article introduit une stratégie d'échantillonnage évolutive et sensible à la diversité qui sélectionne les données d'entraînement sur la base de caractéristiques réelles d'image (spectrales, texture, métadonnées) plutôt que sur des étiquettes d'occupation des sols grossières, répondant ainsi à la variabilité fine inhérente aux images VHSR de l'Arctique.
• Modèle de Fondation Spécifique à l'Arctique : Le développement d'un RSFM préentraîné spécifiquement sur des images VHSR de l'Arctique curées, démontrant qu'un préentraînement auto-supervisé adapté au domaine produit des représentations plus transférables pour la cartographie fine de l'Arctique que les modèles à usage général.
• Validation sur des Caractéristiques Rares : L'étude valide le modèle sur des caractéristiques arctiques difficiles, rares et visuellement subtiles (par exemple, les réseaux capillaires et les glissements de terrain), là où les modèles standards échouent souvent.

Résultats

• Analyse de la Curation : Bien que l'échantillonnage aléatoire ait produit des sous-ensembles avec des distances de Wasserstein plus faibles par rapport aux archives complètes (indiquant une correspondance plus étroite avec la distribution marginale), l'approche par clustering a résulté en une plus grande dispersion dans l'espace des descripteurs. Cela a confirmé que la stratégie de curation a réussi à prioriser la diversité et à réduire la redondance, exposant le modèle à une gamme plus large de conditions visuelles et d'acquisition.
• Performance en Aval :
  • Le modèle préentraîné par l'Arctique MAE a systématiquement surpassé la baseline initialisée sur ImageNet pour les quatre tâches, atteignant des améliorations du score F1 moyen de premier plan d'environ 5 à 8 points de pourcentage.
  • Les scores F1 moyens de premier plan spécifiques pour l'Arctique MAE étaient : 0,87 (Infrastructures), 0,72 (IWP), 0,93 (RTS) et 0,87 (TCNs).
  • Crucialement, le modèle proposé a surpassé Prithvi-EO-2.0 dans toutes les comparaisons en aval, atteignant au moins 15 % d'amélioration. Les auteurs attribuent cela au décalage de résolution (Prithvi utilise des données de 30 m contre 0,5 m pour Vantor) et au décalage de domaine, suggérant que le transfert de résolution croisée à partir de modèles généraux est insuffisant pour les tâches spécialisées et fines de l'Arctique.

Signification et Revendications
L'article affirme que l'optimisation de la distribution des données de préentraînement à l'échelle régionale, tout en gardant l'architecture et l'objectif MAE fixes, peut produire un encodeur réutilisable et spécifique au domaine pour de multiples applications de télédétection VHSR. Les auteurs soutiennent que pour les tâches impliquant des textures fines, une morphologie locale et des conditions de surface spécifiques (telles que la dynamique du pergélisol arctique), le préentraînement auto-supervisé spécifique au domaine sur des images curées fournit des représentations plus transférables que de s'appuyer sur des modèles de fondation d'observation de la Terre à usage général. Ce travail démontre une voie évolutive pour transformer les vastes archives d'images non étiquetées de l'Arctique en modèles de fondation capables de soutenir des tâches de détection et de segmentation, même avec des données étiquetées limitées.