Résumé Technique : Combler l'écart : Quantifier le fossé de domaine dans la super-résolution par diffusion inter-capteurs

Énoncé du problème

Les applications de télédétection, telles que la surveillance des incendies de forêt et la gestion des ressources, sont confrontées à un dilemme critique de résolution spatiale. Les missions disponibles gratuitement comme Sentinel-2 offrent une haute fréquence temporelle mais une résolution modérée (10 m/pixel), tandis que les systèmes commerciaux comme PlanetScope fournissent une résolution plus élevée (3 m/pixel) moyennant un coût. La super-résolution (SR) vise à combler cet écart en reconstruisant des images haute résolution (HR) à partir d'observations basse résolution (LR).

Cependant, un défi fondamental persiste : l'absence de données appariées LR–HR authentiques provenant de capteurs différents. Par conséquent, la plupart des modèles de SR sont entraînés sur des données dégradées synthétiquement (par exemple, le sous-échantillonnage bicubique d'images HR). Cela crée un fossé de domaine significatif lorsque ces modèles sont appliqués à l'imagerie inter-capteurs réelle. Les données d'entraînement synthétiques ne parviennent pas à capturer les propriétés spectrales, radiométriques et géométriques complexes des capteurs réels, ce qui entraîne une performance instable et une dégradation potentielle de la qualité d'image lors du déploiement sur des données satellitaires réelles. Bien que les modèles basés sur la diffusion aient obtenu des résultats de pointe dans la SR d'images naturelles, leurs capacités de généralisation dans ce contexte spécifique de la télédétection inter-capteurs restent largement non quantifiées.

Méthodologie

Construction du jeu de données

Les auteurs ont construit un jeu de données à grande échelle, aligné géométriquement et temporellement, comprenant 175 régions des États-Unis, associant des images Sentinel-2 (10 m) et PlanetScope (3 m).

• Alignement : Les paires ont été acquises via PlanetHub avec un alignement géométrique sous-pixel.
• Proximité temporelle : Les paires ont été filtrées pour minimiser l'évolution des scènes, la majorité se situant dans une fenêtre de ±15 jours.
• Alignement spectral : Pour garantir la validité physique, six bandes spectrales chevauchantes (Bleu côtier, Bleu, Vert, Rouge, Red Edge, NIR) ont été sélectionnées pour les deux capteurs, évitant ainsi l'« hallucination » d'informations spectrales.
• Configurations expérimentales : L'étude a utilisé trois configurations distinctes :
  1. Cas I (Référence synthétique) : Entraînement et test sur des données PlanetScope synthétiquement dégradées (PlanetLR → PlanetHR).
  2. Cas II (Quantification du fossé de domaine) : Entraînement sur des données synthétiques de PlanetScope, mais test sur des données réelles de Sentinel-2 (SentinelLR → PlanetHR).
  3. Cas III (Cartographie directe) : Entraînement et test directement sur des paires réelles Sentinel-2 vers PlanetScope (SentinelLR → PlanetHR).

Modèles comparés

Cinq architectures de SR par diffusion à l'état de l'art ont été évaluées dans des conditions identiques en utilisant un squelette U-Net unifié (30 millions de paramètres) pour isoler les effets de la formulation de la diffusion :

1. DDPM : Modèle de diffusion probabiliste de débruitage standard.
2. Flow Matching (FM) : Un paradigme génératif déterministe apprenant un champ de vecteurs.
3. Image-to-Image Schrödinger Bridge (I2SB) : La traduction de trames comme un pont stochastique entre des distributions.
4. ResShift : Reparamètre la chaîne de Markov pour déplacer les résidus entre les images HR et LR.
5. UniDB : Généralise les ponts de diffusion via le contrôle optimal stochastique.

Métriques d'évaluation

L'étude a employé des métriques standards (PSNR, SSIM, LPIPS) et a introduit une nouvelle métrique :

• LPIPSSat : Une métrique perceptuelle adaptée au domaine, basée sur un squelette ResNet-50 pré-entraîné de manière auto-supervisée sur des données RGB de Sentinel-2. Contrairement au LPIPS standard (entraîné sur ImageNet), LPIPSSat est adapté aux caractéristiques spectrales et texturales de l'imagerie d'observation de la Terre.

Tâche en aval

Pour évaluer l'utilité pratique, les images améliorées par SR ont été évaluées sur une tâche de délimitation du changement de zone brûlée à l'aide d'un U-Net entraîné sur le jeu de données CaBuAr. Cela permet de tester si les modèles de SR préservent les informations pertinentes pour la tâche ou introduisent des artefacts qui entravent la segmentation.

Résultats clés

Performance quantitative

• Succès synthétique, échec réel (Cas I vs. Cas II) : Les modèles entraînés sur des données synthétiques (Cas I) ont obtenu des scores élevés (PSNR > 45 dB). Cependant, lorsqu'ils ont été appliqués à des données inter-capteurs réelles (Cas II), les performances se sont effondrées de manière catastrophique. Le PSNR est tombé à environ 16,7 dB, et les scores perceptuels ont indiqué que les modèles dégradaient activement l'entrée en imposant des priors synthétiques (par exemple, une netteté de type bicubique) qui ne correspondaient pas à la réalité physique des données de Sentinel-2.
• Adaptation limitée (Cas III) : L'entraînement direct sur des données réelles inter-capteurs (Cas III) a permis une récupération partielle des performances. Les métriques perceptuelles se sont considérablement améliorées par rapport au Cas II, mais les résultats restaient bien en dessous de la référence synthétique (Cas I). La haute variance des données réelles (due à l'illumination et aux différences de capteurs) a entravé une optimisation cohérente entre les architectures.
• Sensibilité des métriques : LPIPSSat s'est avéré plus sensible aux écarts spectraux et structurels que le LPIPS standard, reflétant mieux les échecs dans les scénarios réels.

Impact sur la tâche en aval

• Modèles synthétiques (Cas II) : Utilisés comme étape de prétraitement pour la tâche de zone brûlée, les modèles entraînés sur des données synthétiques ont apporté des améliorations modestes mais constantes par rapport à la ligne de base, probablement parce qu'ils améliorent les caractéristiques visuelles sans introduire d'artefacts complexes propres au domaine.
• Modèles du monde réel (Cas III) : Les modèles entraînés sur des données réelles ont introduit des « artefacts destructeurs » et des hallucinations qui ont dégradé la performance de segmentation en aval. Le double objectif consistant à apprendre simultanément la super-résolution et l'adaptation de domaine s'est avéré instable, produisant des sorties moins utiles pour la tâche spécifique que les entrées basse résolution originales.

Contributions clés

1. Quantification systématique : La première étude systématique quantifiant l'écart de généralisation du synthétique au réel pour la SR par diffusion en télédétection, démontrant que l'entraînement synthétique ne prépare pas les modèles aux défis inter-capteurs réels.
2. Métrique LPIPSSat : Introduction d'une nouvelle métrique perceptuelle adaptée au domaine, basée sur les caractéristiques auto-supervisées de Sentinel-2, offrant une évaluation plus fidèle de l'imagerie d'observation de la Terre que les métriques génériques.
3. Jeu de données à grande échelle : Construction d'un jeu de données apparié rigoureusement aligné de Sentinel-2 et PlanetScope, permettant une évaluation rigoureuse de la SR inter-capteurs.

Signification et affirmations

L'article soutient que la dépendance actuelle à l'entraînement synthétique pour la SR satellitaire est une « limitation clé » du domaine. Bien que l'entraînement synthétique offre une base stable, il échoue totalement lors du transfert vers des scénarios inter-capteurs réels. Inversement, l'entraînement direct sur des données réelles introduit des difficultés d'optimisation et des objectifs entrelacés (SR + adaptation de domaine) qui entraînent des résultats instables et chargés d'artefacts.

Les auteurs concluent que le domaine fait face à un dilemme : l'entraînement synthétique est stable mais limité en utilité, tandis que l'entraînement réel est nécessaire pour l'adaptation mais actuellement trop instable pour un déploiement pratique. Ils postulent que la recherche future doit se concentrer sur le découplage de la super-résolution et de l'adaptation de domaine, suggérant que les architectures actuelles ne peuvent pas pleinement s'adapter à la diversité physique et radiométrique des capteurs réels sans de nouvelles approches méthodologiques. Ce travail sert de fondation pour le développement de méthodes de généralisation inter-capteurs robustes plutôt que de simples améliorations d'architectures de modèles.