Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

Ce papier propose un cadre d'apprentissage profond probabiliste qui exploite des données multimodales Sentinel-1 SAR et Sentinel-2 optiques pour générer des images satellites optiques à des dates passées ou futures arbitraires, traitant efficacement à la fois la densification temporelle des observations obscurcies par les nuages et la prévision future tout en modélisant explicitement l'incertitude de génération.

L'essentiel

Imaginez que vous essayez de regarder un film sur un champ d'agriculteur qui change au fil des saisons, mais que le projecteur est cassé. Parfois, le film saute, parfois il est couvert de neige (nuages), et parfois les bobines manquent complètement. Vous avez deux types de pellicules :

1. Pellicule optique (Sentinel-2) : De belles images colorées du champ, mais elles ne fonctionnent que lorsque le ciel est dégagé. S'il fait nuageux, l'image est blanche et inutile.
2. Pellicule radar (Sentinel-1) : Des images en noir et blanc, granuleuses, qui peuvent « voir » à travers les nuages et la pluie, mais qui ne montrent pas les couleurs vives des cultures.

Le Problème :
Les scientifiques veulent un film parfait, continu et coloré de la Terre. Mais à cause des nuages, il y a d'énormes lacunes dans la pellicule optique. Les outils existants peuvent essayer de « combler les blancs » entre deux images connues (comme deviner ce qui s'est passé au milieu d'une scène sautée), mais ils ne peuvent pas deviner ce qui se passe après la fin du film, et ils ne peuvent pas vous dire à quel point ils sont sûrs de leurs suppositions.

La Solution :
Les auteurs ont construit un « Réalisateur » d'IA intelligent qui agit comme un monteur maître. Il prend la pellicule optique cassée et la pellicule radar granuleuse et les assemble pour créer un film lisse, continu et coloré pour n'importe quelle date — que cette date soit dans le passé (combler les lacunes) ou dans le futur (prédire ce qui vient ensuite).

Voici comment le Réalisateur d'IA fonctionne, en utilisant des analogies simples :

1. Les Deux Yeux Spécialisés

L'IA possède deux « yeux » séparés pour observer les données.

• L'Œil optique regarde les images colorées.
• L'Œil radar regarde les images en noir et blanc.
  Au lieu de forcer les deux yeux à voir de la même manière, l'IA leur permet d'apprendre leur propre langage d'abord. C'est comme avoir un peintre et un sculpteur travailler séparément avant de collaborer ; le peintre comprend la couleur, et le sculpteur comprend la forme et la structure.

2. Le Calendrier « Voyage dans le Temps »

L'IA ne regarde pas seulement les images ; elle sait quand elles ont été prises. Elle utilise un calendrier spécial « Voyage dans le Temps ».

• Si l'IA doit prédire une image pour mardi prochain, elle demande : « À quoi ressemblait le champ lundi dernier ? Et il y a trois semaines ? »
• Elle calcule la distance entre le « maintenant » et le « alors ». Cela l'aide à comprendre qu'un champ ressemble très différemment au printemps qu'à l'automne, même si les images sont floues.

3. Le Projecteur Intelligent (Attention Croisée)

C'est l'astuce la plus intelligente de l'IA. Imaginez un projecteur sur une scène avec de nombreux acteurs (les différentes images satellites). L'IA doit décider quels acteurs écouter pour la scène finale.

• Scénario A (Ciel dégagé à proximité) : S'il y a une image colorée et claire d'hier, le projecteur brille intensément sur celle-ci. L'IA ignore les images radar car elle n'en a pas besoin ; la couleur est déjà là.
• Scénario B (Nuages épais) : Si les dernières images colorées sont couvertes de nuages (neige blanche), l'IA réalise : « Je ne peux pas utiliser celles-ci ! » Elle oriente immédiatement le projecteur vers les images radar. Même si elles sont en noir et blanc, elles montrent la forme des cultures, aidant l'IA à deviner quelles devraient être les couleurs.
• Scénario C (Le Piège des Nuages) : Si une image a été prise hier mais est couverte de nuages, l'IA apprend à l'ignorer complètement, même si elle est « proche » dans le temps. Elle sait qu'une image nuageuse est pire qu'une image claire d'il y a une semaine.

4. Le « Compteur de Confiance » (Incertitude)

La plupart des outils d'IA vous donnent simplement une image et espèrent le meilleur. Cette IA est différente : elle vous remet également un « Compteur de Confiance » (une carte d'incertitude).

• Si l'IA devine en se basant sur une image claire d'hier, le compteur dit : « Je suis sûr à 100 %. »
• Si l'IA doit deviner à quoi ressemblera le champ dans deux mois, ou si elle devine à travers une tempête épaisse, le compteur dit : « Je ne suis pas si sûr de cette partie. »
• Pourquoi cela compte : C'est comme un prévisionniste météo qui dit : « Il pleuvra, mais je ne suis sûr qu'à 60 % », plutôt que de simplement dire « Il pleuvra ». Cela aide les utilisateurs à savoir quand faire confiance à l'image et quand être prudent.

5. Les Résultats

L'article a testé ce « Réalisateur » sur de vraies données de terres agricoles :

• Combler les lacunes : Il a reconstruit avec succès les jours manquants dans le film, en particulier pour les cultures qui changent rapidement (comme le blé en croissance), faisant un meilleur travail que de simples astuces mathématiques ou d'anciens modèles d'IA.
• Prédire le futur : Il a pu deviner à quoi ressemblerait le champ des semaines après que la dernière photo ait été prise. Ce n'était pas parfait (plus il devinait loin, plus l'image était floue), mais il conservait les couleurs et les formes générales correctes.
• L'Erreur « Neige » : Les auteurs admettent que l'IA se trompe avec la neige. Puisqu'elle a été entraînée sur les nuages, elle pense parfois que la neige n'est qu'un autre type de nuage et tente de l'« effacer » pour montrer le sol en dessous, ce qui est faux. Elle est également confuse par les lumières très vives des villes.

Résumé

Cet article présente une nouvelle façon de regarder l'histoire de la Terre sans manquer un battement. En combinant des caméras de « couleur » (qui sont bloquées par les nuages) avec des caméras de « forme » (qui voient à travers les nuages), et en enseignant à l'IA de savoir quand faire confiance à quelle caméra, ils ont créé un système capable de combler les scènes de film manquantes et de prédire les scènes futures. Crucialement, il vous dit aussi à quel point il fait confiance à ses propres prédictions, agissant comme un monteur responsable qui admet : « Je devine ici. »

Résumé technique

Résumé technique : Densification et prévision des séries temporelles Sentinel-2 à partir de données SAR et optiques multimodales

Énoncé du problème

Les séries temporelles d'images satellites optiques (SITS) sont essentielles pour les applications d'observation de la Terre telles que l'agriculture, la surveillance du climat et l'analyse de la surface terrestre. Cependant, leur utilité est sévèrement limitée par des lacunes d'acquisition et un échantillonnage irrégulier causés par la couverture nuageuse et les bords de fauchée. Bien que les approches d'apprentissage profond existantes aient réussi à résoudre le retrait des nuages et la densification temporelle (interpolation) au sein de la fenêtre temporelle observée, elles font face à deux limitations principales :

1. Absence de capacité de prévision : La plupart des méthodes se limitent à reconstruire les lacunes dans l'étendue temporelle des données disponibles et ne peuvent pas prédire les observations futures (extrapolation).
2. Absence de quantification de l'incertitude : Les modèles existants fournissent généralement des estimations ponctuelles sans quantifier explicitement la fiabilité ou la confiance de leurs prédictions, ce qui est crucial pour la prise de décision en aval.
3. Contraintes de données : De nombreuses approches reposent sur des entrées multimodales alignées temporellement ou sur des masques de nuages explicites, limitant leur robustesse dans des scénarios réels, épars et irréguliers.

Méthodologie

Les auteurs proposent un cadre d'apprentissage profond probabiliste conçu pour générer des images optiques à des dates arbitraires passées (interpolation) ou futures (extrapolation) à partir de séries temporelles multimodales, éparses et irrégulières (Optique Sentinel-2 et SAR Sentinel-1). L'approche est formulée comme un problème de génération d'images conditionnée par la cible.

Aperçu de l'architecture

Le modèle se compose de trois composants principaux :

1. Extraction de caractéristiques spatiales :

   • Des encodeurs convolutifs 2D séparés traitent les données Sentinel-2 (RVB-INR) et Sentinel-1 (VV/VH) indépendamment pour capturer des motifs spatiaux spécifiques à chaque modalité.
   • Un mécanisme de Spatial Pyramid Pooling (SPP) est utilisé pour agréger des informations contextuelles multi-échelles tout en préservant les détails spatiaux fins et en évitant un lissage excessif.
   • Les séquences d'entrée sont remodelées pour traiter chaque acquisition indépendamment dans la dimension spatiale avant la modélisation temporelle.

2. Encodage temporel et attention croisée :

   • Encodage temporel : Le modèle encode explicitement le temps pour gérer l'échantillonnage irrégulier.
     • La date cible ($d_{target}$) est encodée à l'aide d'une représentation continue basée sur le jour de l'année (DOY) pour capturer la saisonnalité.
     • Les dates d'acquisition d'entrée ($d_i$) sont encodées par rapport à la date cible ($\Delta d = d_i - d_{target}$), capturant à la fois la distance temporelle et la direction (passé/futur).
   • Mécanisme d'attention croisée : L'encodage temporel de la date cible sert de requête, tandis que les jetons spatio-temporels de toutes les acquisitions Sentinel-1 et Sentinel-2 disponibles servent de clés et de valeurs.
   • Ce mécanisme permet au modèle d'agréger sélectivement des informations des observations les plus pertinentes temporellement sans nécessiter de masques de nuages explicites ni d'entrées alignées temporellement. Le modèle apprend de bout en bout à pondérer les observations fiables et à ignorer les observations peu fiables (par exemple, les pixels nuageux).

3. Décodeur probabiliste :

   • Au lieu de prédire une seule image déterministe, le décodeur prédit les paramètres d'une distribution de Laplace pixel par pixel (moyenne $\mu$ et échelle $b$) pour chaque bande spectrale.
   • La distribution de Laplace est choisie pour ses queues plus lourdes, qui sont plus robustes aux grandes erreurs de prédiction et réduisent le lissage excessif par rapport aux hypothèses gaussiennes.
   • Le modèle produit à la fois l'image optique reconstruite ($\mu$) et une carte d'incertitude (dérivée du paramètre d'échelle $b$).
   • L'entraînement est effectué en minimisant la vraisemblance négative de la distribution de Laplace.

Contributions clés

1. Interpolation et extrapolation unifiées : Contrairement aux travaux antérieurs limités au remplissage de lacunes, ce cadre génère des images à des dates cibles arbitraires, prenant en charge à la fois la reconstruction dans la fenêtre d'observation et la prévision au-delà de celle-ci.
2. Modélisation explicite de l'incertitude : La formulation probabiliste fournit des estimations d'incertitude pixel par pixel bien calibrées, offrant une mesure de fiabilité des prédictions qui augmente lorsque les données sont éparses ou temporellement éloignées.
3. Fusion multimodale robuste : L'approche exploite conjointement les données SAR Sentinel-1 et optiques Sentinel-2 sans dépendre de masques de nuages externes ni d'un alignement temporel strict. Le mécanisme d'attention croisée exploite de manière adaptative les données SAR lorsque les observations optiques sont manquantes ou contaminées.
4. Apprentissage de bout en bout : Le modèle apprend à gérer l'échantillonnage irrégulier et la contamination par les nuages de manière implicite, éliminant le besoin d'étapes de prétraitement telles que le masquage des nuages.

Résultats expérimentaux

La méthode a été évaluée sur un ensemble de données de patches Sentinel-1 et Sentinel-2 (96x96 pixels) couvrant divers paysages, avec un accent sur les zones agricoles.

Performance d'interpolation

• Métriques quantitatives : Le modèle proposé a surpassé à la fois une base de référence d'interpolation linéaire et le modèle U-TILISE (séquence à séquence optique uniquement) pour tous les types de couverture terrestre (Urbain, Forêt, Terres cultivées) en termes d'erreur absolue moyenne (MAE), d'erreur quadratique moyenne (RMSE) et de rapport signal sur bruit de crête (PSNR).
• Régions dynamiques : L'écart de performance était le plus significatif dans les zones de terres cultivées, où le modèle a réussi à capturer des dynamiques saisonnières complexes et non linéaires que l'interpolation linéaire et les modèles optiques uniquement n'ont pas réussi à modéliser avec précision.
• Analyse qualitative : Dans des scénarios avec de grandes lacunes temporelles, le modèle a produit des reconstructions plus nettes que les bases de référence. Crucialement, les régions présentant une difficulté de reconstruction élevée (par exemple, de grandes lacunes) ont présenté une incertitude prédite plus élevée, démontrant une estimation d'incertitude cohérente.

Performance d'extrapolation

• Le modèle a généré avec succès des observations futures plausibles, maintenant une cohérence radiométrique malgré la difficulté inhérente de l'extrapolation.
• Bien que les erreurs aient été plus élevées que dans l'interpolation, le modèle a préservé les principales dynamiques de végétation (par exemple, l'évolution du NDVI) sur de longues lacunes (par exemple, 1 mois et 20 jours).
• Les cartes d'incertitude ont correctement mis en évidence les zones de moindre confiance lors de l'extrapolation.

Études d'ablation

• Multimodal vs Optique uniquement : L'inclusion des données SAR Sentinel-1 a systématiquement amélioré les performances (MAE/RMSE plus faibles, PSNR plus élevé) par rapport à une variante optique uniquement, confirmant la valeur de l'information structurelle du SAR dans des conditions nuageuses ou éparses.
• Encodage temporel : L'utilisation d'un encodage temporel relatif ($\Delta d$) a nettement surpassé l'encodage de date absolue, suggérant que l'information explicite du réseau sur le décalage temporel par rapport à la date cible est critique pour la performance.
• Analyse de l'attention : La visualisation des poids d'attention a révélé que le modèle déplace de manière adaptative son focus : il s'appuie fortement sur les données optiques temporellement proches lorsqu'elles sont disponibles, mais augmente considérablement l'attention vers l'acquisition SAR la plus proche lorsque les données optiques sont manquantes ou fortement nuageuses.

Importance et limites

Importance :
L'article affirme que ce cadre représente une avancée dans la génération de séries temporelles optiques continues et fiables en abordant les défis du forecasting et de la quantification de l'incertitude. La capacité à fournir des estimations d'incertitude bien calibrées est mise en avant comme une contribution clé pour les applications nécessitant un soutien à la décision, une analyse de scénarios et une évaluation des risques. La fusion adaptative des données SAR et optiques sans masquage manuel démontre une approche robuste face aux irrégularités des données réelles.

Limites :
Les auteurs reconnaissent plusieurs limitations :

• Réflectance extrême : Le modèle a tendance à sous-estimer les valeurs de réflectance très élevées (par exemple, surfaces artificielles, cultures brillantes) en raison de la régularisation provenant de la distribution d'entraînement.
• Neige et montagnes : Le modèle manque d'entraînement sur des régions montagneuses ou couvertes de neige. Il confond fréquemment la neige avec les nuages, tentant de reconstruire la surface sous-jacente (par exemple, le sol) plutôt que de préserver le signal de neige, conduisant à des prédictions physiquement incorrectes.
• Hors distribution : Le modèle montre une robustesse réduite dans des conditions absentes de l'ensemble d'entraînement (par exemple, la neige), bien que l'incertitude élevée associée serve d'indicateur d'avertissement.

Les auteurs concluent que si le cadre est efficace pour la surveillance générale de la surface terrestre, les travaux futurs devraient se concentrer sur l'élargissement des ensembles de données d'entraînement pour inclure des conditions environnementales diverses (neige, montagnes) et potentiellement intégrer des bandes spectrales supplémentaires pour mieux discriminer les surfaces hautement réfléchissantes.