🤖 machine learning

Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

Cet article propose un cadre d'apprentissage profond novateur qui intègre des données satellitaires multi-temporelles Sentinel-1 et Sentinel-2 à l'aide de modules U-Net préentraînés et d'un décodeur sensible à la saisonnalité pour obtenir une estimation très précise de l'indice de surface foliaire au niveau du pixel, avec une erreur quadratique moyenne de 0,06 et un coefficient de détermination de 0,93.

Auteurs originaux : Clement Wang, Antoine Debouchage, Valentin Goldité, Aurélien Wery, Jules Salzinger

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Clement Wang, Antoine Debouchage, Valentin Goldité, Aurélien Wery, Jules Salzinger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer combien de feuilles il y a sur un arbre dans une forêt immense, mais que vous ne pouvez pas vous y rendre. À la place, vous observez la forêt depuis l'espace. C'est le défi de mesurer l'Indice de Surface Foliaire (ISF)—une manière élégante de dire « quelle quantité de matière végétale verte recouvre le sol ». Ce chiffre est crucial pour comprendre la santé de notre planète, la production future des cultures alimentaires et l'évolution du climat.

Habituellement, les scientifiques tentent d'obtenir ce chiffre en envoyant des personnes sur le terrain pour compter les feuilles (ce qui est lent et difficile) ou en utilisant des satellites qui prennent des photos. Mais voici le problème : les nuages. Les nuages sont comme une immense couverture moelleuse qui bloque la vue du satellite, rendant les images optiques inutiles.

Cet article présente une nouvelle méthode ingénieuse pour résoudre ce problème en utilisant l'Apprentissage Profond (un type d'intelligence artificielle qui apprend comme un cerveau) et deux types différents de « yeux » satellites : Sentinel-2 (qui prend des photos colorées) et Sentinel-1 (qui utilise le radar).

Voici comment leur méthode fonctionne, expliquée avec quelques analogies du quotidien :

1. Les Deux Yeux : Photos vs Radar

Imaginez Sentinel-2 comme un photographe. Il prend de belles images détaillées du terrain, mais s'il fait nuageux, la photo n'est qu'un flou blanc.
Imaginez Sentinel-1 comme une chauve-souris utilisant l'écholocation. Il émet des ondes radar qui peuvent voir à travers les nuages et le brouillard. Il ne vous donne pas une jolie image, mais il vous indique la forme et la texture du sol même lorsque le ciel est couvert.

Les chercheurs ont réalisé que si l'on combine les « belles photos » (lorsque le ciel est dégagé) avec les « échos radar » (lorsque le ciel est nuageux), on obtient une image beaucoup plus claire de la forêt que si l'on utilisait l'un ou l'autre seul.

2. La Machine à Remonter le Temps : Regarder l'Histoire

L'IA ne regarde pas seulement un jour ; elle observe trois jours consécutifs.
Imaginez essayer de deviner combien une plante a poussé. Si vous ne regardez que le jour même, vous pourriez être confus. Mais si vous regardez à quoi elle ressemblait hier et avant-hier, vous pouvez voir la tendance. L'IA utilise cette approche de « machine à remonter le temps » pour comprendre comment les feuilles changent sur une courte période, ce qui l'aide à faire des hypothèses plus intelligentes même si l'un des jours est nuageux.

3. Le Cerveau : Une Équipe Spécialisée

L'IA qu'ils ont construite est comme une équipe de spécialistes travaillant ensemble, plutôt qu'un généraliste essayant de tout faire.

Deux Encodeurs (Les Spécialistes) : Un spécialiste se concentre uniquement sur les données radar et le calendrier (les saisons). L'autre spécialiste se concentre sur les photos passées et le calendrier. Ils travaillent en parallèle, chacun devenant très compétent pour comprendre son type de données spécifique.
Un Décodeur (Le Gestionnaire) : Une fois que les spécialistes ont terminé leur analyse, ils remettent leurs notes à un « Gestionnaire » (le décodeur). Ce Gestionnaire combine les informations radar, les informations photos et le contexte saisonnier pour tracer la carte finale de la densité foliaire.

4. L'Entraînement du Cerveau

Enseigner à cette IA est délicat car les données sont complexes. Les chercheurs ont utilisé une méthode d'entraînement en deux étapes :

Étape 1 : Ils ont d'abord enseigné séparément aux deux spécialistes, afin qu'ils deviennent des experts dans leurs propres domaines.
Étape 2 : Ils ont réuni toute l'équipe et l'ont affinée pour qu'elle fonctionne comme une unité. Ils ont également veillé à ce que l'IA prête attention à la « saison » (comme le printemps ou l'hiver), car les feuilles ont une apparence très différente selon le moment de l'année.

Les Résultats

Lorsqu'ils ont testé ce système :

Les jours de beau temps : Il était incroyablement précis, presque parfait.
Les jours nuageux : Il a bien fonctionné, mais pas aussi parfaitement que les jours de beau temps. Les chercheurs ont constaté que l'IA peinait un peu ici car il n'y avait pas assez d'exemples de « jours nuageux » dans les données d'entraînement pour lui apprendre à s'appuyer fortement sur le radar.
Comparé aux anciennes méthodes : Les méthodes traditionnelles qui ne regardent qu'un seul pixel à la fois ont échoué lamentablement (comme essayer de deviner la météo en regardant une seule goutte de pluie). Cette nouvelle méthode, qui examine l'image globale et le contexte, a été un succès massif.

La Conclusion

L'article montre qu'en combinant les données radar et optiques des satellites, et en utilisant une IA intelligente qui comprend le temps et les saisons, nous pouvons estimer la santé de notre végétation même lorsque le temps est mauvais. Les auteurs ont partagé leur code afin que d'autres puissent s'appuyer sur ce travail, espérant rendre ces « compteurs de feuilles » encore meilleurs à l'avenir.

Résumé Technique : Exploitation des Données Multi-Temporelles Sentinel-1 et Sentinel-2 pour l'Estimation de l'Indice de Surface Foliaire

Énoncé du Problème
L'Indice de Surface Foliaire (ISF) est une métrique fondamentale pour évaluer la santé des écosystèmes, la productivité végétale et les cycles du carbone. Bien que les méthodes traditionnelles basées sur le terrain (échantillonnage destructif, équations allométriques) fournissent des données locales précises, elles manquent de couverture spatiale. La télédétection par satellite offre une solution pour la surveillance régionale à mondiale ; cependant, les données optiques (par exemple, Sentinel-2) sont fréquemment compromises par la couverture nuageuse, qui entrave les mesures directes et réduit la disponibilité des données. Les approches existantes d'apprentissage profond pour la prédiction de l'ISF reposent souvent sur des instants uniques, des types de capteurs uniques (optique ou radar), ou traitent les pixels indépendamment, ignorant ainsi les informations contextuelles précieuses provenant des pixels voisins et la nature complémentaire des données multi-capteurs.

Méthodologie
Les auteurs proposent un cadre d'apprentissage profond novateur pour la prédiction de l'ISF au niveau du pixel, intégrant des données multi-temporelles des satellites Sentinel-1 (radar) et Sentinel-2 (multi-spectraux). Le cœur de la méthodologie implique une architecture de réseau de neurones profond personnalisée conçue pour gérer des modalités d'entrée hétérogènes et des dépendances temporelles.

Construction du Jeu de Données : L'étude utilise des données Sentinel-1 et Sentinel-2 disponibles publiquement provenant de diverses localités européennes. Les échantillons consistent en trois instants temporels consécutifs ( $T \in \{t-2, t-1, t\}$ ) séparés par au plus une semaine. Les entrées comprennent :
- Des données radar Sentinel-1 (polarisations VH et VV).
- Des cartes d'ISF dérivées de Sentinel-2 (pour les instants précédents) et des masques sémantiques (identifiant les nuages, l'eau, les terres, etc., générés via le processeur Sen2Cor).
- Des informations de saisonnalité encodées sous forme de valeurs sinus et cosinus représentant le jour de l'année.
- La vérité terrain est la carte d'ISF à l'instant $t$ .
- Le jeu de données est divisé en zones « sans nuages », « nuageuses » et « zones uniques » (République tchèque et Italie) pour tester la généralisation.
Architecture : Le modèle comporte deux encodeurs parallèles et un seul décodeur (Figure 1) :
1. Encodeur 1 : Traite les données radar Sentinel-1, les masques sémantiques et la saisonnalité.
2. Encodeur 2 : Traite les valeurs historiques d'ISF Sentinel-2 ( $t-2, t-1$ ), les masques et la saisonnalité.
3. Décodeur : Une structure U-Net qui concatène les cartes de caractéristiques des deux encodeurs pour produire la prédiction finale de l'ISF au niveau du pixel. La conception privilégie la réduction précoce des données multi-temporelles pour réduire la redondance.
Stratégie d'Entraînement : En raison de la complexité de l'architecture, une approche d'entraînement en deux étapes est employée :
1. Pré-entraînement : Chaque encodeur est entraîné séparément avec une couche de convolution au niveau du pixel pour prédire l'ISF, en optimisant l'Erreur Quadratique Moyenne (EQM).
2. Affinage de bout en bout : Les poids pré-entraînés sont intégrés dans le réseau complet. Le modèle est optimisé en utilisant une supervision intermédiaire, où la fonction de perte combine l'EQM de la sortie finale du décodeur avec les sorties des étapes intermédiaires des encodeurs. La fonction de perte est définie comme suit :
  $Perte = EQM(ISF_{gt}, ISF_{dec}) + \alpha \cdot EQM(ISF_{gt}, ISF_{enc1}) + \beta \cdot EQM(ISF_{gt}, ISF_{enc2})$
  où $\alpha$ et $\beta$ sont des hyperparamètres (fixés à 0,1 et 0,15 respectivement) pour pondérer l'importance des étapes intermédiaires. Le calcul de la perte exclut explicitement les pixels couverts par des nuages.

Résultats Clés
La méthode proposée a été évaluée sur un jeu de test de sections d'images de 256x256.

Performance : Le modèle complet a atteint une RMSE de 0,058 et un score $R^2$ de 0,930 sur les données sans nuages.
Études d'Ablation :
- L'utilisation exclusive des données Sentinel-1 a donné de mauvais résultats ( $R^2 = 0,434$ ).
- L'utilisation exclusive des données Sentinel-2 (avec masques et saisonnalité) a bien fonctionné ( $R^2 = 0,903$ ) mais a montré une dégradation significative sur les données nuageuses ( $R^2 = -0,294$ ).
- L'approche combinée (Toutes les entrées) a maintenu des performances robustes sur l'ensemble des jeux de données, bien que les performances sur les « zones uniques » (localités non vues) aient montré des taux d'erreur plus élevés, suggérant un certain biais spécifique à la localisation.
Comparaison : L'approche d'apprentissage profond a nettement surpassé les bases traditionnelles au niveau du pixel telles que la Régression Multi-Linéaire ( $R^2 = -0,0445$ ) et la Forêt Aléatoire ( $R^2 = -0,0166$ ) lors des tests sur des données de pixel unique sans contexte spatial.

Signification et Revendications
L'article prétend présenter une investigation pionnière sur la prédiction de l'ISF au niveau du pixel qui exploite efficacement les informations combinées et multi-temporelles des données Sentinel-1 et Sentinel-2 via un réseau de neurones profond. Les contributions clés incluent :

Architecture Novatrice : L'utilisation de deux encodeurs parallèles adaptés à des modalités de capteurs spécifiques, unifiés par un décodeur qui prend en compte la saisonnalité et le contexte spatial.
Gestion de la Complexité : La mise en œuvre d'une supervision intermédiaire et d'un pré-entraînement pour gérer la complexité des entrées multi-modales et assurer une représentation efficace des caractéristiques.
Conscience Contextuelle : Dépassement de la prédiction de pixel indépendante pour exploiter le contexte global et les informations des pixels voisins, abordant une limitation fréquente des travaux antérieurs.
Contribution Ouverte : Les auteurs ont rendu leur code et leurs contributions disponibles pour faciliter les améliorations futures dans le domaine.

Les auteurs notent modestement que, bien que la méthode fonctionne bien, des défis subsistent concernant le déséquilibre des données (spécifiquement la rareté des échantillons d'entraînement nuageux) et la généralisation à de nouvelles localités géographiques entièrement nouvelles. Ils suggèrent que les travaux futurs pourraient bénéficier de l'attribution de poids plus élevés aux fonctions de perte pour les entrées nuageuses et de l'intégration de métadonnées supplémentaires telles que les données topographiques ou météorologiques.