ChronoEarth-492K: A Large Scale and Long Horizon Spatiotemporal Hyperspectral Earth Observation Dataset and Benchmark

Résumé technique de ChronoEarth-492K : un jeu de données et un référentiel d'observation hyperspectrale de la Terre à grande échelle et à long horizon spatio-temporel

Énoncé du problème
L'imagerie hyperspectrale (HSI) fournit des informations spectrales denses (centaines de bandes contiguës) essentielles pour la caractérisation au niveau des matériaux de la surface terrestre, surpassant les capacités des capteurs multispectraux. Bien que les récents progrès de l'apprentissage auto-supervisé (SSL) aient exploité l'HSI pour la représentation spatiale statique, les jeux de données à grande échelle existants restent « temporellement superficiels ». Ils sont principalement conçus pour la compréhension de scènes statiques, manquant de la couverture temporelle continue et à long terme requise pour modéliser les dynamiques de surface, telles que la déforestation, les transitions d'utilisation des terres et les changements d'écosystèmes. Par conséquent, le développement et l'évaluation systématique de modèles fondamentaux hyperspectraux spatio-temporels à long horizon sont actuellement entravés par un manque de données adaptées et de référentiels standardisés.

Méthodologie
Les auteurs comblent cette lacune par la construction de ChronoEarth-492K et du Référentiel ChronoEarth.

• Source de données et curation : ChronoEarth-492K est construit à partir de la mission EO-1 Hyperion de la NASA (2001–2017), la plus longue archive hyperspectrale spatiale continue au monde. Les auteurs ont curé 492 354 patches harmonisés radiométriquement répartis sur 185 398 emplacements mondiaux.
• Prétraitement :
  • Harmonisation spectrale : Sur les 242 bandes originales, les bandes instables et à faible signal (par exemple, les régions d'absorption de l'eau) ont été supprimées, conservant 155 bandes spectralement cohérentes alignées sur une grille de longueur d'onde unifiée.
  • Découpage global : Les scènes ont été rééchantillonnées à une résolution uniforme de 30 m et divisées en patches non chevauchants de $128 \times 128$ pixels. Un système de maillage global déterministe basé sur les zones UTM a été utilisé pour attribuer des identifiants d'emplacement uniques (UID) à chaque patch.
  • Alignement spatio-temporel : Les patches partageant le même UID à différents timestamps ont été agrégés pour former des séquences temporelles. Le jeu de données comprend 28 786 emplacements avec des séquences multi-temporelles (≥3 observations), permettant des analyses à court et à long horizon.
• Construction du référentiel : Le Référentiel ChronoEarth intègre six produits géospatiaux open source (couvrant l'occupation des sols, les types de cultures, la dynamique forestière et les propriétés du sol) alignés sur les observations hyperspectrales. Il définit trois catégories de tâches :
  1. Tâches statiques : Prédire des étiquettes à partir d'une seule observation hyperspectrale.
  2. Tâches à court horizon (SH) : Agréger des observations temporellement adjacentes (par exemple, $T \le 4$) pour la prédiction.
  3. Tâches à long horizon (LH) : Prédire des états futurs (par exemple, l'année $n+1$) sur la base de séquences historiques (par exemple, les années 2001 à $n$).
  • Paramètres de généralisation : Le référentiel inclut des splits de généralisation spatio-temporelle et continentale pour évaluer la robustesse des modèles face aux décalages de domaine (par exemple, entraînement en Europe/Amérique du Nord et test en Afrique/Amérique latine).
• Protocole expérimental : Les auteurs ont évalué des modèles fondamentaux hyperspectraux de l'état de l'art (par exemple, SpectralViT, LESSViT, DOFA, HyperSigma). Pour gérer les entrées temporelles, ils ont employé une approche en deux étapes : (1) préentraînement statique sur l'ensemble du jeu de données, et (2) préentraînement temporel de deuxième étape sur des séquences multi-temporelles en utilisant un objectif de masquage causal (prédire l'image suivante). Les stratégies d'adaptation temporelle comprenaient le max-pooling, l'agrégation basée sur l'attention et le fine-tuning avec SSL temporel.

Contributions clés

1. ChronoEarth-492K : Le premier jeu de données hyperspectral SSL à grande échelle et calibré temporellement, offrant 17 ans d'observations mondiales avec 492 354 patches et 28 786 séquences multi-temporelles.
2. Référentiel ChronoEarth : Une suite d'évaluation unifiée couvrant les tâches statiques, à court horizon et à long horizon, ainsi que des paramètres de généralisation spatiale et temporelle contrôlés.
3. Lignes de base empiriques : Évaluations approfondies des modèles fondamentaux hyperspectraux, établissant des lignes de base de référence et démontrant l'efficacité du préentraînement et de la modélisation temporels dans divers contextes.

Résultats

• Performance statique : Le préentraînement auto-supervisé sur ChronoEarth a systématiquement amélioré les performances en aval par rapport à un entraînement supervisé à partir d'une initialisation aléatoire. Les architectures modélisant explicitement les interactions spatiales-spectrales (par exemple, LESSViT) ont généralement surpassé les autres sur les tâches statiques.
• Généralisation : Les modèles ont montré une dégradation des performances sous des décalages de distribution spatiale et temporelle, la variabilité géographique étant identifiée comme un facteur dominant limitant la généralisation. Cependant, les modèles préentraînés sur ChronoEarth ont démontré un transfert inter-satellites efficace vers des jeux de données basés sur EnMAP, malgré les différences spectrales entre EO-1 Hyperion et EnMAP.
• Modélisation temporelle :
  • Court horizon : L'incorporation d'observations temporelles supplémentaires a généralement amélioré les performances. Les modèles préentraînés temporellement (utilisant le SSL de deuxième étape) ont surpassé à la fois les variantes basées sur le max-pooling et l'attention supervisée, indiquant que l'agrégation temporelle apprise est supérieure au pooling naïf.
  • Long horizon : L'extension de l'historique temporel a généralement amélioré les performances sur les tâches de transition d'occupation des sols (CLCD, NLCD-S). Le modèle préentraîné temporellement a systématiquement surpassé les autres stratégies, confirmant la nécessité d'une modélisation temporelle apprise pour capturer les dépendances étendues. Cependant, pour des cibles sensibles au temps comme le type de culture (CDL), les performances sont devenues instables avec des horizons très longs ($T \le 8$), suggérant qu'un contexte historique plus long peut introduire du bruit pour certaines tâches.

Signification
L'article affirme que ChronoEarth et son référentiel fournissent la première plateforme à grande échelle et ancrée temporellement pour l'apprentissage de représentations hyperspectrales spatio-temporelles systématiques. En allant au-delà de la compréhension de scènes statiques, ce travail permet l'étude des dynamiques environnementales à long terme et établit un cadre standardisé pour évaluer la généralisation temporelle et les capacités de prévision. Les auteurs notent que, bien que leur approche actuelle étende les architectures de base statiques avec des modules temporels, les recherches futures devraient se concentrer sur le développement de modèles fondamentaux spatio-temporels natifs intégrant l'apprentissage spatial, spectral et temporel dans une architecture unifiée pour mieux gérer les observations à long terme et échantillonnées de manière irrégulière.