SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

Ce travail présente SSL4EO-S12 v1.1, une mise à jour multimodale et multitemporelle du jeu de données d'observation de la Terre, corrigée pour des problèmes d'alignement et d'efficacité, et enrichie de nouvelles modalités comme l'élévation et la couverture végétale pour faciliter l'entraînement de modèles fondationnels à grande échelle.

L'essentiel

Imaginez que vous voulez enseigner à un enfant à reconnaître le monde entier, pas seulement une photo de son quartier, mais l'histoire complète de chaque ville, de la neige en hiver aux fleurs au printemps, en passant par les nuages et la topographie. C'est exactement ce que font les chercheurs avec SSL4EO-S12 v1.1.

Voici une explication simple de ce papier, servie avec quelques analogies pour rendre les choses claires :

🌍 Le Problème : Une vieille carte avec des trous

Les chercheurs avaient déjà créé une "bibliothèque" de photos satellites appelée SSL4EO-S12. C'était un grand succès, un peu comme un premier manuel d'histoire très complet. Mais il y avait deux gros problèmes :

1. Les pièces de puzzle ne s'emboîtaient pas : Les photos prises par un satellite radar (Sentinel-1) et celles prises par un satellite optique (Sentinel-2) étaient légèrement décalées. C'est comme essayer de coller une photo de jour et une photo de nuit l'une sur l'autre, mais elles sont décalées de quelques centimètres. L'enfant (l'intelligence artificielle) se trompait.
2. C'était difficile à utiliser : Les données étaient mal rangées, comme une bibliothèque où les livres sont empilés en vrac. Il fallait beaucoup de temps et d'efforts pour trouver ce qu'on cherchait.

🛠️ La Solution : La version 1.1, "Prête à l'emploi"

La nouvelle version (v1.1) est une mise à jour majeure qui résout ces problèmes et ajoute de nouveaux ingrédients.

1. L'alignement parfait (Le Puzzle)
Les chercheurs ont pris des photos plus grandes et les ont réalignées avec une précision chirurgicale. Maintenant, quand on regarde une image radar et une image optique d'une même ville, elles correspondent parfaitement, pixel par pixel. C'est comme si on avait ajusté les lentilles de nos lunettes pour que tout soit net et aligné.

2. La cuisine "Prête à manger" (ARD)
Avant, les données étaient comme des ingrédients crus et sales qu'il fallait nettoyer, éplucher et couper avant de cuisiner. Avec la version 1.1, les chercheurs livrent un "plat prêt à consommer". Les données sont nettoyées, les nuages sont mieux identifiés (pour ne pas cacher le sol), et les couleurs sont ajustées pour ne pas être trop sombres ou trop brillantes. Vous pouvez commencer à "cuisiner" (entraîner l'IA) immédiatement.

3. Ajouter de nouveaux sens (Multimodalité)
C'est la partie la plus excitante. Avant, l'IA ne voyait que des photos (la vue). Maintenant, on lui donne d'autres sens :

• La vue de dessus (Elevation/DEM) : Comme une carte en relief, pour comprendre si on est en montagne ou en plaine.
• La santé des plantes (NDVI) : Un indicateur qui dit à l'IA si les arbres sont verts et en bonne santé.
• Le type de sol (LULC) : Une étiquette qui dit "c'est une forêt", "c'est une ville" ou "c'est de l'eau".

C'est comme passer d'un film muet en noir et blanc à un film en 4D avec du son, de la 3D et des sous-titres. L'IA comprend beaucoup mieux le contexte.

4. Le format "Streaming" (Zarr et WebDataset)
Pour stocker tout cela (près d'un million de petites images !), les chercheurs ont utilisé un format spécial appelé Zarr.

• Imaginez que vous voulez lire un livre de 1000 pages. Au lieu de télécharger tout le livre en une seule fois (ce qui prendrait des heures), vous pouvez le lire page par page, instantanément, comme si vous faisiez du "streaming" sur Netflix.
• Cela permet aux chercheurs de travailler sur des superordinateurs sans se soucier de l'espace de stockage ou de la vitesse de chargement.

🚀 Pourquoi c'est important ?

Grâce à cette nouvelle boîte à outils, les chercheurs peuvent entraîner des modèles de fondation (des IA très puissantes et générales).

• Avant : L'IA apprenait à reconnaître une voiture, mais elle ne savait pas si c'était une voiture dans la neige ou sous la pluie.
• Maintenant : Grâce aux données de toutes les saisons et aux nouvelles informations (altitude, végétation), l'IA devient un expert du monde réel. Elle peut mieux prédire les inondations, surveiller l'agriculture, ou aider à l'urbanisme.

En résumé

SSL4EO-S12 v1.1, c'est comme passer d'un vieux manuel scolaire avec des pages déchirées et des photos floues à une encyclopédie interactive, multilingue et en haute définition. Elle est gratuite, facile à utiliser, et elle donne à l'intelligence artificielle les meilleures lunettes possibles pour comprendre notre planète, saison après saison.

C'est une fondation solide pour construire le futur de l'observation de la Terre. 🌱🛰️

Résumé technique

Résumé Technique : SSL4EO-S12 v1.1

1. Problématique
Les modèles de fondation (Foundation Models) pour l'observation de la Terre (EO) nécessitent des jeux de données massifs, multimodaux et multitemporels pour atteindre une haute précision et une convergence rapide. Bien que la version précédente, SSL4EO-S12, ait été largement adoptée, elle présentait deux limitations majeures :

• Désalignements spatiaux : Des inexactitudes géospatiales existaient entre les patches Sentinel-1 (S-1) et Sentinel-2 (S-2).
• Manque de données prêtes à l'analyse (ARD) : La structure des données et la présence de valeurs aberrantes (NaN) rendaient le prétraitement complexe et inefficace pour l'entraînement direct de modèles.
  De plus, les jeux de données existants manquaient souvent de séries temporelles alignées ou de modalités supplémentaires (comme l'élévation ou la couverture terrestre) essentielles pour l'apprentissage multimodal.

2. Méthodologie et Traitement des Données
SSL4EO-S12 v1.1 a été reconstruit à partir de zéro en utilisant Google Earth Engine pour garantir la cohérence et la précision. Les étapes clés du traitement incluent :

• Alignement Spatial et Projection :
  • Contrairement à la v1 qui utilisait EPSG:4326 (causant des distorsions), la v1.1 conserve les zones natives UTM pour préserver l'exactitude spatiale.
  • Les données S-1 (GRD) sont téléchargées sur une zone plus large, puis reprojetées pour s'aligner parfaitement avec les coordonnées S-2 (L2A).
  • Les patches sont standardisés à 264x264 pixels (divisible par 6 pour accommoder les résolutions 10m, 20m et 60m du S-2).
• Filtrage et Nettoyage (Format ARD) :
  • Sélection de quatre timestamps par saison (2019-2021) avec une couverture nuageuse < 10%.
  • Filtrage strict : suppression des localités avec > 1% de valeurs manquantes (NaN). Les NaN restants sont interpolés par le plus proche voisin.
  • Correction des masques de nuages : Les masques natifs S-2 sont remplacés par ceux du modèle SEnSeI v2 pour une précision accrue.
  • Optimisation des images RGB : Application d'une transformation non linéaire basée sur les quantiles (2% et 98%) pour éviter la saturation des zones brillantes (neige, nuages) et assombrissement excessif, assurant une représentation visuelle équilibrée.
• Ajout de Modalités :
  • Intégration de nouvelles couches alignées avec le jeu de données TerraMesh :
    • NDVI (calculé à partir du S-2 L2A).
    • LULC (Occupation des sols) provenant d'ESRI.
    • DEM (Modèle Numérique de Terrain) Copernicus à 30m, rééchantillonné à 10m.
• Stockage et Efficacité :
  • Les données sont stockées au format Zarr (version 2) dans des shards tar pour une diffusion efficace via WebDataset.
  • Compression optimisée : Bandes S-2 en entiers 16 bits, données S-1 en flottants 16 bits.
  • Structure permettant le chargement paresseux (lazy loading) via Dask ou xarray.

3. Contributions Clés

• Correction Géospatiale : Alignement parfait des modalités S-1 et S-2 grâce à une reprojection soignée dans les zones UTM.
• Format ARD (Analysis-Ready Data) : Données prétraitées, filtrées et prêtes à l'emploi pour le pré-entraînement de modèles de fondation, éliminant le besoin de nettoyage complexe par les utilisateurs.
• Extension Multimodale : Ajout de données topographiques (DEM), de végétation (NDVI) et de classification des sols (LULC), permettant des tâches d'apprentissage multimodal.
• Échelle et Couverture : Le jeu de données couvre 246 144 localités distinctes (autour des 10 000 plus grandes villes mondiales), générant 984 576 échantillons (séries temporelles de 4 timestamps).
• Licence Ouverte : Disponible sous licence CC-BY-4.0 sur Hugging Face.

4. Résultats Expérimentaux
Les auteurs ont évalué l'impact de v1.1 sur le benchmark PANGAEA :

• Le modèle TerraMind, entraîné sur SSL4EO-S12 v1.1 avec toutes les modalités (S-1, S-2, DEM, LULC, NDVI), a obtenu les meilleures performances sur la majorité des tâches (détection de feux, inondations, segmentation urbaine, etc.).
• TerraMind surpasse les modèles pré-entraînés uniquement sur S-2 (MAE, DINO, MoCo) et même le modèle CROMA (entraîné sur S-1/S-2 v1), démontrant que l'ajout de modalités sémantiques et topographiques améliore significativement l'apprentissage des représentations.
• La capacité à gérer des séries temporelles alignées permet d'entraîner des modèles multitemporels, ce qui était impossible avec les jeux de données statiques comme TerraMesh ou MMEarth.

5. Signification et Impact
SSL4EO-S12 v1.1 représente une avancée majeure pour la communauté de l'observation de la Terre :

• Il comble le fossé entre les données brutes et les besoins des modèles de fondation modernes en fournissant un flux de données prêt à l'emploi.
• Il facilite la recherche sur la fusion multimodale et le raisonnement temporel, des domaines critiques pour la surveillance environnementale et l'urbanisme.
• Grâce à son format optimisé (Zarr/WebDataset), il réduit les barrières techniques à l'entrée, permettant un chargement efficace sur des clusters HPC et une intégration fluide dans les pipelines d'apprentissage automatique.
• Il s'inscrit dans l'écosystème open-source SSL4EO-∗, servant de fondation robuste pour les futures générations de modèles d'IA géospatiale.