Résumé technique : BELDE – Construction d'un ensemble de données d'observation de la Terre à grande échelle pour l'occupation des sols en Europe

Problématique

La segmentation sémantique précise de l'occupation des sols est essentielle pour la surveillance environnementale, l'urbanisme et la réponse aux catastrophes. Bien que les capteurs multispectraux soient de plus en plus disponibles, l'imagerie en couleurs réelles (RGB) reste la modalité la plus largement accessible en raison des contraintes moindres de stockage, de transmission et de déploiement sur diverses plateformes satellitaires et aériennes. Cependant, les ensembles de données existants basés sur le RGB souffrent de limitations significatives : couverture géographique restreinte, petite échelle, diversité environnementale étroite ou manque d'accessibilité publique. Par conséquent, les modèles entraînés sur ces ensembles de données échouent souvent à se généraliser à des régions présentant des climats, des distributions d'occupation des sols ou des conditions atmosphériques différents. Il existe un besoin critique pour un benchmark RGB à grande échelle, géographiquement diversifié et accessible au public, afin d'évaluer la robustesse et la transférabilité des modèles d'observation de la Terre.

Méthodologie

Construction de l'ensemble de données (BELDE)

Les auteurs introduisent BELDE (Building a Large-scale Earth-observation Land-cover Dataset for Europe), un ensemble de données accessible au public, construit via un pipeline entièrement automatisé et reproductible.

• Sources de données : L'ensemble de données combine l'imagerie en couleurs réelles (TCI) de Sentinel-2 et les annotations d'occupation des sols de l'ESA WorldCover 2021. Sentinel-2 fournit des composites médians annuels à une résolution de 10 m, facilitant l'élimination des nuages et la normalisation.
• Étendue géographique : L'ensemble de données principal couvre l'Europe (longitude 13°W–50°E, latitude 33°N–60°N), englobant des climats divers allant du méditerranéen à l'alpin.
• Pipeline de prétraitement :
  1. Alignement spatial : Les tuiles RGB et les cartes d'occupation des sols co-enregistrées sont alignées à l'aide d'identifiants géospatiaux.
  2. Extraction de patchs : Une stratégie de fenêtre glissante génère des patchs de 256 × 256 pixels non chevauchants à une résolution de 10 m pour éviter la fuite de données (data leakage).
  3. Harmonisation des étiquettes : Les 11 classes originales d'ESA WorldCover sont agrégées en 7 classes sémantiques (Arbre, Arbuste, Herbe, Culture, Bâti, Sol nu, Eau) pour traiter le déséquilibre des classes et le chevauchement sémantique dans les observations RGB (par exemple, fusionner les mangroves avec les arbres, la neige avec le sol nu).
  4. Filtrage de qualité : Les patchs présentant des données manquantes ou une couverture d'eau > 90 % sont exclus.
• Statistiques finales : Le jeu de données ainsi constitué contient 1 088 385 paires image-masque.

Benchmarks hors distribution (Out-of-Distribution)

Pour évaluer le décalage de domaine géographique, deux sous-ensembles supplémentaires ont été générés via le même pipeline :

• BELDE-K : Couvre la République de Corée (16 607 paires).
• BELDE-CA-NV : Couvre la Californie et le Nevada, États-Unis (88 155 paires).

Protocole d'évaluation

Les auteurs ont évalué 17 architectures de segmentation sémantique issues de trois familles :

1. CNN Encodeur-Décodeur : UNet, UNet++, DeepLabV3/V3+, FPN, LinkNet, PSPNet.
2. Modèles basés sur les Transformers : SegFormer, variantes de DPT (DeiT3, MaxViT).
3. Architectures légères/hybrides : EfficientFormer, FastViT, LALE.

Les modèles ont été entraînés avec l'optimiseur AdamW avec une perte Dice multiclasse, une normalisation ImageNet et des augmentations standards. La performance a été mesurée via l'Exactitude (Accuracy), la Précision, le Rappel, le score F1 et l'IoU sur les ensembles de test en domaine (Europe) et en transfert zéro-shot (Corée, CA-NV).

Contributions clés

1. Jeu de données BELDE : Un ensemble de données de segmentation sémantique RGB à grande échelle et accessible au public, contenant plus de 1,08 million de paires image-masque géoréférencées à travers l'Europe à une résolution de 10 m.
2. Benchmarks transrégionaux : La publication de BELDE-K et BELDE-CA-NV pour permettre une évaluation systématique du décalage de domaine géographique et de la transférabilité des modèles.
3. Résultats de référence (Baselines) : Un benchmarking complet de 17 architectures de pointe, établissant des références de performance tant pour les contextes en domaine qu'en domaine croisé.
4. Pipeline reproductible : Un cadre open-source et automatisé pour la génération de jeux de données, favorisant la transparence et les expansions futures.

Résultats

Performance en domaine (Europe)

• Meilleurs performeurs : Les architectures basées sur les Transformers et les modèles hybrides ont atteint les plus hautes précisions. EfficientFormer-L7 et MaxViT ont atteint des scores F1 de 83,0 % et 82,9 %, respectivement.
• Performance des CNN : Les modèles basés sur les CNN comme UNet restent compétitifs, atteignant un score F1 de 81,8 % avec 31 millions de paramètres.
• Modèles légers : Le modèle LALE-S2 a démontré un compromis efficacité-performance favorable, atteignant un score F1 de 78,2 % avec seulement 2,6 millions de paramètres.
• Analyse par classe : Les modèles performent fortement sur les classes spectralement homogènes (Arbre, Eau) mais peinent avec les classes structurellement hétérogènes ou rares, particulièrement les Arbustes, qui présentent systématiquement les scores F1 les plus bas pour toutes les architectures.

Généralisation transrégionale

• Chute de performance : Les modèles entraînés sur BELDE (Europe) présentent une dégradation significative de performance lorsqu'ils sont appliqués à des régions hors distribution, soulignant le défi du décalage de domaine géographique.
  • BELDE-K (Corée) : Les scores F1 chutent à 58,3 % (EfficientFormer-L7) et 58,2 % (MaxViT).
  • BELDE-CA-NV (USA) : Les scores F1 chutent à 66,4 % (MaxViT) et 66,2 % (EfficientFormer-L7).
• Observations : La baisse de performance est attribuée aux compositions d'occupation des sols distinctes (ex: densité d'arbres plus élevée en Corée, terres nues plus élevées en CA-NV) et aux différences écologiques. Bien que les modèles Transformers maintiennent généralement une performance absolue plus élevée, toutes les familles d'architectures montrent une dégradation constante, suggérant que la variabilité géographique est un facteur limitant dominant plutôt que la capacité du modèle seul.

Signification et affirmations

L'article soutient que BELDE comble une lacune critique dans la recherche en observation de la Terre en fournissant un benchmark RGB à l'échelle d'un continent. Sa principale importance réside dans :

• Permettre les études de robustesse : En offrant des ensembles d'entraînement et d'évaluation géographiquement diversifiés, BELDE permet aux chercheurs d'étudier et de quantifier systématiquement les défis du décalage de domaine dans la cartographie de l'occupation des sols.
• Pertinence réelle : Se concentrer exclusivement sur l'imagerie RGB garantit que l'ensemble de données est applicable à un large éventail de systèmes de détection opérationnels et à ressources limitées.
• Établissement de références : Les benchmarks fournis servent de référence pour évaluer la transférabilité des modèles de segmentation, révélant que les modèles de pointe actuels peinent à se généraliser d'un continent à l'autre sans adaptation.

Les auteurs concluent que, bien que les modèles basés sur les Transformers offrent une précision supérieure, les architectures légères constituent des alternatives viables pour un déploiement à ressources limitées. Ils soulignent que la généralisation entre continents reste un problème ouvert complexe, accentuant la nécessité de benchmarks géographiquement diversifiés pour développer des systèmes d'observation de la Terre robustes.