Ecological mapping with geospatial foundation models

Cette étude démontre que les modèles de fondation géospatiaux Prithvi-EO-2.0 et TerraMind surpassent systématiquement les modèles de référence traditionnels pour des applications écologiques clés, tout en soulignant l'importance cruciale de l'alignement des données et de la haute résolution pour optimiser leurs performances.

L'essentiel

🌍 Le Grand Défi : Apprendre aux ordinateurs à "voir" la nature

Imaginez que vous avez un super-ordinateur, un peu comme un élève très brillant qui a lu des millions de livres sur le monde entier. C'est ce qu'on appelle un modèle fondamental géospatial (ou GFM). Il a vu des milliards de photos de la Terre prises par des satellites.

Le problème ? Cet élève est un expert en "généralités". Il sait très bien dire : "Ah, c'est une forêt", ou "C'est de l'eau". Mais si vous lui demandez des détails très précis pour aider les écologistes, comme "Est-ce que cet arbre a des feuilles larges ou des aiguilles ?" ou "Y a-t-il de la tourbe (un sol très riche en carbone) caché sous cette mousse ?", il commence à bafouiller.

Les chercheurs de l'IBM (les auteurs de l'article) se sont demandé : "Peut-on transformer ce grand généraliste en un spécialiste de la nature ?"

Pour répondre, ils ont pris deux de ces "super-élèves" (nommés Prithvi et TerraMind) et les ont fait réviser spécifiquement pour trois missions écologiques difficiles :

1. Le portrait-robot des forêts (identifier le type d'arbres et la densité du feuillage).
2. La chasse aux tourbières (trouver ces zones marécageuses qui stockent énormément de carbone).
3. La cartographie du sol (dire ce qu'il y a sur le terrain : forêt, ville, eau, etc.).

Ils les ont comparés à un "vieux modèle" (ResNet), un peu comme comparer un nouveau smartphone à un téléphone des années 90.

---

🧪 Les Expériences : Trois missions, trois résultats

1. La mission "Portrait-robot" (Les forêts)

Imaginez que vous devez trier des milliers de photos d'arbres pour dire lesquels sont des pins (feuilles en aiguilles) et lesquels sont des chênes (feuilles larges).

• Le résultat : Les deux nouveaux modèles (Prithvi et TerraMind) ont été bien meilleurs que le "vieux modèle". Ils ont compris non seulement où était la forêt, mais aussi ce qu'elle était. C'est comme si le nouvel élève avait non seulement appris à lire, mais aussi à distinguer les nuances d'écriture.
• La leçon : L'intelligence artificielle pré-entraînée sur des images satellites est déjà très forte, il faut juste lui donner un petit coup de pouce (un "fine-tuning") pour qu'elle devienne une experte.

2. La mission "Détective de tourbières" (La tourbe)

C'est là que ça devient intéressant. La tourbe est un sol spécial, souvent caché sous des plantes. C'est comme chercher un trésor enterré sans avoir de carte précise.

• Le défi : Les satellites voient la surface (les plantes), mais pas ce qui se passe sous le sol (la tourbe). C'est comme essayer de deviner ce qu'il y a dans une boîte fermée en regardant juste l'étiquette.
• La solution "Multimodale" : C'est ici que TerraMind a brillé. Au lieu de regarder seulement une photo (comme un simple appareil photo), TerraMind a pu utiliser plusieurs "sens" en même temps :
  • La vue normale (RGB).
  • La vue infrarouge (pour voir la santé des plantes).
  • La vue radar (pour voir à travers les nuages et sentir la texture du sol).
  • La vue en 3D (la hauteur du terrain).
• L'analogie : Si Prithvi est un détective qui regarde seulement une photo de la scène, TerraMind est un détective qui regarde la photo, écoute les bruits, sent l'odeur et touche les murs. Résultat ? TerraMind a trouvé la tourbe beaucoup plus précisément, surtout quand il a eu accès à tous ces "sens" supplémentaires.

3. La mission "Générateur d'images" (Compléter les trous)

Parfois, les satellites ont des trous dans leurs photos à cause des nuages (comme une photo de vacances où un nuage cache le château).

• Le tour de magie : TerraMind a montré qu'il pouvait "inventer" (générer) la partie manquante de la carte en se basant sur ce qu'il voit autour. C'est comme si vous aviez un puzzle incomplet, et que le modèle devinait la forme des pièces manquantes avec une grande précision.

---

⚠️ Les Limites : Ce qui ne va pas encore

Malgré ces succès, les chercheurs sont honnêtes : ce n'est pas encore parfait.

1. La qualité des étiquettes (Le manuel de correction) : Pour apprendre, l'ordinateur a besoin d'un "professeur" qui lui dit "C'est une tourbière" ou "Ce n'est pas une tourbière". Souvent, ces professeurs (les données d'entraînement) sont imprécis. C'est comme apprendre à cuisiner avec un livre de recettes qui a des fautes d'orthographe : le plat risque d'être bon, mais pas parfait.
2. La résolution (Le flou artistique) : Les images satellites ont une certaine taille de pixel (10 mètres). Pour voir un petit détail (comme un petit ruisseau ou une plante rare), c'est comme essayer de lire un texte minuscule avec des lunettes de vue trop fortes : c'est flou.
3. Le "biais" du terrain : Si le modèle a appris sur des forêts en Europe, il peut être perdu quand on le met en Amérique du Sud. Il faut le rééduquer pour chaque nouveau paysage.

---

💡 En résumé : Pourquoi c'est important ?

Cette étude nous dit deux choses essentielles :

1. L'avenir est aux "Super-élèves" : Les modèles pré-entraînés (comme Prithvi et TerraMind) sont bien supérieurs aux vieux modèles pour comprendre la nature. Ils sont plus intelligents, plus rapides et s'adaptent mieux.
2. La clé est la diversité des sens : Plus on donne d'informations à l'IA (photos, radar, altitude, données de sol), mieux elle comprend le monde. TerraMind, qui utilise plusieurs "sens", gagne souvent contre les modèles qui n'en utilisent qu'un.

La métaphore finale :
Avant, nous avions un détective qui ne pouvait voir que des photos en noir et blanc. Aujourd'hui, avec ces nouveaux modèles, nous avons un détective qui a des yeux de faucon, un radar, et qui peut même deviner ce qui se cache sous le sol. Il ne résout pas encore tous les mystères de la nature (surtout si les indices sont flous), mais il est en train de devenir l'outil le plus puissant pour protéger notre planète.

Résumé technique

1. Problématique

L'utilisation des modèles de fondation géospatiaux (GFMs) pour des applications écologiques à fort impact reste mal caractérisée. Bien que ces modèles aient démontré leur utilité dans des tâches générales (comme la cartographie de l'occupation des sols ou la détection d'objets simples), leur application à des scénarios écologiques complexes est entravée par plusieurs facteurs :

• Complexité de la biodiversité : Les caractéristiques intriquées de la biodiversité ne sont pas directement mesurées par les satellites d'observation de la Terre utilisés pour le pré-entraînement des GFMs.
• Limitations des modèles existants : On observe une faible généralisation de domaine, des biais géographiques et temporels, même après un fine-tuning.
• Dépendance aux modèles supervisés : En conséquence, les modèles d'apprentissage automatique spécifiques à une tâche restent la norme pour les applications de conservation, limitant l'adoption des GFMs.

L'objectif de cette étude est d'évaluer systématiquement la performance, les limites et les considérations pratiques des GFMs sur trois cas d'usage écologiques majeurs : l'estimation des traits fonctionnels forestiers, la cartographie de l'occupation des sols (LULC) et la détection des tourbières.

2. Méthodologie

Données et Sites d'Étude

Les expériences ont été menées sur deux sites distincts :

• Sites NEON (États-Unis) : Pour la cartographie des traits forestiers (forme des feuilles et densité de la canopée).
• Parc Naturel de Karukinka (Patagonie, Chili) : Pour la détection et le suivi des tourbières (dominées par la sphaigne Sphagnum Magellanicum).

Les données d'entrée proviennent de sources ouvertes, notamment :

• Sentinel-2 (S2-L2A) : Composites sans nuages (bandes RGB, NDVI).
• Sentinel-1 (S1-GRD) : Données radar (bandes VV et VH).
• MNT (DEM) : Modèle Numérique de Terrain Copernicus GLO-30.
• Étiquettes (Labels) : Dérivées de plusieurs sources (Copernicus LULC, inventaire CONAF, PEATGRIDS) avec des résolutions variant de 10m à 100m.

Modèles Comparés

L'étude compare deux modèles de fondation géospatiaux pré-entraînés sur des données d'observation de la Terre à un modèle de base (baseline) :

1. Prithvi-EO-2.0 : Modèle basé sur l'architecture Transformer, pré-entraîné sur 6 bandes HLS.
2. TerraMind : Modèle Transformer multimodal capable de raisonner sur des entrées hétérogènes et de générer des modalités (fonction "any-to-any").
3. ResNet-101 : Modèle convolutif pré-entraîné sur des images RGB (baseline robuste pour les régimes à données limitées).

Tous les modèles ont été affinés (fine-tuning) en utilisant la boîte à outils TerraTorch (basée sur PyTorch Lightning) avec l'optimiseur AdamW et la fonction de perte Dice.

Cas d'Usage Expérimentaux

1. Génération de données (TerraMind) : Capacité "zero-shot" à générer des cartes d'occupation des sols (ESRI LULC) à partir de données Sentinel-2.
2. Cartographie des traits forestiers : Segmentation de la forme des feuilles (aiguilles, larges, mixtes) et de la densité de la canopée (ouverte, fermée, autre).
3. Détection des tourbières : Segmentation binaire (tourbière vs non-tourbière) en utilisant des configurations unimodales (S2 uniquement) et multimodales (S2 + S1 + NDVI + DEM).

3. Contributions Clés

• Évaluation systématique : L'une des premières études à évaluer rigoureusement les GFMs sur des tâches écologiques complexes plutôt que sur des tâches de cartographie générale.
• Analyse multimodale : Démonstration de l'impact de l'intégration de modalités supplémentaires (Radar, MNT, NDVI) sur la performance des modèles de fondation.
• Analyse des limites des données : Mise en évidence de l'importance critique de l'alignement entre les modalités de pré-entraînement et les données d'entrée, ainsi que de la qualité des étiquettes (résolution et bruit).
• Benchmarking ouvert : Comparaison directe avec un modèle convolutif standard (ResNet-101) sur des jeux de données écologiques réels.

4. Résultats

Génération de Données

TerraMind a démontré une capacité de génération "zero-shot" robuste, atteignant un score IoU pondéré de 78,82 % pour la génération de cartes LULC à partir de Sentinel-2. Les classes végétatives (arbres, pâturages) ont été générées avec une grande précision (F1 > 87 %), bien que la distinction entre les herbacées et les zones inondées reste difficile.

Cartographie des Traits Forestiers

Les modèles GFMs (Prithvi et TerraMind) ont surpassé ResNet-101 d'au moins 20 % en termes de score F1 pour les deux tâches (forme des feuilles et densité de la canopée).

• TerraMind a obtenu les meilleurs résultats (F1 = 0,75 pour la densité, 0,70 pour la forme des feuilles), suivi de près par Prithvi.
• Les modèles basés sur Vision Transformer (ViT) ont mieux capturé les dimensions spatio-spectrales que le modèle convolutif, même avec des cibles de granularité grossière.

Détection des Tourbières

• Performance Unimodale : Prithvi et TerraMind surpassent systématiquement ResNet sur tous les jeux de données d'étiquettes.
• Performance Multimodale : L'ajout de modalités (S1, NDVI, DEM) à TerraMind a entraîné des gains substantiels, en particulier pour la séparation des tourbières des autres végétations (ex: F1 = 0,95 pour la classe "Chilean-LULC" en multimodal contre 0,92 en unimodal).
• Limites des Labels : La performance varie considérablement selon la source des étiquettes. Les étiquettes dérivées de PEATGRIDS-NDVI et CONAF ont moins de faux positifs mais plus de faux négatifs, tandis que les étiquettes Copernicus (COP 2020) génèrent beaucoup de faux positifs. Cela souligne que les modèles peinent à détecter les dynamiques souterraines (présence de la couche de tourbe, carbone) qui ne sont pas visibles en surface.

5. Signification et Conclusion

Cette étude démontre que les modèles de fondation géospatiaux offrent une généralisation supérieure par rapport aux modèles supervisés traditionnels (comme ResNet) pour les applications écologiques, grâce à leur pré-entraînement sur des données d'observation de la Terre qui comble le "domain gap".

Cependant, plusieurs défis persistent :

1. Alignement des modalités : La performance est sensible à l'écart entre les modalités de pré-entraînement et les données d'entrée. TerraMind excelle car il a été pré-entraîné sur l'ensemble des 12 bandes Sentinel-2, contrairement à Prithvi (6 bandes).
2. Qualité des données : La résolution des entrées (10m) et la capacité limitée des transformateurs à récupérer des détails au niveau du pixel réduisent la détection des petites échelles écologiques. Des données à plus haute résolution sont nécessaires.
3. Qualité des étiquettes : L'utilisation de jeux de données "prêts à l'emploi" (off-the-shelf) avec des résolutions grossières (100m) ou générées par ML introduit du bruit qui limite l'évaluation valide des modèles. Des étiquettes de haute fidélité, dérivées d'observations de terrain et validées par des experts, sont recommandées.

En conclusion, bien que les GFMs ne remplacent pas encore les modèles spécifiques de pointe (SOTA) dans tous les scénarios, ils constituent une avancée majeure pour l'écologie, à condition d'accompagner leur déploiement d'une stratégie rigoureuse d'alignement des données et d'amélioration de la qualité des étiquettes.