LC-SLab -- An object-based deep learning framework for large-scale land cover classification from satellite imagery and sparse in-situ labels

Imaginez que vous êtes un détective essayant de cartographier une ville géante et invisible depuis l'espace. Vous avez une caméra satellite qui prend des photos de la Terre, mais vous n'avez pas une liste complète de chaque rue ou bâtiment. Au lieu de cela, vous n'avez que quelques notes éparses de personnes sur le terrain disant : « Ici, il y a un parc » ou « Ici, il y a une ferme ». C'est le monde de la classification de l'occupation du sol : utiliser des images satellites pour déterminer ce qui se trouve au sol (forêts, eau, villes, cultures) sans avoir à parcourir chaque centimètre.

La partie délicate est que ces notes au sol sont « éparses », ce qui signifie qu'elles sont éloignées les unes des autres, comme des îles dans un vaste océan. Si vous essayez de deviner le reste de la carte en regardant simplement les pixels (de minuscules points) de la photo satellite, votre cerveau pourrait être confus. Vous pourriez tracer une ligne dentelée et désordonnée entre une forêt et un champ, ou accidentellement peindre un seul pixel de « ville » au milieu d'une « forêt ». Cela crée une carte qui ressemble à de la neige sur un vieux téléviseur — pleine de bruit et de minuscules îles impossibles. Les scientifiques veulent corriger ce « bruit » pour que les cartes ressemblent à de vrais paysages lisses, mais ils doivent aussi s'assurer de ne pas perdre en précision en faisant cela.

C'est là qu'intervient un nouvel outil appelé LC-SLab. Considérez-le comme une manière intelligente d'organiser les pièces du puzzle avant d'essayer de résoudre l'image. Au lieu de deviner chaque minuscule point de la photo, les chercheurs suggèrent de regrouper les points en « objets » — comme un champ entier ou un pâté de maisons — et de les traiter comme une seule unité. Le papier explore deux manières principales de faire cela : soit en regroupant les points avant que l'ordinateur ne commence à deviner (au niveau de l'entrée), soit en laissant l'ordinateur deviner d'abord et en nettoyant le désordre ensuite (au niveau de la sortie). Ils ont testé ces méthodes en utilisant un ensemble massif de données de photos satellites d'Europe et ces quelques notes éparses du terrain pour voir quelle méthode produit la carte la plus propre et la plus précise.

L'histoire de LC-SLab : Du chaos des pixels à l'ordre des objets

Imaginez que vous essayez de peindre une fresque géante du monde à partir de quelques photos floues et d'une poignée de post-it laissés par des amis. Si vous essayez de peindre chaque minuscule point du mur individuellement, vous pourriez finir avec une éclaboussure désordonnée où un arbre semble être fait de points rouges et verts dispersés de manière aléatoire. C'est ce qui arrive lorsque les scientifiques utilisent des modèles de deep learning standards sur des données « éparses » (des données où les bonnes réponses sont rares et éloignées les unes des autres). Les modèles sont confus et produisent des cartes « fragmentées » — pleines de minuscules îles de mauvaises couleurs.

Les chercheurs derrière LC-SLab (Land Cover - Sparse Label aggregation) ont décidé d'essayer une approche différente. Au lieu de peindre point par point, ils ont demandé : « Et si nous peignions par formes ? » Ils ont proposé un cadre qui regroupe les pixels en « objets » (comme un champ entier ou une parcelle de forêt) et attribue une étiquette à la forme entière à la fois. Cela impose une « Unité de Cartographie Minimale » (UCM ou MMU en anglais). Considérez l'UCM comme une règle qui dit : « Ne peignez pas un seul pixel ; la plus petite chose que vous pouvez peindre est un carré de la taille d'un petit jardin. » Cette règle empêche l'ordinateur de commettre de petites erreurs stupides et le force à créer des formes lisses et cohérentes.

Le document approfondit deux stratégies différentes pour cette méthode de « peinture par formes » :

1. La stratégie de « Pré-groupement » (Agrégation au niveau de l'entrée) : Imaginez que vous découpiez la photo satellite en pièces de puzzle (objets) avant même de les regarder. Vous alimentez ensuite ces pièces de puzzle dans un « Réseau de Neurones sur Graphe » (GNN) spécial. Ce réseau regarde la forme, la taille et les couleurs de chaque pièce ainsi que la façon dont elles se connectent à leurs voisines, puis décide de ce qu'est chaque pièce. C'est comme regarder un puzzle et dire : « Cette pièce est clairement un arbre parce qu'elle est verte, grande et à côté d'autres pièces vertes. »
2. La stratégie de « Post-groupement » (Agrégation au niveau de la sortie) : Ici, vous laissez un modèle informatique puissant deviner la couleur de chaque point d'abord (comme un peintre pixel par pixel standard). Une fois la peinture terminée, vous prenez des ciseaux et découpez les « objets » en fonction des formes que vous avez définies précédemment. Ensuite, vous regardez tous les points à l'intérieur d'une forme et vous votez pour décider de ce que l'ensemble de la forme devrait être. C'est comme laisser un artiste désordonné terminer la peinture, puis prendre du recul et dire : « D'accord, ce bloc entier est une forêt, donc rendons-le tout vert. »

Ce qu'ils ont trouvé : Cela dépend de la quantité de données que vous avez

Les chercheurs ont mené des milliers d'expériences en utilisant des images satellites de 2018 et des données d'enquêtes de terrain de l'UE (appelées LUCAS). Voici ce qu'ils ont découvert, et c'est un peu un retournement de situation :

Le dilemme « Big Data » vs « Small Data »
La découverte la plus surprenante est que la meilleure stratégie dépend entièrement de la quantité de données d'entraînement dont vous disposez.

• Quand vous avez BEAUCOUP de données : La stratégie de « Post-groupement » (laisser l'ordinateur deviner d'abord, puis nettoyer ensuite) l'emporte. Les modèles puissants, comme DeepLabV3 et GUNet, peuvent apprendre les détails du monde si bien qu'ils n'ont besoin que d'un peu de « nettoyage » après coup pour faire une carte parfaite.
• Quand vous avez TRÈS PEU de données : La stratégie de « Pré-groupement » (grouper d'abord, puis deviner) est la championne. Lorsque les chercheurs ont testé les modèles avec seulement 1/16e des données habituelles, les méthodes au niveau de l'entrée (comme GUNet et BaseGNN) ont beaucoup mieux résisté. Elles étaient plus robustes et n'ont pas chuté aussi brutalement que les modèles de devinette par pixel. Il semble que lorsque vous manquez d'exemples, il vaut mieux donner un indice fort (la structure de l'objet) dès le départ.

La magie du « Pré-entraînement »
L'équipe a également essayé une astuce utilisée dans d'autres domaines de l'IA : ils ont donné un « coup de pouce » aux modèles en les laissant étudier d'abord une carte pré-établie immense. Ils ont utilisé des caractéristiques provenant d'un modèle qui avait déjà été entraîné sur un ensemble de données massif (même si cet ensemble n'était pas parfait).

• Le résultat : Cela a changé la donne pour les petits ensembles de données. Lorsque les modèles utilisaient ces caractéristiques pré-apprises, leur précision augmentait considérablement, même avec très peu de nouvelles données. C'est comme donner un résumé de manuel à un étudiant avant l'examen ; il n'a pas besoin de tout mémoriser à partir de zéro. Curieusement, cette astuce a fait en sorte que tous les modèles différents performent presque de la même manière, suggérant que les caractéristiques qu'ils ont apprises étaient plus importantes que l'architecture spécifique du modèle.

Le compromis : Précision vs Propreté
Le papier a également examiné l'« Unité de Cartographie Minimale » (UCM). Ils ont testé différentes tailles, de très petites (5 pixels) à grandes (40 pixels).

• La conclusion : À mesure qu'ils augmentaient la taille minimale, les cartes devenaient beaucoup plus propres (moins fragmentées), mais la précision diminuait légèrement. Cependant, la baisse était étonnamment faible. Par exemple, augmenter l'UCM à 40 pixels a réduit le « désordre » de la carte de 80 %, mais la précision n'a chuté que d'environ 2 %.
• Le point d'équilibre : Même une petite UCM (5 pixels) a réduit le désordre de moitié tout en ne nuisant presque pas à la précision. Cela suggère que l'ajout d'un peu de « pensée par objet » est une victoire énorme pour rendre les cartes plus réelles et utiles pour des choses comme l'agriculture ou l'urbanisme.

Battre les géants
Enfin, les chercheurs ont comparé leurs nouvelles cartes LC-SLab à deux produits existants célèbres (ESA WorldCover et ESRI Land Cover).

• Le verdict : Leur méthode a en fait battu ces produits établis en termes de précision, surtout lorsqu'ils utilisaient la bonne combinaison de groupement d'objets et de taille de données. Les produits existants étaient soit très précis mais très désordonnés (haute fragmentation), soit très propres mais moins précis. LC-SLab a réussi à être à la fois précis et propre.

Pourquoi cela importe

Le papier conclut que nous n'avons pas besoin de choisir entre la précision et les cartes propres. En utilisant l'apprentissage profond basé sur les objets, nous pouvons avoir les deux. La leçon principale pour quiconque essaie de cartographier le monde depuis l'espace est que le contexte est roi. Si vous avez beaucoup de données, laissez l'ordinateur faire le gros du travail et nettoyez les bords plus tard. Si vous avez très peu de données, donnez à l'ordinateur une structure (des objets) avec laquelle travailler dès le début.

Les auteurs admettent qu'il existe des limites. Leurs cartes sont basées sur un instantané unique de l'année (composites annuels), elles manquent donc les choses qui changent rapidement, comme la croissance des cultures ou le retrait des inondations. Ils ont également noté que certains types de terrains complexes, comme les landes ou les terres nues, étaient encore difficiles à classifier parfaitement. Cependant, ils pensent que ce cadre est une base solide. Il montre que même avec des notes éparses et dispersées du terrain, nous pouvons construire des cartes massives et fiables de la Terre sans avoir besoin d'engager des armées de personnes pour dessiner chaque ligne. C'est un pas vers une observation de la Terre plus intelligente, moins chère et plus utile pour tout le monde.