🤖 machine learning

Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

Ce document présente la solution de la troisième place de DS@GT ARC pour le défi PlantCLEF 2026, qui parvient à une identification robuste de multiples espèces végétales dans des images de quadrats à haute résolution en combinant un classificateur ViT DINOv2 multi-échelle avec une recherche kNN FAISS, des priors d'habitat géographique et une fusion temporelle, tout en démontrant que les approches alternatives centrées sur l'entraînement n'ont apporté aucun gain de performance.

Auteurs originaux : Alper Erten, Murilo Gustineli, Adrian Cheung

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alper Erten, Murilo Gustineli, Adrian Cheung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais qu'au lieu d'une scène de crime, votre « scène de crime » soit une petite parcelle de prairie sauvage, d'environ la taille d'une petite table de salle à manger. Votre tâche est de nommer chaque type de plante qui y pousse. Maintenant, imaginez le rebondissement : le seul manuel de formation que vous avez jamais vu contient des photos de fleurs ou de feuilles isolées et parfaites, sur un fond blanc. Vous n'avez jamais vu de prairie désordonnée et encombrée dans vos données d'entraînement. C'est le défi de l'identification de plantes multi-espèces : comprendre qui est qui dans une foule chaotique alors que vous n'avez étudié que des individus isolés.

Pour s'attaquer à cela, les scientifiques utilisent des Transformers de Vision (ViT), qui sont comme des yeux numériques super intelligents capables de diviser une image en minuscules pièces de puzzle pour comprendre ce qu'ils voient. Ils utilisent également les k plus proches voisins (kNN), une méthode qui fonctionne comme un moteur de recherche de « ressemblances » : si vous lui montrez la photo d'une feuille, il trouve les images les plus similaires dans sa base de données et dit : « Hé, ces images ressemblent juste à celle-ci ! » Enfin, ils utilisent des priors, qui sont simplement des suppositions éclairées basées sur les règles du monde, comme savoir que les cactus ne poussent pas dans l'Arctique ou que certaines mousses ne s'aiment que dans les hautes montagnes. Ce document raconte l'histoire d'une équipe qui a combiné ces outils pour résoudre l'énigme de la « prairie désordonnée », transformant un fouillis chaotique de verdure en une liste précise d'espèces.

La boîte à outils du détective : comment l'équipe a résolu l'énigme de la prairie désordonnée

L'équipe, connue sous le nom de DS@GT ARC, a participé à la compétition PlantCLEF 2026, un concours à enjeux élevés consistant à identifier des plantes dans des photos haute résolution de parcelles de 0,5 mètre de côté. Ces photos sont énormes — environ 3 000 par 3 000 pixels — ce qui les rend trop grandes pour être injectées d'un coup dans un cerveau informatique standard. La solution de l'équipe n'a pas consisté à construire un cerveau plus gros ou plus complexe ; il s'agissait d'être un détective plus intelligent qui sait où chercher les indices.

La stratégie : Zoomer et dézoomer
Imaginez essayer d'identifier une foule de personnes en regardant le groupe entier depuis un hélicoptère. Vous pourriez voir une mer de têtes, mais vous ne pouvez pas distinguer qui porte un chapeau rouge. Si vous zoomez trop près, vous ne voyez qu'une seule personne et manquez le contexte. Le premier tour de l'équipe fut le Multi-Scale Tiling (découpage multi-échelle). Ils ont découpé chaque photo géante en carrés plus petits (tuiles) à différents niveaux de zoom : certains dézoomés (grille 3x3), d'autres zoomés (grille 6x6). Cela leur a donné 86 « vues » différentes de la même prairie. Ils ont fait passer leur modèle d'IA principal, un DINOv2 ViT-L/14 affiné (un œil numérique puissant entraîné sur des millions d'images), sur chaque tuile. Ensuite, ils ont utilisé une règle de « max pooling » : si n'importe quelle tuile repérait une plante spécifique avec un haut niveau de confiance, toute la photo recevait le crédit pour cette plante. Cela garantissait qu'ils ne manquaient pas de petites fleurs cachées simplement parce qu'elles étaient petites dans l'image globale.

Le moteur de recherche de « ressemblances »
Le modèle d'IA est excellent, mais il peut parfois être confus. Pour l'aider, l'équipe a ajouté un système de recherche kNN. Considérez cela comme une immense bibliothèque de 860 000 photos de plantes. Lorsque l'IA regarde une tuile, elle demande aussi à la bibliothèque : « À qui cela ressemble-t-il ? ». La bibliothèque renvoie les 20 images les plus similaires. Si l'IA hésite, mais que la bibliothèque dit : « Cela ressemble exactement à un Geum reptans », l'équipe mélange ce conseil dans la réponse finale. C'est comme avoir un second avis provenant d'un botaniste chevronné qui a vu des millions de plantes.

La règle de l'« adéquation de l'habitat » : l'ultime vérification de la réalité
La partie la plus puissante de leur solution n'était pas un nouvel algorithme, mais un ensemble de règles basées sur la géographie. Ils ont réalisé que le fait qu'une plante puisse se trouver dans une photo ne signifie pas qu'elle devrait s'y trouver. Ils ont introduit la Dépréciation par Adéquation d'Habitat (Habitat-Fit Demotion).

Géographie : Si une photo a été prise en Europe du Sud-Ouest, ils ont automatiquement abaissé les probabilités pour les plantes qui ne poussent que dans les tropiques ou l'Arctique.
Altitude : Si la photo a été prise au niveau de la mer, ils ont déclassé les plantes qui ne poussent que sur les hauts sommets montagneux.
Cela a agi comme un filtre, murmurant discrètement à l'IA : « Hé, ce cactus est peu probable ici ; tu vois peut-être un rocher à la place ». Cette étape à elle seule a fait la plus grande différence dans leur précision, prouvant que savoir où l'on se trouve est tout aussi important que savoir ce que l'on voit.

Le voyageur temporel : Fusion Temporelle
Les photos de test n'étaient pas seulement des instantanés isolés ; beaucoup ont été prises au même endroit à différentes périodes de l'année. L'équipe a utilisé cela à son avantage. Si un endroit a été visité au printemps et en été, et que la photo du printemps montre une fleur que la photo de l'été a manquée (parce qu'elle a dépéri), ils combinent les preuves. C'est comme résoudre un mystère en vérifiant l'alibi d'un suspect sur trois jours différents. Si les preuves sont cohérentes à travers les visites, ils leur font davantage confiance. Si les visites semblent très différentes (comme un été luxuriant versus un hiver nu), ils utilisent un contrôle spécial de « similitude » pour s'assurer qu'ils ne sont pas trompés par le changement de saison.

Ce qui n'a pas fonctionné (Et pourquoi cela importe)

L'équipe n'a pas seulement deviné ; elle a essayé de nombreuses idées sophistiquées et les a jetées lorsqu'elles ne fonctionnaient pas. C'est tout aussi important que les succès.

Le piège du « synthétique » : Ils ont tenté de créer des données d'entraînement fictives en mélangeant des parties de plantes numériques (pseudo-quadrats) pour enseigner un nouveau type de décodeur. Cela a totalement échoué. L'IA a été confuse car les données fictives ne ressemblaient pas aux vraies prairies désordonnées.
L'erreur de la « zone transrégionale » : Ils ont tenté d'enseigner à l'IA en utilisant un vaste ensemble de données de paysages européens (LUCAS) qui n'était pas le même que celui des plantes spécifiques de la compétition. L'IA a appris les mauvaises leçons et a obtenu de moins bons résultats.
Le bug de la « segmentation » : Ils ont essayé d'utiliser un outil qui découpe les plantes individuelles du fond (SAM 3) pour obtenir des images plus nettes. Cela n'a pas aidé car l'IA a été entraînée sur des carrés de grille, et non sur ces formes découpées étranges. Le décalage a généré plus de bruit que de signal.

Le score final

Le système final de l'équipe, qui combinait le zoom multi-échelle, la recherche de ressemblances et les règles strictes d'habitat, a atteint un score macro-F1 de 0,43902 sur le classement privé, décrochant la troisième place de la compétition. Curieusement, l'une de leurs configurations non sélectionnées a obtenu un score encore plus élevé (0,45777), mais ils n'ont pu voir ce score qu'après la fin de la compétition.

L'article suggère que pour ce problème spécifique et désordonné, la meilleure approche n'est pas nécessairement un réseau de neurones plus complexe. Au contraire, les gagnants ont été ceux qui ont soigneusement conçu la manière de regarder les données (multi-échelle), utilisé les bons « codes de triche » (priors géographiques et d'altitude) et su quand ignorer les nouveaux gadgets sophistés qui ne correspondaient pas aux règles du monde réel. Ils ont prouvé que parfois, le coup de génie consiste à écouter l'environnement autant que l'image.

Résumé Technique : Inférence ViT Multi-Échelle avec Priors d'Habitat-Fit et Récupération kNN pour l'Identification de Plantes Multi-Espèces

Énoncé du Problème
Cet article traite du défi PlantCLEF 2026, une tâche d'identification de plantes multi-espèces nécessitant des systèmes capables de prédire chaque espèce présente dans des photographies haute résolution (≈3000×3000 pixels) de quadrats de végétation de 0,5×0,5 m vus de dessus. La tâche présente deux difficultés majeures :

Décalage de Domaine Sévère de Single-to-Multi-Label : Les données d'entraînement consistent en environ 1,4 million d'images à étiquette unique d'échantillons isolés (souvent des gros plans d'organes spécifiques), tandis que les données de test comprennent des scènes de couverture végétale encombrées et multi-espèces avec des échelles et des stades phénologiques variables.
Contraintes de Résolution : Les images de test sont trop grandes pour les entrées standard de Vision Transformer (ViT) (typiquement 518×518), ce qui nécessite des stratégies de pavage (tiling) et d'agrégation qui ne perdent pas les indices d'espèces fins.

La métrique d'évaluation est un score $F_1$ échantillonnal macro-moyenné, moyen de par transect pour atténuer le biais des sites sur-échantillonnés.

Méthodologie
Le pipeline proposé, développé par l'équipe DS@GT ARC, est une approche axée sur l'inférence centrée sur un backbone DINOv2 ViT-L/14 affiné. Le système traite les données via les étapes suivantes :

Agrégation de Tuiles Multi-Échelles :
- Chaque image de quadrat est recadrée au centre et redimensionnée à plusieurs échelles ( $s \in \{3, 4, 5, 6\}$ ), générant 86 tuiles non chevauchantes de 518×518 par image.
- Un classifieur ViT-L/14 affiné (entraîné sur le jeu de données PlantCLEF) traite chaque tuile, produisant une distribution softmax de 7 806 dimensions.
- Les prédictions par image sont agrégées via un max pooling à travers toutes les tuiles et échelles, préservant l'évidence locale la plus forte pour chaque espèce.
Ensemble de Récupération kNN par FAISS :
- Pour compléter le classifieur, un récupérateur k-plus proches voisins (kNN) est construit à l'aide de FAISS.
- Les embeddings sont générés à l'aide du backbone ViT-L augmenté d'un adaptateur LoRA entraîné avec un objectif ArcFace pour regrouper les embeddings de même espèce.
- Pour chaque tuile, les 20 plus proches voisins sont récupérés à partir d'une base de données d'environ 860 000 embeddings d'entraînement. Leurs similitudes sont converties en une distribution de classes "douce" (soft) et mélangées à la sortie du classifieur.
- Les poids de mélange sont conscients des visites : $\beta=0,70$ pour les quadrats multi-visites et $\beta=1,00$ (kNN désactivé) pour les quadrats à visite unique afin d'éviter le bruit provenant de récupérations peu fiables.
Fusion Temporelle Sensible à la Source :
- En exploitant la structure multi-visite de l'ensemble de test, les prédictions pour les quadrats partageant le même identifiant de localisation sont fusionnées.
- Les stratégies d'agrégation varient selon la source de données : le max pooling est utilisé pour la plupart des sources, tandis qu'une agrégation pondérée par la similitude est appliquée à la source RNNB (dunes de sable côtières) pour gérer la haute variabilité temporelle (ex: changements saisonniers) sans prédictions trop confiantes.
Déclassement Habitat-Fit et Masquage Géographique :
- Habitat-Fit : Une étape de post-traitement redimensionne les probabilités en fonction de priors géographiques et d'altitude dérivés des données d'entraînement. Un "facteur d'ajustement" pénalise les espèces dont la distribution connue (centroïde latitude/longitude et bande d'élévation) ne correspond pas au régime écologique spécifique de la source.
- Masque Géographique : Un masque global élimine environ 3 000 espèces dont les centroïdes d'entraînement se situent en dehors de l'Europe du Sud-Ouest (France, Espagne, Italie, Suisse).
- Règle d'Admission : Un processus de seuillage en deux étapes retient les classes à haute probabilité et impose un nombre minimum de prédictions pour des sources spécifiques où le modèle a tendance à sous-prédire.

Directions Exploratoires (Résultats Nuls)
L'article rapporte explicitement trois directions complémentaires qui n'ont apporté aucune amélioration de performance :

TileQ-Decoder : Un décodeur transformer "label-as-query" entraîné sur des pseudo-quadrats synthétiques dans l'espace d'embedding CLS n'a pas réussi à surpasser l'agrégation simple, souffrant d'un problème de "sous-confiance par sous-échantillonnage FAISS".
Transformer Cross-Region : Une approche de distillation "noisy-student" utilisant le jeu de données non étiqueté LUCAS a échoué en raison d'un décalage de distribution entre les pseudo-labels de l'enseignant et le domaine cible.
Augmentation par Instance-Crop SAM : L'utilisation du modèle Segment Anything (SAM 3) pour générer des crops par instance n'a pas amélioré les performances, probablement en raison d'un décalage de distribution entre les crops segmentés et les tuiles de grille utilisées pour le calibrage.

Résultats

Performance : La soumission finale sélectionnée a atteint un score macro- $F_1$ sur le leaderboard privé de 0,43902, se classant troisième au total. Une configuration non sélectionnée de même pipeline a obtenu un score privé plus élevé de 0,45777.
Études d'Ablation :
- Déclassement Habitat-Fit : Le plus grand contributeur de performance (+0,04075 $F_1$ ), soulignant la valeur des priors écologiques.
- Agrégation Multi-Échelles : La combinaison des échelles 3, 4, 5 et 6 a surpassé les ensembles à échelle unique ou à échelles plus larges (ex: jusqu'à 8), suggérant un équilibre entre capture de détails et réduction du bruit.
- Mise à l'échelle du Backbone : Le backbone ViT-L/14 a systématiquement surpassé le ViT-B/14 de +0,022 à +0,052 $F_1$ dans toutes les configurations.
- Récupération kNN : A apporté un boost significatif (+0,01256 $F_1$ ) lorsqu'elle est mélangée de manière appropriée.
- Fusion Temporelle : A fourni un gain modeste mais constant (+0,00367 $F_1$ ), fortement dépendant du réglage spécifique à la source.

Signification et Revendications
L'article affirme que pour la reconnaissance multi-espèces à grande échelle sous de sévères décalages de domaine, les stratégies d'inférence et les priors conscients du jeu de données peuvent surpasser les pipelines complexes centrés sur l'entraînement.

Structure du Jeu de Données plutôt que Complexité du Modèle : Les gains les plus importants ont été obtenus non pas en augmentant la taille ou la complexité du modèle, mais en codant explicitement la structure du jeu de données (motifs temporels multi-visites, distributions géographiques/d'altitude et régimes écologiques spécifiques aux sources).
Limites des Données Externes : Les résultats nuls de la distillation LUCAS et de l'augmentation SAM suggèrent qu'une incorporation naïve de données externes ou d'augmentations peut dégrader les performances si elles introduisent un décalage de distribution par rapport au domaine cible.
Agrégation vs Décodage : L'échec du TileQ-Decoder renforce l'idée que pour cette tâche spécifique, préserver et agréger les probabilités par tuile est plus efficace que de re-traiter les caractéristiques via un décodeur multi-label appris.

Ce travail démontre qu'un pipeline d'inférence soigneusement ajusté, exploitant le pavage multi-échelle, l'ensemble par récupération et les priors écologiques, constitue une solution robuste pour l'automatisation de l'évaluation de la biodiversité dans les quadrats de végétation.

La boîte à outils du détective : comment l'équipe a résolu l'énigme de la prairie désordonnée

Ce qui n'a pas fonctionné (Et pourquoi cela importe)

Le score final

Articles similaires