Self-Supervised Learning of Plant Image Representations

1. Énoncé du problème

La reconnaissance automatisée des plantes est cruciale pour le suivi de la biodiversité et la conservation, mais elle se heurte à un goulot d'étranglement majeur : la pénurie de données. Les systèmes actuels les plus performants reposent fortement sur l'apprentissage supervisé, qui nécessite d'énormes quantités de données étiquetées par des experts. L'acquisition de telles annotations est coûteuse, longue et requiert des connaissances botaniques spécialisées, limitant ainsi l'évolutivité de ces systèmes aux écosystèmes sous-documentés.

Bien que l'apprentissage auto-supervisé (SSL) offre une alternative évolutive en apprenant des représentations sans étiquettes manuelles, les méthodes SSL existantes (par exemple, SimCLR, DINOv2) sont principalement conçues pour des tâches à granularité grossière (par exemple, ImageNet, distinguer les chats des voitures). Ces méthodes reposent sur des augmentations de données agressives (par exemple, jittering de couleur intense, flou gaussien, conversion en niveaux de gris, solarisation) qui supposent une invariance à de telles transformations. Cependant, la reconnaissance d'espèces végétales est une tâche à granularité fine où des indices visuels subtils — tels que des distributions de couleurs spécifiques, des motifs de nervures et des textures — sont les principaux discriminateurs. Les augmentations SSL standard détruisent souvent ces caractéristiques critiques, conduisant à un apprentissage de représentations médiocre pour les plantes.

2. Méthodologie

Les auteurs proposent un cadre adapté au domaine pour l'apprentissage de représentations d'images de plantes, se concentrant sur deux piliers principaux : la stratégie d'augmentation et la sélection de l'ensemble de données.

A. Augmentation de données adaptée aux plantes

Le papier identifie que les augmentations SSL standard sont préjudiciables à la reconnaissance des plantes. Grâce à une étude d'ablation systématique utilisant SimCLR et SupCon sur une base ResNet-18, les auteurs démontrent :

• Transformations préjudiciables : Le flou gaussien, la conversion en niveaux de gris et la solarisation dégradent considérablement les performances en éliminant des indices à granularité fine essentiels.
• Transformations proposées : Les auteurs introduisent deux augmentations alternatives mieux adaptées aux plantes :
  1. Postérisation : Réduit le nombre de niveaux de couleur, créant des variations d'apparence tout en préservant la structure globale des couleurs.
  2. Transformations affines : Inclut la rotation, la translation, le mise à l'échelle et le cisaillement pour introduire une variabilité géométrique sans dégrader les textures locales.
• Stratégie : Le pipeline optimal remplace les augmentations « DINO » standard par une combinaison de crops redimensionnés aléatoires, de retournements horizontaux, de jittering de couleur, de postérisation et de transformations affines.

B. Architecture du modèle et entraînement

Les auteurs utilisent SimDINOv2, une version simplifiée de DINOv2 qui supprime les composants heuristiques (comme le centrage et l'accentuation) et utilise la régularisation par taux de codage pour éviter l'effondrement des représentations.

• Cadre : Une architecture enseignant-élève où l'enseignant (EMA de l'élève) traite les vues globales, tandis que l'élève traite à la fois les vues globales et locales (patchs).
• Objectifs :
  1. Alignement global : Similarité cosinus entre les tokens CLS de l'élève et de l'enseignant.
  2. Alignement des patchs : Prédiction de patchs masqués (inspiré de iBOT) pour apprendre les structures locales.
  3. Régularisation : Régularisation par taux de codage pour assurer la diversité des caractéristiques.
• Données de pré-entraînement : Au lieu d'ImageNet-1K, les modèles sont pré-entraînés sur le sous-ensemble iNaturalist 2021 Plantae, contenant environ 1,1 million d'images réparties sur 4 271 espèces.

3. Contributions clés

1. Identification du décalage d'augmentation : Le papier fournit des preuves empiriques que les augmentations SSL standard (flou, niveaux de gris, solarisation) sont néfastes pour la reconnaissance fine des plantes et propose la postérisation et les transformations affines comme alternatives efficaces.
2. Pré-entraînement spécifique au domaine : Il démontre que le pré-entraînement sur un ensemble de données spécifique au domaine (iNaturalist Plantae) produit des représentations nettement supérieures par rapport au pré-entraînement générique (ImageNet-1K), même en utilisant la même architecture.
3. Performances compétitives : Il montre que les modèles auto-supervisés entraînés avec ces stratégies spécifiques peuvent égaler ou surpasser de solides bases supervisées (Pl@ntCLEF, BioCLIP) dans des scénarios d'apprentissage à few-shot.
4. Cadre évolutif : Fournit un pipeline pratique, sans annotation, pour le suivi de la biodiversité, compatible avec les architectures modernes de Vision Transformer (ViT).

4. Résultats expérimentaux

Les auteurs ont évalué leur approche en utilisant la classification à few-shot (1-shot et 5-shot) sur quatre ensembles de données de plantes issus du benchmark MetaAlbum : Pl@ntNet, PlantVillage, Medicinal Leaf et PlantDoc.

• Impact de l'augmentation : Sur une base ResNet-18, les augmentations adaptées aux plantes proposées ont atteint une précision de 10,35 %, égalant presque la borne supérieure supervisée (SupCon à 10,61 %) et surpassant significativement les augmentations SSL standard (9,70 %).
• Impact des données de pré-entraînement :
  • Un ViT-Large (L) pré-entraîné sur ImageNet-1K n'a atteint que 35,6 % de précision (1-shot) sur Pl@ntNet.
  • Un ViT-Large (L) pré-entraîné sur iNaturalist Plantae avec des augmentations adaptées aux plantes a atteint 77,4 % de précision (1-shot) sur Pl@ntNet.
  • Cela représente une amélioration absolue massive d'environ 42 % uniquement due aux données spécifiques au domaine et à l'augmentation.
• Comparaison avec les bases de référence :
  • Le SimDINOv2 (ViT-L) proposé a surpassé le modèle supervisé Pl@ntCLEF sur Pl@ntNet (77,4 % contre 72,9 %) et sur PlantVillage.
  • Il a constamment surpassé BioCLIP (un modèle vision-langage) sur tous les ensembles de données, en particulier sur le jeu de données de maladies PlantDoc difficile.
• Visualisation de l'espace des caractéristiques : Les projections t-SNE ont montré que les modèles pré-entraînés sur iNaturalist avec des augmentations adaptées formaient des clusters compacts et bien séparés pour les espèces végétales, tandis que les modèles pré-entraînés sur ImageNet produisaient des clusters dispersés et se chevauchant.

5. Importance et conclusion

Ce travail modifie fondamentalement le paradigme de la reconnaissance des plantes en prouvant que l'adaptation au domaine est cruciale dans l'apprentissage auto-supervisé.

• Lignes directrices pratiques : Il établit que les pipelines SSL « universels » échouent dans les domaines à granularité fine. Un SSL réussi pour la biodiversité nécessite une sélection minutieuse d'augmentations qui préservent les indices visuels subtils et l'utilisation de données non étiquetées à grande échelle et pertinentes pour le domaine.
• Évolutivité : En atteignant des performances comparables ou supérieures aux modèles supervisés sans étiquettes manuelles, cette approche offre une voie viable vers des systèmes de suivi de la biodiversité automatisés et évolutifs capables de gérer la vaste diversité des espèces végétales sans le goulot d'étranglement de l'annotation par des experts.
• Perspectives futures : Les auteurs suggèrent qu'une mise à l'échelle supplémentaire avec des ensembles de données végétales plus vastes et plus diversifiés pourrait débloquer un potentiel encore plus grand pour l'identification des plantes sans annotation.