Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study

Résumé technique : Vision Transformers pour le regroupement zero-shot d'images animales

Énoncé du problème
La surveillance de la biodiversité a atteint un goulot d'étranglement critique où le volume de données visuelles générées par les pièges photographiques et les plateformes de science citoyenne dépasse la capacité d'analyse manuelle. Les approches traditionnelles d'apprentissage profond supervisé, telles que les réseaux de neurones convolutifs (CNN), nécessitent un étiquetage manuel extensif de milliers d'images pour entraîner des classificateurs spécifiques à chaque espèce. Ces modèles sont intrinsèquement limités à des ensembles fixes d'espèces présentes dans les données d'entraînement, peinent face à la distribution à longue traîne de la biodiversité (où les espèces rares manquent d'exemples d'entraînement suffisants) et échouent souvent à se généraliser à de nouveaux sites ou conditions d'imagerie. Bien que les modèles de fondation Vision Transformer (ViT) aient démontré des capacités de classification zero-shot, un écart subsiste entre la précision de classification des ViT et leur déploiement pratique dans des systèmes autonomes, où une validation manuelle extensive est encore requise pour une partie significative des images. Cette étude examine si les modèles de fondation ViT de pointe peuvent réduire des milliers d'images animales non étiquetées directement en des clusters cohérents au niveau de l'espèce, sans entraînement préalable spécifique à l'espèce ni annotation manuelle.

Méthodologie
Les auteurs ont développé un cadre de benchmarking complet et un pipeline de regroupement (clustering) modulaire zero-shot pour évaluer la faisabilité de l'organisation d'imagerie animale non étiquetée.

• Préparation des données : L'étude a utilisé 281 127 images brutes de pièges photographiques issues de 60 espèces (30 mammifères et 30 oiseaux) provenant de 23 projets du dépôt LILA BC. Un pipeline automatisé utilisant MegaDetector pour la détection et SpeciesNet pour la classification a été employé pour recadrer les régions animales. Ces recadrages ont fait l'objet d'une validation par des experts, aboutissant à un ensemble final de 139 111 images au niveau de l'espèce validées manuellement.
• Pipeline de regroupement Zero-Shot : Le pipeline se compose de trois étapes modulaires :
  1. Extraction de caractéristiques : Les images d'entrée passent par des modèles Vision Transformer pré-entraînés pour générer des vecteurs d'intégration (embeddings) de haute dimension.
  2. Réduction de la dimensionnalité : Les embeddings sont projetés dans des espaces de plus faible dimension (spécifiquement en 2D) pour faciliter le regroupement et la visualisation.
  3. Regroupement (Clustering) : Les embeddings réduits sont partitionnés à l'aide d'algorithmes de clustering.
• Conception expérimentale : L'étude a évalué systématiquement 27 600 configurations combinant :
  • 5 modèles ViT : CLIP, SigLIP, DINOv2, DINOv3 et BioCLIP 2.
  • 5 techniques de réduction de la dimensionnalité : t-SNE, UMAP, PCA, Isomap et Kernel PCA (plus le clustering direct sur les embeddings bruts).
  • 4 algorithmes de clustering : Deux méthodes non supervisées (DBSCAN, HDBSCAN) et deux méthodes supervisées (Clustering hiérarchique, Modèles de mélange gaussien/GMM).
• Évaluation : La performance a été mesurée via la V-mesure (moyenne harmonique de l'homogénéité et de la complétude) et l'Information Mutuelle Ajustée (AMI). L'étude a également analysé la composition des clusters pour distinguer les échecs des modèles des motifs biologiquement significatifs (ex: dimorphisme sexuel, classes d'âge).

Contributions clés

1. Cadre de benchmarking complet : Une évaluation systématique de 27 600 combinaisons de méthodes à travers 60 espèces, fournissant des mesures quantitatives pour guider la sélection des méthodes.
2. Jeu de données animal validé : La publication d'un jeu de données en open-source comprenant 139 111 recadrages d'images validés manuellement, traités via un pipeline reflétant les flux de travail réels.
3. Cadre d'interprétation écologique : Une analyse distinguant les « échecs » qui représentent de véritables sous-catégories écologiques (variation intra-spécifique) des simples limitations du modèle.
4. Boîte à outils Open-Source : Publication du code, des jeux de données, des journaux expérimentaux et d'une interface web interactive pour visualiser les résultats de clustering.
5. Directives de déploiement pratique : Recommandations fondées sur des preuves pour la sélection des paramètres adaptée aux caractéristiques des jeux de données, incluant la gestion des distributions d'espèces à longue traîne.

Résultats clés

• Performance des modèles : Les modèles auto-supervisés ont nettement surpassé les modèles vision-langage et les modèles biologiques spécifiques. DINOv3 a obtenu la V-mesure moyenne la plus élevée (0,817 sur toutes les configurations), suivi de DINOv2 (0,769). BioCLIP 2, CLIP et SigLIP ont montré des performances sensiblement inférieures (0,597–0,652).
• Réduction de la dimensionnalité : Les méthodes non linéaires t-SNE et UMAP ont systématiquement surpassé les méthodes linéaires et les autres méthodes non linéaires (PCA, Isomap, Kernel PCA) de 26 à 38 points de pourcentage. t-SNE a légèrement surpassé UMAP en moyenne.
• Algorithmes de clustering :
  • Supervisés : Lorsque le nombre de clusters correspondait à la vérité terrain (K=30), le clustering hiérarchique et le GMM ont atteint un clustering quasi parfait au niveau de l'espèce (V-mesure : 0,958) lorsqu'ils étaient combinés avec DINOv3 et t-SNE.
  • Non supervisés : HDBSCAN a largement surpassé DBSCAN. HDBSCAN a découvert des nombres de clusters proches de la vérité terrain (33–37 clusters contre 30 espèces) avec un faible taux d'anomalies (1,14 % des images). En revanche, DBSCAN a souffert d'un sur-regroupement sévère (plus de 200 clusters) et de taux de rejet d'anomalies élevés (28–29 %).
• Robustesse à l'imbalance : Les configurations optimisées de HDBSCAN (ex: min_cluster_size=150) ont maintenu des performances élevées (V-mesure > 0,92) même sous des distributions extrêmes à longue traîne, là où les configurations standards ont échoué.
• Variation intra-spécifique : Le « sur-regroupement » (en utilisant des valeurs K plus élevées ou des méthodes non supervisées avec des seuils de densité plus bas) a extrait de manière fiable des motifs intra-spécifiques écologiquement significatifs, incluant les classes d'âge, le dimorphisme sexuel, les différences de pelage et les contextes environnementaux (ex: fonds enneigés, éclairage IR vs RGB).
• Analyse des échecs : Les clusters fusionnés reflétaient souvent des similitudes biologiques réelles (ex: Loup et Chacal, Takahē et Perroquet de l'eau) plutôt que des erreurs de modèle. Les clusters sur-divisés correspondaient généralement à une forte variation intra-spécifique (ex: changements de pelage saisonniers chez la Petite Belette).

Signification et affirmations
L'article affirme que le regroupement zero-shot utilisant des modèles de fondation offre une voie pratique pour réduire la charge d'annotation manuelle dans la recherche écologique. L'étude démontre qu'avec la bonne combinaison de modèles (DINOv3), de réduction de dimensionnalité (t-SNE) et d'algorithmes de clustering (HDBSCAN), il est possible d'obtenir un clustering au niveau de l'espèce quasi parfait sans aucune donnée d'entraînement étiquetée.

Les auteurs soulignent que cette approche transforme la tâche d'annotation, passant d'un étiquetage exhaustif image par image à une revue ciblée des compositions de clusters. Ils soutiennent que les « échecs » de clustering ne sont pas de simples erreurs mais révèlent souvent des structures biologiquement significatives, telles que la variation phénotypique ou le contexte environnemental, qui peuvent être précieuses pour l'analyse démographique. L'étude conclut que ces méthodes fournissent une infrastructure essentielle pour une prise de décision de conservation opportune à mesure que les réseaux de pièges photographiques s'étendent mondialement, permettant aux écologues de trier des groupes taxonomiques spécifiques et de concentrer l'attention de l'expert sur les cas limites ambigus. Les auteurs restent modestes quant à la généralisation à d'autres groupes taxonomiques (ex: insectes, poissons) et notent que la réduction en 2D, bien qu'efficace pour la visualisation et le clustering, peut perdre des informations préservées dans des espaces de plus haute dimension.