Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study

Technische Samenvatting: Vision Transformers voor Zero-Shot Clustering van Dierbeelden

Probleemstelling
Biodiversiteitsmonitoring heeft een kritieke flessenhals bereikt waarbij het volume aan visuele data gegenereerd door cameravallen en burgerwetenschapplatforms het vermogen voor handmatige analyse overstijgt. Traditionele supervised deep learning-benaderingen, zoals Convolutional Neural Networks (CNN's), vereisen uitgebreide handmatige labeling van duizenden afbeeldingen om soortspecifieke classificaties te trainen. Deze modellen zijn inherent beperkt tot vaste sets soorten die aanwezig zijn in de trainingsdata, hebben moeite met de long-tailed distributie van biodiversiteit (waarbij zeldzame soorten onvoldoende trainingsvoorbeelden missen) en falen vaak bij het generaliseren naar nieuwe locaties of beeldcondities. Hoewel Vision Transformer (ViT) foundation-modellen een zero-shot classificatievermogen hebben aangetoond, blijft er een kloof bestaan tussen de classificatienauwkeurigheid van deze modellen en de praktische inzetbaarheid in autonome systemen, waar nog steeds uitgebreide handmatige validatie vereist is voor een aanzienlijk deel van de afbeeldingen. Deze studie onderzoekt of state-of-the-art ViT foundation-modellen duizenden ongelabelde dierbeelden direct kunnen reduceren tot coherente, op soortniveau gebaseerde clusters zonder voorafgaande soortspecifieke training of handmatige annotatie.

Methodologie
De auteurs hebben een uitgebreid benchmarkingframework en een modulaire zero-shot clustering-pipeline ontwikkeld om de haalbaarheid van het organiseren van ongelabelde dierbeelden te evalueren.

• Datasetvoorbereiding: De studie maakte gebruik van 281.127 ruwe cameravallen-afbeeldingen van 60 soorten (30 zoogdieren en 30 vogels) afkomstig uit 23 projecten binnen de LILA BC-repository. Een geautomatiseerde pipeline met behulp van de MegaDetector voor detectie en SpeciesNet voor classificatie werd ingezet om dierregio's uit te snijden. Deze uitsnedes ondergingen expertvalidatie, wat resulteerde in een definitieve dataset van 139.111 handmatig gevalideerde afbeeldingen op soortniveau.
• Zero-Shot Clustering Pipeline: De pipeline bestaat uit drie modulaire stadia:
  1. Feature Extraction: Inputafbeeldingen worden door pre-trained Vision Transformer-modellen gestuurd om hoog-dimensionale embedding-vectoren te genereren.
  2. Dimensionality Reduction: Embeddings worden geprojecteerd naar lager-dimensionale ruimtes (specifiek 2D) om clustering en visualisatie te vergemakkelijken.
  3. Clustering: De gereduceerde embeddings worden gepartitioneerd met behulp van clustering-algoritmen.
• Experimenteel Ontwerp: De studie evalueerde systematisch 27.600 configuraties combinerend:
  • 5 ViT Modellen: CLIP, SigLIP, DINOv2, DINOv3 en BioCLIP 2.
  • 5 Dimensionality Reduction Technieken: t-SNE, UMAP, PCA, Isomap en Kernel PCA (plus directe clustering op ruwe embeddings).
  • 4 Clustering Algoritmen: Twee unsupervised (DBSCAN, HDBSCAN) en twee supervised (Hierarchical Clustering en Gaussian Mixture Models) methoden.
• Evaluatie: Prestaties werden gemeten met behulp van de V-measure (harmonisch gemiddelde van homogeniteit en volledigheid) en Adjusted Mutual Information (AMI). De studie analyseerde ook de clustercomposities om onderscheid te maken tussen model-fouten en biologisch betekenisvolle patronen (bijv. seksueel dimorfisme, leeftijdsklassen).

Belangrijkste Bijdragen

1. Uitgebreid Benchmarkingframework: Een systematische evaluatie van 27.600 methode-combinaties over 60 soorten, met kwantitatieve metrieken om methode-selectie te sturen.
2. Gevalideerde Dierdataset: De release van een open-source dataset bestaande uit 139.111 handmatig gevalideerde afbeelding-uitsnedes, verwerkt via een pipeline die real-world workflows weerspiegelt.
3. Ecologisch Interpretatieframework: Een analyse die onderscheid maakt tussen "fouten" die echte ecologische subcategorieën vertegenwoordigen (intra-specifieke variatie) versus pure modelbeperkingen.
4. Open-Source Toolkit: Release van code, datasets, experimentele logs en een interactieve webinterface voor het visualiseren van clusteringresultaten.
5. Praktische Implementatierichtlijnen: Op bewijs gebaseerde aanbevelingen voor parametervariatie afgestemd op datasetkenmerken, inclusief het omgaan met long-tailed soortenverdelingen.

Belangrijkste Resultaten

• Modelprestaties: Self-supervised modellen presteerden significant beter dan vision-language en biologie-specifieke modellen. DINOv3 behaalde de hoogste gemiddelde V-measure (0,817 over alle configuraties), gevolgd door DINOv2 (0,769). BioCLIP 2, CLIP en SigLIP vertoonden substantieel lagere prestaties (0,597–0,652).
• Dimensionality Reduction: Niet-lineaire methoden t-SNE en UMAP presteerden consequent beter dan lineaire en andere niet-lineaire methoden (PCA, Isomap, Kernel PCA) met 26–38 procentpunten. t-SNE presteerde gemiddeld marginaal beter dan UMAP.
• Clustering Algoritmen:
  • Supervised: Wanneer het aantal clusters overeenkwam met de grondwaarheid (K=30), bereikten Hierarchical clustering en GMM bijna perfecte clustering op soortniveau (V-measure: 0,958) wanneer ze gecombineerd werden met DINOv3 en t-SNE.
  • Unsupervised: HDBSCAN presteerde dramatisch beter dan DBSCAN. HDBSCAN ontdekte een aantal clusters dat dicht bij de grondwaarheid lag (33–37 clusters versus 30 soorten) met een laag uitbijterpercentage (1,14% van de afbeeldingen). In tegen tegenstelling hiertoe leed DBSCAN aan ernstige over-clustering (200+ clusters) en hoge uitbijter-rejection rates (28–29%).
• Robuustheid tegen Imbalans: Geoptimaliseerde HDBSCAN-configuraties (bijv. min_cluster_size=150) behielden een hoge prestatie (V-measure > 0,92), zelfs onder extreme long-tailed distributies, terwijl standaardconfiguraties faalden.
• Intra-Specifieke Variatie: "Over-clustering" (het gebruik van hogere K-waarden of unsupervised methoden met lagere densiteitsdrempels) extraheerde betrouwbaar ecologisch betekenisvolle intra-specifieke patronen, waaronder leeftijdsklassen, seksueel dimorfisme, pelage-verschillen en de context van de omgeving (bijv. sneeuwachtergronden, IR versus RGB-verlichting).
• Foutanalyse: Samengevoegde clusters reflecteerden vaak genuiste biologische gelijkenis (bijv. Wolf en Jakhals, Takahē en Swamphen) in plaats van modelfouten. Oversplitste clusters kwamen doorgan overeen met hoge intra-specifieke variatie (bijv. seizoensgebonden vactwisselingen bij de Kleine Wezel).

Significantie en Claims
Het artikel claimt dat zero-shot clustering met behulp van foundation-modellen een praktisch pad biedt om de handmatige annotatiebelasting in ecologisch onderzoek te verminderen. De studie toont aan dat met de juiste combinatie van modellen (DINOv3), dimensionality reduction (t-SNE) en clustering-algoritmen (HDBSCAN), het mogelijk is om bijna perfecte clustering op soortniveau te bereiken zonder enige gelabelde trainingsdata.

De auteurs benadrukken dat deze benadering de annotatietaak transformeert van uitputtende afbeelding-voor-afbeelding labeling naar een gerichte beoordeling van clustercomposities. Zij stellen dat "fouten" in clustering niet louter fouten zijn, maar vaak biologisch significante structuren onthullen, zoals fenotypische variatie of de context van de omgeving, die waardevol kunnen zijn voor demografische analyse. De studie concludeert dat deze methoden essentiële infrastructuur bieden voor tijdige besluitvorming in de natuurbescherming naarmate cameravallen-netwerken wereldwijd groeien, waardoor ecologen specifieke taxonomische groepen kunnen sorteren en hun expertise kunnen prioriteren op ambigue randgevallen. De auteurs blijven bescheiden over de generalisatie naar andere taxonomische groepen (bijv. insecten, vissen) en merken op dat 2D-reductie, hoewel effectief voor visualisatie en clustering, informatie kan weggooien die behouden blijft in hoger-dimensionale ruimtes.