Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study

Resumo Técnico: Vision Transformers para Agrupamento Zero-Shot de Imagens de Animais

Definição do Problema
O monitoramento da biodiversidade atingiu um gargalo crítico onde o volume de dados visuais gerados por armadilhas fotográficas e plataformas de ciência cidadã excede a capacidade de análise manual. As abordagens tradicionais de aprendizagem profunda supervisionada, como as Redes Neurais Convolucionais (CNNs), exigem a rotulagem manual extensiva de milhares de imagens para treinar classificadores específicos de espécies. Esses modelos são inerentemente limitados a conjuntos fixos de espécies presentes nos dados de treinamento, têm dificuldade com a distribuição de cauda longa da biodiversidade (onde espécies raras carecem de exemplos de treinamento suficientes) e frequentemente falham ao generalizar para novos locais ou condições de imagem. Embora os modelos fundacionais de Vision Transformer (ViT) tenham demonstrado capacidades de classificação zero-shot, permanece uma lacuna entre a precisão de classificação desses modelos e sua implementação prática em sistemas autônomos, onde a validação manual extensiva ainda é necessária para uma parte significativa das imagens. Este estudo investiga se os modelos fundacionais de estado da arte do tipo ViT podem reduzir milhares de imagens de animais não rotuladas diretamente em agrupamentos (clusters) coerentes ao nível de espécie, sem treinamento prévio específico para a espécie ou anotação manual.

Metodologia
Os autores desenvolveram um framework de benchmarking abrangente e um pipeline de agrupamento zero-shot modular para avaliar a viabilidade de organizar imagens de animais não rotuladas.

• Preparação do Conjunto de Dados: O estudo utilizou 281.127 imagens brutas de armadilhas fotográficas de 60 espécies (30 mamíferos e 30 aves) provenientes de 23 projetos do repositório LILA BC. Um pipeline automatizado usando o MegaDetector para detecção e o SpeciesNet para classificação foi empregado para recortar as regiões dos animais. Esses recortes passaram por validação de especialistas, resultando em um conjunto final de 139.111 imagens de nível de espécie validadas manualmente.
• Pipeline de Agrupamento Zero-Shot: O pipeline consiste em três estágios modulares:
  1. Extração de Características: As imagens de entrada passam por modelos de Vision Transformer pré-treinados para gerar vetores de incorporação (embeddings) de alta dimensão.
  2. Redução de Dimensionalidade: Os embeddings são projetados para espaços de menor dimensão (especificamente 2D) para facilitar o agrupamento e a visualização.
  3. Agrupamento (Clustering): Os embeddings reduzidos são particionados usando algoritmos de agrupamento.
• Design Experimental: O estudo avaliou sistematicamente 27.600 configurações combinando:
  • 5 Modelos ViT: CLIP, SigLIP, DINOv2, DINOv3 e BioCLIP 2.
  • 5 Técnicas de Redução de Dimensionalidade: t-SNE, UMAP, PCA, Isomap e Kernel PCA (além de agrupamento direto nos embeddings brutos).
  • 4 Algoritmos de Agrupamento: Dois não supervisionados (DBSCAN, HDBSCAN) e dois supervisionados (Agrupamento Hierárquico e Modelos de Mistura Gaussiana - GMM).
• Avaliação: O desempenho foi medido usando o V-measure (média harmônica de homogeneidade e completude) e o Informação Mútua Ajustada (AMI). O estudo também analisou as composições dos clusters para distinguir entre falhas do modelo e padrões biologicamente significativos (ex: dimorfismo sexual, classes de idade).

Principais Contribuições

1. Framework de Benchmarking Abrangente: Uma avaliação sistemática de 27.600 combinações de métodos através de 60 espécies, fornecendo métricas quantitativas para guiar a seleção de métodos.
2. Conjunto de Dados de Animais Validado: O lançamento de um conjunto de dados de código aberto contendo 139.111 recortes de imagens validados manualmente, processados através de um pipeline que reflete fluxos de trabalho do mundo real.
3. Framework de Interpretação Ecológica: Uma análise que distingue entre "falhas" que representam subcategorias ecológicas genuínas (variação intraespecífica) versus limitações puras do modelo.
4. Toolkit de Código Aberto: Lançamento de código, conjuntos de dados, logs experimentais e uma interface web interativa para visualizar resultados de agrupamento.
5. Diretrizes de Implementação Prática: Recomendações baseadas em evidências para seleção de parâmetros adaptadas às características do conjunto de dados, incluindo o tratamento de distribuições de espécies de cauda longa.

Principais Resultados

• Desempenho do Modelo: Modelos auto-supervisionados superaram significativamente os modelos de visão-linguagem e de biologia específica. O DINOv3 alcançou o maior V-measure médio (0,817 em todas as configurações), seguido pelo DINOv2 (0,769). BioCLIP 2, CLIP e SigLIP mostraram desempenho substancialmente inferior (0,597–0,652).
• Redução de Dimensionalidade: Métodos não lineares t-SNE e UMAP superaram consistentemente os métodos lineares e outros métodos não lineares (PCA, Isomap, Kernel PCA) por 26 a 38 pontos percentuais. O t-SNE superou marginalmente o UMAP em média.
• Algoritmos de Agrupamento:
  • Supervisionados: Quando a contagem de clusters correspondia à verdade fundamental (K=30), o Agrupamento Hierárquico e o GMM alcançaram um agrupamento quase perfeito ao nível de espécie (V-measure: 0,958) quando combinados com DINOv3 e t-SNE.
  • Não Supervisionados: O HDBSCAN superou dramaticamente o DBSCAN. O HDBSCAN descobriu contagens de clusters próximas à verdade fundamental (33–37 clusters vs. 30 espécies) com uma taxa de outliers baixa (1,14% das imagens). Em contraste, o DBSCAN sofreu com sobre-agrupamento severo (mais de 200 clusters) e altas taxas de rejeição de outliers (28–29%).
• Robustez à Imbalança: Configurações otimizadas de HDBSCAN (ex: min_cluster_size=150) mantiveram alto desempenho (V-measure > 0,92) mesmo sob distribuições extremas de cauda longa, enquanto configurações padrão falharam.
• Variação Intraespecífica: O "sobre-agrupamento" (usando valores de K mais altos ou métodos não supervisionados com limiares de densidade mais baixos) extraiu de forma confiável padrões intraespecíficos ecologicamente significativos, incluindo classes de idade, dimorfismo sexual, diferenças de pelagem e contextos ambientais (ex: fundos de neve, iluminação IR vs. RGB).
• Análise de Falhas: Clusters mesclados frequentemente refletiam similaridade biológica genuína (ex: Lobo e Chacal, Takahē e Galinha-do-pântano) em vez de erros do modelo. Clusters excessivamente divididos correspondiam tipicamente a alta variação intraespecífica (ex: mudanças sazonais de pelagem em Least Weasels).

Significância e Alegações
O artigo afirma que o agrupamento zero-shot usando modelos fundacionais oferece um caminho prático para reduzir a carga de anotação manual na pesquisa ecológica. O estudo demonstra que, com a combinação correta de modelos (DINOv3), redução de dimensionalidade (t-SNE) e algoritmos de agrupamento (HDBSCAN), é possível alcançar um agrupamento quase perfeito ao nível de espécie sem qualquer dado de treinamento rotulado.

Os autores enfatizam que essa abordagem transforma a tarefa de anotação de uma rotulagem exaustiva imagem por imagem para uma revisão direcionada das composições dos clusters. Eles argumentam que as "falhas" no agrupamento não são meros erros, mas frequentemente revelam estruturas biologicamente significativas, como variação fenotípica ou contexto ambiental, que podem ser valiosas para análise demográfica. O estudo conclui que esses métodos fornecem infraestrutura essencial para decisões de conservação oportunas conforme as redes de armadilhas fotográficas se expandem globalmente, permitindo que ecologistas classifiquem grupos taxonômicos específicos e priorizem a atenção de especialistas em casos limítrofes ambíguos. Os autores mantêm-se modestos quanto à generalização para outros grupos taxonômicos (ex: insetos, peixes) e observam que a redução 2D, embora eficaz para visualização e agrupamento, pode descartar informações preservadas em espaços de maior dimensão.