Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study

Resumen Técnico: Vision Transformers para la Agrupación de Imágenes de Animales en Zero-Shot

Planteamiento del Problema
El monitoreo de la biodiversidad ha alcanzado un cuello de botella crítico donde el volumen de datos visuales generados por cámaras trampa y plataformas de ciencia ciudadana excede la capacidad de análisis manual. Los enfoques tradicionales de aprendizaje profundo supervisado, como las Redes Neuronales Convolucionales (CNN), requieren un etiquetado manual extensivo de miles de imágenes para entrenar clasificadores específicos de especies. Estos modelos están inherentemente limitados a conjuntos fijos de especies presentes en los datos de entrenamiento, luchan con la distribución de cola larga de la biodiversidad (donde las especies raras carecen de suficientes ejemplos de entrenamiento) y a menudo no logran generalizar a nuevos sitios o condiciones de iluminación. Aunque los modelos fundacionales de Vision Transformer (ViT) han demostrado capacidades de clasificación zero-shot, persiste una brecha entre la precisión de clasificación de estos modelos y su despliegue práctico en sistemas autónomos, donde todavía se requiere una validación manual extensa para una parte significativa de las imágenes. Este estudio investiga si los modelos fundacionales de estado del arte de tipo ViT pueden reducir miles de imágenes de animales no etiquetadas directamente en grupos (clusters) coherentes a nivel de especie sin entrenamiento previo específico de la especie ni anotación manual.

Metodología
Los autores desarrollaron un marco de evaluación integral y un pipeline de agrupación (clustering) modular zero-shot para evaluar la viabilidad de organizar la imaginería animal no etiquetada.

• Preparación del Conjunto de Datos: El estudio utilizó 281,127 imágenes de cámaras trampa sin procesar de 60 especies (30 mamíferos y 30 aves) provenientes de 23 proyectos dentro del repositorio LILA BC. Se empleó un pipeline automatizado utilizando MegaDetector para la detección y SpeciesNet para la clasificación para recortar las regiones de los animales. Estos recortes fueron sometidos a validación experta, resultando en un conjunto final de 139,111 imágenes validadas manualmente a nivel de especie.
• Pipeline de Agrupación Zero-Shot: El pipeline consta de tres etapas modulares:
  1. Extracción de Características: Las imágenes de entrada pasan a través de modelos Vision Transformer pre-entrenados para generar vectores de incrustación (embeddings) de alta dimensión.
  2. Reducción de Dimensionalidad: Los embeddings se proyectan a espacios de menor dimensión (específicamente 2D) para facilitar la agrupación y la visualización.
  3. Agrupación (Clustering): Los embeddings reducidos se particionan utilizando algoritmos de agrupación.
• Diseño Experimental: El estudio evaluó sistemáticamente 27,600 configuraciones combinando:
  • 5 Modelos ViT: CLIP, SigLIP, DINOv2, DINOv3 y BioCLIP 2.
  • 5 Técnicas de Reducción de Dimensionalidad: t-SNE, UMAP, PCA, Isomap y Kernel PCA (además de la agrupación directa sobre los embeddings originales).
  • 4 Algoritmos de Agrupación: Dos no supervisados (DBSCAN, HDBSCAN) y dos supervisados (Clustering Jerárquico y Modelos de Mezcla Gaussiana - GMM).
• Evaluación: El rendimiento se midió utilizando la V-measure (media armónica de homogeneidad y completitud) y la Información Mutua Ajustada (AMI). El estudio también analizó las composiciones de los grupos para distinguir entre fallos del modelo y patrones biológicamente significativos (por ejemplo, dimorfismo sexual, clases de edad).

Contribuciones Clave

1. Marco de Evaluación Integral: Una evaluación sistemática de 27,600 combinaciones de métodos a través de 60 especies, proporcionando métricas cuantitativas para guiar la selección de métodos.
2. Conjunto de Datos de Animales Validado: La liberación de un conjunto de datos de código abierto que comprende 139,111 recortes de imágenes validados manualmente, procesados a través de un pipeline que refleja flujos de trabajo del mundo real.
3. Marco de Interpretación Ecológica: Un análisis que distingue entre "fallos" que representan subcategorías ecológicas genuinas (variación intraespecífica) frente a limitaciones puras del modelo.
4. Herramienta de Código Abierto: Liberación de código, conjuntos de datos, registros experimentales y una interfaz web interactiva para visualizar los resultados de la agrupación.
5. Directrices de Despliegue Práctico: Recomendaciones basadas en evidencia para la selección de parámetros adaptadas a las características del conjunto de datos, incluyendo el manejo de distribuciones de especies de cola larga.

Resultados Clave

• Rendimiento del Modelo: Los modelos de auto-supervisión superaron significativamente a los modelos de visión-lenguaje y de biología específica. DINOv3 logró la V-measure promedio más alta (0.817 en todas las configuraciones), seguido de DINOv2 (0.769). BioCLIP 2, CLIP y SigLIP mostraron un rendimiento sustancialmente menor (0.597–0.652).
• Reducción de Dimensionalidad: Los métodos no lineales t-SNE y UMAP superaron consistentemente a los métodos lineales y otros no lineales (PCA, Isomap, Kernel PCA) por 26–38 puntos porcentuales. t-SNE superó marginalmente a UMAP en promedio.
• Algoritmos de Agrupación:
  • Supervisados: Cuando el número de grupos coincidía con la verdad de campo (K=30), el clustering jerárquico y GMM lograron una agrupación casi perfecta a nivel de especie (V-measure: 0.958) al combinarse con DINOv3 y t-SNE.
  • No Supervisados: HDBSCAN superó dramáticamente a DBSCAN. HDBSCAN descubrió conteos de grupos cercanos a la verdad de campo (33–37 grupos frente a 30 especies) con una tasa de valores atípicos baja (1.14% de las imágenes). En contraste, DBSCAN sufrió de una sobre-agrupación severa (más de 200 grupos) y altas tasas de rechazo de valores atípicos (28–29%).
• Robustez ante el Desequilibrio: Las configuraciones optimizadas de HDBSCAN (por ejemplo, min_cluster_size=150) mantuvieron un alto rendimiento (V-measure > 0.92) incluso bajo distribuciones extremas de cola larga, mientras que las configuraciones estándar fallaron.
• Variación Intraespecífica: La "sobre-agrupación" (usando valores de K más altos o métodos no supervisados con umbrales de densidad más bajos) extrajo de manera confiable patrones intraespecíficos ecológicamente significativos, incluyendo clases de edad, dimorfismo sexual, diferencias de pelaje y contextos ambientales (por ejemplo, fondos de nieve, iluminación IR vs. RGB).
• Análisis de Fallos: Los grupos fusionados a menudo reflejaban similitudes biológicas genuinas (por ejemplo, Lobo y Chacal, Takahē y Swamphen) en lugar de errores del modelo. Los grupos sobre-divididos correspondían típicamente a una alta variación intraespecífica (por ejemplo, cambios estacionales de pelaje en el Least Weasel).

Significancia y Reivindicaciones
El artículo afirma que la agrupación zero-shot utilizando modelos fundacionales ofrece una vía práctica para reducir la carga de anotación manual en la investigación ecológica. El estudio demuestra que con la combinación correcta de modelos (DINOv3), reducción de dimensionalidad (t-SNE) y algoritmos de agrupación (HDBSCAN), es posible lograr una agrupación a nivel de especie casi perfecta sin ningún dato de entrenamiento etiquetado.

Los autores enfatizan que este enfoque transforma la tarea de anotación de un etiquetado exhaustivo imagen por imagen a una revisión dirigida de las composiciones de los grupos. Argumentan que los "fallos" en la agrupación no son meros errores, sino que a menudo revelan estructuras biológicamente significativas, como la variación fenotípica o el contexto ambiental, que pueden ser valiosas para el análisis demográfico. El estudio concluye que estos métodos proporcionan una infraestructura esencial para la toma de decisiones de conservación oportuna a medida que las redes de cámaras trampa se expanden globalmente, permitiendo a los ecólogos clasificar grupos taxonómicos específicos y priorizar la atención experta en casos límite ambiguos. Los autores mantienen la modestia respecto a la generalización a otros grupos taxonómicos (por ejemplo, insectos, peces) y señalan que la reducción 2D, aunque efectiva para la visualización y la agrupación, puede descartar información preservada en espacios de mayor dimensión.