Computer Vision - Model evaluation for Wildlife Re-Identification with Small Datasets

Resumen Técnico: Una Guía Práctica para la Reidentificación de Vida Silvestre con Conjuntos de Datos Pequeños

Definición del Problema
La conservación de la vida silvestre depende de las cámaras trampa para monitorear poblaciones, pero distinguir individuos dentro de una especie (reidentificación) es significativamente más difícil que la clasificación de especies. La dificultad central radica en emparejar al mismo individuo a través de variaciones de perspectiva, condiciones de iluminación, oclusiones y posturas corporales, evitando la confusión entre individuos visualmente similares. Este desafío se ve exacerbado por el "régimen de datos pequeños" típico de los proyectos de conservación: los conjuntos de datos suelen contener solo miles de imágenes en lugar de millones, con distribuciones altamente desequilibradas donde algunos individuos tienen cientos de fotos y otros muy pocas. El caso de estudio específico aborda el Desafío de Reidentificación de Jaguares, que involucra 1,895 imágenes de entrenamiento a través de 31 identidades únicas, requiriendo un sistema que proporcione puntuaciones de similitud por pares para un conjunto de prueba oculto.

Metodología
El artículo propone y evalúa un flujo de trabajo de visión computacional diseñado para maximizar el rendimiento en conjuntos de datos etiquetados pequeños, comparando dos estrategias de modelado distintas: ajuste fino (fine-tuning) de extremo a extremo frente a la extracción de características congelada con aprendizaje métrico.

1. Preprocesamiento de Datos y Almacenamiento en Caché de Características:

   • Las imágenes se convierten a RGB, se redimensionan a la resolución de entrada del backbone (518×518 para DINOv2) y se normalizan.
   • Un paso crítico de eficiencia implica el almacenamiento en caché de características: la red de la columna vertebral (backbone), que es costosa, procesa las imágenes una vez para generar vectores de características fijos, los cuales se almacenan en disco. Los experimentos posteriores entrenan solo la "cabeza" específica de la tarea sobre estos tensores almacenados en caché, desacoplando la computación del backbone del ajuste de hiperparámetros.

2. Arquitecturas de Modelos Evaluadas:

   • Enfoques de Ajuste Fino (Fine-Tuned): El estudio intentó realizar el ajuste fino de backbones especializados y de propósito general, incluyendo MegaDescriptor-L (un modelo especialista en vida silvestre) y EVA-02-Large. Estos sistemas utilizaron técnicas estándar de ajuste fino, como el pooling GeM, la pérdida ArcFace y pilas de inferencia complejas que involucran aumentación en tiempo de prueba (TTA), expansión de consultas y reordenamiento k-reciprocal.
   • Enfoque de Características Congeladas (La Solución Propuesta): La estrategia ganadora utilizó DINOv2-Giant (un modelo autosupervisado de 1.1 mil millones de parámetros) mantenido completamente congelado. En lugar de actualizar el backbone, se entrenó encima una cabeza de proyección compacta (aproximadamente 1 millón de parámetros).
     • Arquitectura de la Cabeza: Un Perceptrón Multicapa (MLP) que mapea características de 1,536 dimensiones a un espacio de 256 dimensiones: Linear(1536→512) → BN → ReLU → Dropout(0.3) → Linear(512→256) → BN → Normalización L2.
     • Objetivo de Entrenamiento: La cabeza se entrenó utilizando Pérdida de Tripletos (Triplet Loss) con minería de Hard-Batch (Batch-Hard mining). Esto implica el muestreo de $P$ identidades con $K$ imágenes cada una ($P \times K$ muestreo) para construir tripletos (Ancla, Positivo, Negativo) que maximicen la dificultad de la tarea de aprendizaje.
     • Optimización: La cabeza se optimizó mediante Adagrad con un programador de tasa de aprendizaje por meseta (plateau) y parada temprana.

3. Estrategia de Evaluación:

   • El estudio enfatiza límites de evaluación estrictos para prevenir la fuga de datos (data leakage), particularmente de imágenes casi duplicadas y secuencias de captura correlacionadas.
   • Las métricas incluyen mAP balanceado por identidad (promedio macro sobre los individuos para evitar que los animales frecuentes dominen la puntuación) y puntuaciones de tablas de clasificación públicas y privadas.
   • El flujo de trabajo distingue entre validación cruzada interna, validación de identidad retenida (para probar la generalización a individuos no vistos) y la entrega final en la tabla de clasificación.

Resultados Clave
Los resultados experimentales demuestran que, para conjuntos de datos pequeños de vida silvestre, un modelo base congelado con una cabeza ligera supera a los sistemas complejos de ajuste fino:

• Rendimiento: El enfoque de DINOv2-Giant congelado logró un mAP balanceado por identidad de 0.958 en la tabla de clasificación pública (y 0.950 en la privada). Esto superó significativamente al anterior campeón, el modelo de ajuste fino MegaDescriptor-L, que obtuvo 0.840.
• Fallo del Ajuste Fino: Los intentos de realizar un ajuste fino completo del modelo EVA-02-Large resultaron en un sobreajuste (overfitting) severo, con puntuaciones de mAP de validación cruzada que permanecieron por debajo de 0.245.
• Eficiencia: El flujo de trabajo de características congeladas permitió una experimentación rápida. Mientras que el pipeline de MegaDescriptor de ajuste fino requería aproximadamente ~30 horas de entrenamiento y un post-procesamiento complejo (re-ranking, ensembling), el sistema DINOv2 congelado alcanzó su máximo rendimiento en aproximadamente 1 hora sin necesidad de post-procesamiento de recuperación (sin TTA, sin re-ranking).
• Robustez: El enfoque congelado demostró ser más estable a través de diferentes semillas aleatorias y divisiones de datos en comparación con los intentos de ajuste fino de alta varianza.

Significancia y Reivindicaciones
El artículo no pretende que los modelos congelados sean universalmente superiores a los modelos de ajuste fino en todos los contextos. En su lugar, presenta un marco reproducible de selección de modelos y un flujo de trabajo de toma de decisiones para tecnólogos de conservación e ingenieros de ML.

• Contribución Metodológica: La contribución principal es la demostración de que, para conjuntos de datos pequeños (miles de imágenes), actualizar un backbone masivo suele ser contraproducente debido a la extrema relación entre el número de parámetros y los puntos de datos. Congelar una representación potente y preentrenada preserva el conocimiento visual general mientras que una cabeza pequeña y entrenable se adapta a la tarea de identidad específica.
• Flujo de Trabajo Práctico: El estudio valida un flujo de trabajo de "almacenar en caché una vez" donde la extracción de características costosa se separa de la rápida experimentación a nivel de cabeza. Esto reduce la barrera de entrada para proyectos de conservación con recursos computacionales limitados.
• Aplicabilidad: Los autores afirman que este flujo de trabajo es directamente transferible a otras especies con marcas individuales visibles (por ejemplo, tigres, leopardos, cebras, tiburones ballena), pero advierten que requiere adaptación para especies identificadas por contorno o estructura facial, o para escenarios de despliegue de conjunto abierto (open-set) donde aparecen nuevos individuos continuamente.
• Advertencias: El artículo señala explícitamente que el benchmark es una evaluación de conjunto cerrado (31 jaguares conocidos) y no garantiza el rendimiento en despliegues de campo de conjunto abierto. Hace un llamado a trabajos futuros sobre reconocimiento de conjunto abierto, flujos de trabajo de revisión humano-en-el-bucle y pruebas en nuevos modelos fundacionales a medida que estos surjan.

En conclusión, el artículo argumenta que, en el contexto de conjuntos de datos pequeños de vida silvestre, la simplicidad y la eficiencia de parámetros (backbone congelado + cabeza pequeña) pueden producir resultados superiores y una menor carga computacional en comparación con los pipelines complejos de ajuste fino completo.