How many labels do you need? A decision framework for cross-habitat marine species recognition

Resumen Técnico: Un Marco de Decisión para el Reconocimiento de Especies Marinas entre Diferentes Hábitats

Planteamiento del Problema
Los programas de monitoreo ecológico, particularmente aquellos que involucran arrecifes de coral, generan vastas cantidades de imágenes (por ejemplo, >100,000 imágenes anuales en la Gran Barrera de Coral) que requieren la anotación de expertos para la identificación de especies. La anotación humana es un cuello de botella, limitado por su capacidad de procesamiento (50–100 imágenes/hora) y la variabilidad inter-observador. Los modelos de aprendizaje profundo han alcanzado una alta precisión (>90%) en conjuntos de datos específicos de un solo sitio, pero sufren una limitación crítica: una pobre generalización a nuevos sitios. Los modelos entrenados en un hábitat suelen fallar cuando se despliegan en otros lugares porque aprenden "atajos específicos del hábitat" (por ejemplo, el color del agua, la textura del fondo) en lugar de características diagnósticas de la especie. En consecuencia, los ecólogos carecen de orientación basada en evidencia sobre el costo de mano de obra (número de imágenes etiquetadas) requerido para desplegar un reconocimiento automatizado confiable en un nuevo sitio no visto previamente.

Metodología
Los autores construyeron un marco de evaluación y un benchmark sistemático entre ecosistemas para abordar esta brecha.

• Conjuntos de Datos: El estudio utilizó cinco conjuntos de datos marinos disponibles públicamente que abarcan tres océanos y tres grupos taxonómicos (peces, corales, invertebrados):

  • DeepFish: 20 hábitats de arrecife distintos a lo largo de la Gran Barrera de Coral (fuente para la mayoría de las transferencias).
  • AQUA20: Especies marinas mixtas tropicales/subtropicales.
  • Moorea Corals: Cuadrantes bentónicos de la Polinesia Francesa.
  • Coralscapes: Segmentación bentónica del Mar Rojo.
  • Brackish: Imágenes de fiordos de clima templado frío de Dinamarca.
    Estos conjuntos de datos definen un "gradiente de dificultad de transferencia" que va desde la transferencia dentro del mismo hábitat (la más fácil) hasta la transferencia entre taxones y océanos con un severo desequilibrio de clases (la más difícil).

• Modelos: Se evaluaron cuatro arquitecturas de red base (backbone):

  • Modelos Fundacionales: DINOv2-Base (ViT de auto-supervisión) y CLIP-Base (ViT de imagen-lenguaje).
  • Baselines de CNN: ResNet-50 y EfficientNet-B4 (preentrenamiento supervisado con ImageNet).

• Estrategias de Adaptación: Los modelos fueron probados bajo cuatro regímenes de adaptación:

  • Linear Probe (Sonda Lineal: Backbone congelado con un clasificador lineal entrenable.
  • Low-Rank Adaptation (LoRA): Ajuste fino de parámetros eficientes de las capas de atención.
  • Visual Prompt Tuning (VPT): Tokens aprendibles que se anteponen a las capas del transformador.
  • Full Fine-tuning (Ajuste Fino Completo): Actualización de todos los parámetros (aplicado a las baselines de CNN).

• Protocolos Experimentales:

  1. Protocolo A (Dentro del Hábitat): Evaluación de exclusión de un hábitat a la vez a través de 20 sitios de DeepFish para probar la generalización dentro de un mismo sistema de arrecife.
  2. Protocolo B (Entre Conjuntos de Datos): Transferencia de conjunto abierto de DeepFish a los otros cuatro conjuntos de datos para medir la degradación del rendimiento a través de fronteras geográficas y ecológicas.
  3. Protocolo C (Few-Shot): Variación sistemática de muestras etiquetadas por clase ($k=0$ a $100$) para determinar el esfuerzo de anotación mínimo requerido para un despliegue confiable.

Resultados Clave

• Superioridad de los Modelos Fundacionales Congelados: En la transferencia dentro del hábitat (Protocolo A), un backbone DINOv2-Base congelado con un clasificador lineal (solo 1,538 parámetros entrenables) logró el F1 macro medio más alto (0.70). Este rendimiento fue estadísticamente comparable al de las CNN ajustadas completamente (EfficientNet-B4, 17.6M de parámetros) y a los métodos de parámetros eficientes como LoRA, a pesar de utilizar cuatro órdenes de magnitud menos de parámetros entrenables.
• Análisis de Características: Las visualizaciones t-SNE revelaron que las características de DINOv2 agrupan por identidad de especie independientemente del hábitat, lo que indica el aprendizaje de representaciones invariantes al hábitat. Por el contrario, las baselines de CNN (ResNet-50) se agruparon por hábitat, confirmando que dependen de pistas del entorno que fallan en nuevos entornos.
• Robustez entre Hábitats: Los modelos fundacionales se degradaron de forma más gradual que las CNN al transferirse entre ecosistemas. Aunque el rendimiento disminuyó a lo largo del gradiente de dificultad, DINOv2 mantuvo su utilidad en transferencias entre taxones donde las CNN se acercaban a niveles de azar.
• Eficiencia Few-Shot (Protocolo C): El estudio cuantificó la relación entre "esfuerzo de etiquetado vs. precisión".
  • La clasificación zero-shot (CLIP, $k=0$) proporcionó una línea base, pero se vio limitada por desajustes de vocabulario en las etiquetas taxonómicas.
  • Añadir solo 10–20 imágenes etiquetadas por especie fue suficiente para desplegar un reconocimiento confiable en nuevos sitios.
  • DINOv2 con una sonda lineal alcanzó el 80% de su precisión balanceada máxima con aproximadamente 11 muestras etiquetadas por clase, superando significativamente a otras configuraciones en eficiencia de muestras.

Significación y Reivindicaciones
El artículo afirma proporcionar el primer marco de decisión sistemático y basado en evidencia para el reconocimiento de especies marinas entre diferentes hábitats. Sus principales contribuciones son:

1. Un Benchmark: Una evaluación de múltiples conjuntos de datos que abarca entornos tropicales a templados y de peces a taxones de coral, estableciendo un gradiente de dificultad para futuras investigaciones.
2. Orientación Operativa: El hallazgo de que los ecólogos pueden desplegar sistemas automatizados confiables en nuevos sitios combinando un modelo fundacional de código abierto (DINOv2) con un simple clasificador lineal y anotando solo 10–20 imágenes por especie. Esto reduce el esfuerzo de anotación en aproximadamente un orden de magnitud en comparación con los enfoques convencionales de entrenamiento desde cero.
3. Perspectiva Metodológica: La demostración de que los modelos fundacionales aprenden representaciones diagnósticas de la especie e invariantes al hábitat, mientras que las CNN tradicionales codifican atajos específicos del hábitat. Esto sugiere que, para el monitoreo ecológico, la "experiencia visual" adquirida durante el preentrenamiento auto-supervisado a gran escala es más valiosa que el ajuste fino específico de la tarea en conjuntos de datos pequeños y de un sitio específico.

Los autores concluyen que este marco permite a los programas de monitoreo presupuestar el esfuerzo de etiquetado frente a la precisión esperada al expandirse a través de sitios, ecosistemas o plataformas de imagen, aplicable a cualquier sistema de monitoreo ecológico que requiera generalización con datos etiquetados limitados.