Resumen Técnico: Un Módulo de Asociación Ligero Guiado por la Apariencia para el Seguimiento de Múltiples Peces Subacuáticos

Planteamiento del Problema

El artículo aborda el desafío del seguimiento de objetos múltiples (MOT) para peces densamente estocados en entornos de acuicultura de cámara fija. Aunque los datos de trayectoria continuos son esenciales para la estimación de la población y el análisis del comportamiento, el seguimiento de peces individuales se ve dificultado por:

• Similitud Visual: Los individuos de la misma especie a menudo comparten apariencias casi idénticas.
• Dinámicas Complejas: Ocurren cambios frecuentes de dirección, cruces, oclusiones mutuas y superposiciones espaciales sustanciales.
• Degradación Ambiental: Las condiciones subacuáticas introducen variaciones de iluminación, turbidez y reducción de contraste, lo que degraga la calidad de la imagen.

Limitaciones de los Métodos Existentes:

• Rastreadores basados en Movimiento/IoU (ej. SORT): Dependen de claves espaciotemporales (predicción de Kalman e Intersección sobre Unión). Cuando los peces se superponen o se cruzan, sus estados espaciales y de movimiento se vuelven indistinguibles, lo que provoca altas tasas de cambios de identidad (IDSW) y fragmentación de trayectorias.
• Rastreadores basados en Apariencia Profunda (ej. DeepSORT): Aunque utilizan aprendizaje profundo para la reidentificación, incurren en una carga computacional significativa. Además, las características profundas entrenadas en conjuntos de datos de peatones suelen fallar al generalizarse a escenas subacuáticas con bajo contraste y oclusiones parciales, y tienen dificultades cuando las regiones de detección están contaminadas por peces adyacentes.

El problema central es la necesidad de un método de asociación en tiempo real y ligero que pueda explotar sutiles diferencias de apariencia para complementar las claves espaciotemporales sin el pesado costo computacional de las redes neuronales profundas.

Metodología

Los autores proponen un Módulo de Asociación Ligero Guiado por la Apariencia integrado en el marco de trabajo Simple Online and Realtime Tracking (SORT). El método opera bajo un paradigma de "seguimiento por detección" sin modificar el detector de objetos subyacente.

1. Extracción de Características de Apariencia Artesanales

En lugar de utilizar aprendizaje profundo, el módulo extrae tres tipos de características de bajo costo y artesanales de cada región detectada de un pez:

• Histograma de Color HSV: La región se convierte de BGR a HSV. Los canales H, S y V se cuantifican en 16, 8 y 8 contenedores (bins) respectivamente, resultando en un vector de 1024 dimensiones.
• Histograma de Orientación de Gradiente: Basado en el principio del Histograma de Orientación de Gradientes (HOG), la región en escala de grises se divide en una cuadrícula de 2×2. Las orientaciones de gradiente no firmadas en [0°, 180°) se cuantifican en 9 contenedores por subregión, creando un vector de 36 dimensiones.
• Descriptor Morfológico: Un vector de 3 dimensiones que captura la relación de aspecto ($w/h$), el área logarítmica ($\log(w \times h)$) y la longitud de la diagonal normalizada.

Estos se concatenan en un vector de apariencia unificado de 1063 dimensiones ($f_i$).

2. Modelo de Emparejamiento de Identidad Basado en XGBoost

La asociación entre una trayectoria existente y una detección actual se formula como un problema de clasificación binaria (mismo pez frente a diferente pez).

• Entrada: Un vector de características de 2128 dimensiones ($x_{ij}$) construido mediante la concatenación de:
  • La característica de apariencia de referencia de la trayectoria existente.
  • La característica de apariencia de la detección actual.
  • El IoU entre las cajas delimitadoras predichas y detectadas.
  • La distancia de centro normalizada entre ellas.
• Modelo: Un clasificador XGBoost (50 árboles, profundidad máxima de 3) estima la probabilidad ($p_{ij}$) de que el par corresponda al mismo pez.
• Estrategia de Entrenamiento: Los ejemplos positivos son pares del mismo pez en fotogramas adyacentes (filtrados para excluir oclusiones de alta superposición). Los ejemplos negativos son pares de identidades diferentes en el mismo fotograma.

3. Asociación de Datos Adaptativa

La innovación central reside en cómo se fusiona la probabilidad de apariencia con la matriz de costo estándar de SORT:

• Ponderación Adaptativa: El costo de asociación ($C_{ij}$) es una suma ponderada del costo de IoU y el costo de apariencia.
  • $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
  • $w_{XGB} = 1 - w_{IoU}$
  • $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
• Lógica: Cuando el IoU es bajo (la superposición espacial es pequeña), el sistema depende principalmente de las claves de movimiento/espaciales. A medida que el IoU aumenta (indicando una posible superposición o ambigüedad), el peso se desplaza hacia la probabilidad de apariencia de XGBoost para resolver conflictos de identidad.
• Eficiencia: Los pares con un IoU < 0.1 se descartan inmediatamente sin realizar la inferencia de XGBoost para ahorrar computación.

Principales Contribuciones

1. Módulo Ligero: Propone un módulo que combina características de color, gradiente y morfológicas con XGBoost, evitando el costo computacional y los problemas de brecha de dominio de las redes de reidentificación profundas.
2. Estrategia de Fusión Adaptativa: Introduce un mecanismo para incorporar adaptativamente las probabilidades de apariencia en la matriz de costo de SORT basándose en la superposición espacial, permitiendo que las claves de apariencia suplementen la información espaciotemporal específicamente cuando la ambigüedad es alta.
3. Validación de Desempeño: Demuestra mejoras significativas en la preservación de la identidad en el conjunto de datos Multiple Fish Tracking 2025 (MFT25) manteniendo velocidades de procesamiento en tiempo real.

Resultados Experimentales

Los experimentos se realizaron en siete secuencias del conjunto de datos MFT25 utilizando una estrategia de validación cruzada de Dejar un Video Fuera (LOVO).

• Cambios de Identidad (IDSW): El método propuesto redujo el IDSW total de 1,513 (SORT) a 833, una reducción del 44.94%.
• Puntuación F1 de Identidad (IDF1): Mejoró de 53.75% (SORT) a 65.49%.
• MOTA: Aumentó de 98.52% a 98.82%.
• Velocidad: Excluyendo la detección de objetos, la velocidad de seguimiento superó los 700 FPS (comparado con 714 FPS para SORT), demostando que el procesamiento de apariencia añadido incurre en un gasto computacional insignificante.
• Estudios de Ablación:
  • El uso de XGBoost solo como corrección de post-procesamiento (V1) redujo el IDSW en solo un 5.49%.
  • Integrar las probabilidades en la matriz de costo antes de la asignación de Hungría (V2) fue crucial, logrando la reducción completa del 44.94%.
  • El método mostró transferibilidad al aplicarse al marco de trabajo ByteTrack, reduciendo el IDSW en un 42.64% respecto al baseline de ByteTrack.
• Análisis Visual: Los resultados cualitativos mostraron que, mientras que SORT frecuentemente intercambiaba identidades tras una superposición severa, el método propuesto mantuvo identidades consistentes, reduciendo el número de identidades predichas asignadas a un solo pez de la verdad de terreno (ej. de 14 a 1 en la secuencia BT-001).

Significado y Reivindicaciones

El artículo afirma que el módulo propuesto aborda con éxito el equilibrio entre la consistencia de la identidad y la eficiencia computacional en el seguimiento de peces subacuáticos. Al aprovechar características de apariencia artesanales y sutiles junto con un clasificador de aumento de gradiente eficiente, el método mejora significamente la preservación de la identidad durante cruces y oclusiones frecuentes sin requerir infraestructura de aprendizaje profundo.

Los autores sostienen que estos resultados indican el potencial del módulo para el monitoreo de peces en tiempo real en la acuicultura inteligente, proporcionando datos de trayectoria fiables para tareas posteriores como la estimación de la población y el reconocimiento de comportamientos anormales. El trabajo se presenta como una solución práctica para escenarios donde los modelos de apariencia profundos son demasiado costosos o poco fiables debido a las condiciones de imagen subacuáticas.