Video-based Locomotion Analysis for Fish Health Monitoring

Este artículo presenta un sistema basado en rastreo de múltiples objetos y el detector YOLOv11 para analizar la locomoción de peces a partir de videos y así monitorear su salud, validado en un conjunto de datos de peces de arroz de Sulawesi que será publicado.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre cómo enseñarle a una cámara a ser un "médico veterinario" para los peces, sin necesidad de tocarlos ni asustarlos.

Aquí tienes la explicación en español, usando analogías sencillas:

🐟 El Problema: Los peces no son buenos pacientes

Imagina que tienes un acuario gigante lleno de miles de peces pequeños (llamados "arroz de Sulawesi"). Si uno de ellos está enfermo, ¿cómo lo sabes?

• El síntoma: Un pez sano nada de lado a lado, como si estuviera paseando. Un pez enfermo o estresado (quizás por un cable eléctrico con fuga o agua sucia) empieza a hacer cosas raras: nada hacia arriba y hacia abajo como un cohete, o se queda flotando sin control.
• El reto: Contar esto a ojo humano es imposible cuando hay miles de peces moviéndose rápido, chocando entre sí y tapándose unos a otros. Es como intentar seguir a un solo amigo en una multitud de gente en un concierto, pero todos se visten igual y corren muy rápido.

🕵️‍♂️ La Solución: Un detective con "visión de rayos X"

Los autores crearon un sistema de inteligencia artificial (IA) que actúa como un detective muy atento. Su misión es seguir a cada pez individualmente en el video y medir hacia dónde y a qué velocidad nada.

1. La Cámara y el "Ojo Mágico" (YOLOv11)

Normalmente, las cámaras toman una foto a la vez (como un fotógrafo que hace clic una vez). Pero los peces se mueven tan rápido que a veces la foto sale borrosa o el pez se esconde detrás de otro.

• La analogía: Imagina que en lugar de tomar una sola foto, la cámara toma tres o cinco fotos rápidas seguidas y las apila una encima de la otra como si fueran capas de un sándwich.
• El truco: Al darle al "cerebro" de la IA (llamado YOLOv11) estas capas de tiempo, el sistema puede ver el movimiento. Es como si el detective pudiera ver el "rastro" que deja el pez, en lugar de solo una foto estática. Esto le ayuda a no perder al pez cuando se esconde detrás de otro o cuando el agua está turbia.

2. El Sistema de Seguimiento (Tracking)

Una vez que la IA encuentra a los peces, necesita saber cuál es "Pez A" y cuál es "Pez B" a lo largo del tiempo.

• La analogía: Piensa en un juego de "sigue al líder" en una escuela llena de niños. Si el niño se esconde detrás de un árbol, el maestro debe saber que es el mismo niño cuando sale por el otro lado. El sistema usa dos métodos inteligentes (llamados ByteTrack y BoT-SORT) que son como maestros muy observadores que no se confunden fácilmente, incluso si los peces se cruzan mil veces.

📊 Los Resultados: ¿Funcionó el truco?

Los investigadores probaron su sistema con un video real de peces.

• La sorpresa: Descubrieron que, aunque ver "varios fotogramas a la vez" ayudó a encontrar a los peces con más precisión (como si el detective tuviera mejores gafas), no fue estrictamente necesario para medir la dirección.
• La conclusión: Incluso con el sistema "básico" (que solo ve una foto a la vez), la IA pudo calcular muy bien si los peces estaban nadando hacia arriba (enfermos) o hacia los lados (sanos). Es como si pudieras saber si alguien está corriendo o caminando mirando solo una foto, si sabes lo que buscas.

🏥 ¿Por qué es importante esto?

Este sistema es como un sistema de alarma temprana para granjas de peces.

• Si la IA detecta que muchos peces de repente empiezan a nadar verticalmente (hacia arriba y abajo), el granjero recibe una alerta: "¡Algo va mal! Revisa la electricidad o la temperatura del agua".
• Esto permite curar a los peces antes de que se mueran, evitando el sufrimiento y ahorrando dinero, todo sin tener que meter la mano en el agua.

En resumen

Los autores crearon un dataset (una biblioteca de videos) de estos peces y demostraron que una cámara inteligente puede vigilar la salud de un banco de peces. Aunque probaron técnicas avanzadas para mejorar la visión, descubrieron que la tecnología actual ya es lo suficientemente buena para decirnos si los peces están felices y sanos o si necesitan ayuda médica.

¡Es como tener un médico que vigila a miles de pacientes 24 horas al día, sin que los pacientes sepan que están siendo observados! 🐠🩺📹

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Análisis de la Locomoción Basado en Video para el Monitoreo de la Salud de los Peces

1. Problema

El monitoreo de la salud de los peces en la acuicultura es crucial para la detección temprana de enfermedades, el bienestar animal y la sostenibilidad. Las condiciones fisiológicas y patológicas a menudo se manifiestan a través de cambios en la locomoción (velocidad, patrones de aceleración, dirección y orientación del cuerpo). Por ejemplo, enfermedades como la de la vejiga natatoria o lesiones neuromusculares por fugas eléctricas provocan comportamientos anormales, como movimientos verticales erráticos en lugar de natación horizontal.

Sin embargo, el seguimiento visual de peces presenta desafíos significativos para los sistemas de visión por computadora:

• Oclusiones frecuentes: Los peces se superponen constantemente en cardúmenes densos.
• Deformación morfológica: Sus cuerpos no rígidos cambian de forma continuamente.
• Similitud visual: Es difícil distinguir individuos entre sí.
• Limitaciones de los métodos actuales: Los enfoques existentes a menudo carecen de conjuntos de datos adecuados o no logran un seguimiento consistente a largo plazo en entornos complejos.

2. Metodología

Los autores proponen un sistema basado en el paradigma Tracking-By-Detection (TbD) (Seguimiento por Detección) que integra un detector YOLOv11 modificado dentro de marcos de seguimiento existentes (ByteTrack y BoT-SORT).

• Adaptación del Detector (Multi-Frame):

  • En lugar de procesar un solo fotograma, el modelo YOLOv11 se adapta para aceptar múltiples fotogramas consecutivos como entrada.
  • Se modifica la primera capa convolucional para aumentar el número de canales, permitiendo la entrada de un "contexto temporal" (ej. $n$ fotogramas).
  • Se investigaron diferentes configuraciones de ventanas temporales (simétricas y asimétricas), incluyendo esquemas donde se omiten fotogramas adyacentes (ej. x X x, donde X es el fotograma central y x son los contextos).
  • Se evaluaron tres tamaños de modelo: nano, medium y large.

• Proceso de Seguimiento y Análisis:

  1. Detección: El detector YOLOv11 modificado genera cajas delimitadoras.
  2. Asociación: Se utilizan ByteTrack o BoT-SORT para mantener la identidad de los peces a través del tiempo.
  3. Extracción de Características: A partir de las trayectorias, se calculan:
     • Dirección de natación: Se estiman los desplazamientos por fotograma, se normalizan y se reflejan en el eje vertical para obtener un rango angular de -90° (hacia abajo) a 90° (hacia arriba).
     • Magnitud (Velocidad): Se calcula la velocidad de desplazamiento.
  4. Filtrado: Se descartan trayectorias cortas (<5 fotogramas) y se promedian las direcciones para reducir el ruido.

• Conjunto de Datos (Dataset):

  • Se creó un nuevo conjunto de datos etiquetado a mano con peces arroz de Sulawesi (Oryzias celebensis).
  • Grabado en un entorno de acuario doméstico con alta densidad de peces.
  • Incluye 2 secuencias de video para evaluación (202 fotogramas) y anotaciones adicionales para entrenamiento.
  • Las anotaciones incluyen máscaras de segmentación a nivel de píxel y etiquetas de identidad para seguimiento.

3. Contribuciones Clave

1. Nuevo Conjunto de Datos: Un dataset público y curado de cardúmenes de peces arroz de Sulawesi, diseñado específicamente para benchmarking de seguimiento multi-objeto (MOT) y segmentación en entornos acuáticos complejos.
2. Evaluación de Adaptaciones YOLO Multi-Frame: Un análisis cualitativo y cuantitativo sobre cómo la incorporación de fotogramas de contexto (ventanas temporales) mejora la detección y el seguimiento de peces, comparando diferentes arquitecturas y tamaños de modelo.
3. Pipeline de Indicadores de Salud: Un flujo de trabajo completo para derivar características cuantitativas de locomoción (dirección y velocidad) a partir de trayectorias de seguimiento, demostrando su utilidad para detectar anomalías en el comportamiento de los cardúmenes.

4. Resultados

• Detección:
  • El uso de ventanas temporales (especialmente la configuración simétrica x X x con el modelo medium) mejoró significativamente la precisión de detección en comparación con el enfoque de un solo fotograma.
  • La configuración x X x con pesos pre-entrenados (pt) logró el mejor rendimiento, alcanzando un mAP50-95 del 76.6% (un aumento de 13 puntos porcentuales sobre la línea base de un solo fotograma).
  • Las ventanas simétricas funcionaron mejor que las asimétricas; las ventanas que solo miran al pasado (xxX) fueron perjudiciales.
• Seguimiento (Tracking):
  • Aunque la mejora en la detección se tradujo en un mejor seguimiento, la ganancia en las métricas de seguimiento (IDF1, MOTA, HOTA) fue moderada (aprox. 1 punto porcentual).
  • El modelo medium fue generalmente el más robusto. El modelo large a menudo mostró sobreajuste y rendimiento inferior en la prueba.
  • ByteTrack y BoT-SORT demostraron ser capaces de realizar un seguimiento preciso si la detección subyacente es de alta calidad, aunque aún hay una brecha significativa respecto al seguimiento con anotaciones de verdad absoluta (Ground Truth).
• Análisis de Locomoción:
  • Las distribuciones de dirección y velocidad estimadas por el sistema se ajustaron estrechamente a la verdad absoluta.
  • Hallazgo Sorprendente: Incluso el seguimiento con un solo fotograma fue suficiente para obtener estimaciones direccionales globales fiables. La mejora en la detección mediante ventanas temporales no alteró drásticamente la evaluación de la dirección de natación, lo que sugiere que los métodos actuales son suficientes para monitorear la salud del cardumen.

5. Significado e Impacto

Este trabajo demuestra que es viable utilizar sistemas de visión por computadora basados en video para el monitoreo de la salud en acuicultura sin interferir con los animales.

• Aplicabilidad Práctica: El sistema puede detectar comportamientos anormales (como natación vertical excesiva) que indican estrés o enfermedad, permitiendo intervenciones tempranas.
• Eficiencia: Se demuestra que no es necesario un seguimiento perfecto a nivel de individuo para obtener métricas de salud del cardumen; las estimaciones agregadas de dirección y velocidad son robustas incluso con modelos de detección estándar.
• Reproducibilidad: La publicación del dataset y el código facilita la investigación futura en el campo de la acuicultura digital y el comportamiento animal.

En conclusión, los autores validan que la combinación de detectores YOLOv11 adaptados temporalmente con algoritmos de seguimiento TbD existentes ofrece una solución robusta, escalable y de bajo costo para la vigilancia de la salud de los peces.