Non-invasive Growth Monitoring of Small Freshwater Fish in Home Aquariums via Stereo Vision

Este artículo presenta un método de visión estéreo no invasivo y consciente de la refracción, que utiliza una red YOLOv11-Pose para detectar puntos clave anatómicos y estimar con precisión la longitud de peces pequeños en acuarios domésticos, validado mediante un nuevo conjunto de datos de peces arroz de Sulawesi.

Lo esencial

¡Imagina que tienes un acuario en casa lleno de peces pequeños y transparentes! Ahora, imagina que quieres saber si están creciendo sanos y fuertes, pero no quieres sacarlos del agua ni tocarlos, porque eso los asustaría o podría lastimarlos.

Este paper (artículo científico) es como un manual para crear un "médico de peces" automático que usa dos cámaras (como nuestros dos ojos) para medir a los peces sin tocarlos. Aquí te lo explico paso a paso con analogías sencillas:

1. El Gran Problema: El "Efecto Espejo" del Agua

Cuando miras a través del agua, el vidrio y el aire, las cosas se ven deformadas. Es como cuando pones una pajita en un vaso de agua y parece que está doblada.

• La analogía: Las cámaras normales piensan que la luz viaja en línea recta, pero en un acuario, la luz "rebota" y se curva al pasar del aire al vidrio y luego al agua. Si usas una cámara normal, medirías al pez y dirías: "¡Mide 10 cm!", cuando en realidad mide 8 cm.
• La solución: Los autores crearon un sistema "consciente de la refracción". Es como si las cámaras tuvieran un gafas de realidad aumentada que saben exactamente cómo se curva la luz en el agua y corrigen la imagen mentalmente antes de medir.

2. El "Ojo de Águila" Inteligente (YOLO)

Para medir, primero hay que encontrar al pez. Pero los peces son pequeños, rápidos y a veces se esconden entre las plantas.

• La analogía: Imagina que tienes un detective muy rápido (llamado YOLOv11-Pose) que escanea la foto. Este detective no solo dibuja un recuadro alrededor del pez, sino que también intenta marcar puntos clave en su cuerpo: la boca, el ojo, la aleta dorsal y la cola.
• El truco extra: A veces el pez se mueve tan rápido que sale borroso, o está muy oscuro. El detective tiene un "semáforo" interno. Si ve que la foto está borrosa o el pez está mal iluminado, pone una luz roja y dice: "¡No confío en esta medición, mejor la tiro a la basura!". Esto es crucial para no medir mal.

3. La Magia de la Estéreo (Dos Ojos)

Para saber cuánto mide un pez en 3D (su tamaño real), el sistema usa dos cámaras a la vez, como nuestros ojos.

• La analogía: Piensa en cómo ves la profundidad. Si miras un objeto con un ojo y luego con el otro, su posición cambia un poco. El sistema compara las dos fotos. Pero como el agua distorsiona las líneas, no pueden usar líneas rectas para conectar los puntos. En su lugar, usan curvas mágicas (llamadas curvas epipolares) que saben exactamente dónde debe aparecer el pez en la segunda foto, incluso si el agua lo ha "movido" visualmente.

4. El Filtro de Calidad y la "Búsqueda de Pareja"

Una vez que el detective encuentra peces en ambas fotos, el sistema tiene que emparejarlos (decir que el pez de la foto A es el mismo que el de la foto B).

• El problema: A veces hay muchos peces juntos, o uno se parece mucho a otro.
• La solución: El sistema hace un "baile de parejas". Solo empareja a los peces si:
  1. La calidad de la foto es buena (el detective dio luz verde).
  2. El pez no está nadando directamente hacia la cámara (porque si viene de frente, no se ve su largo, solo su cara).
  3. La posición coincide con las "curvas mágicas" mencionadas antes.

5. El Resultado: Una Regla Virtual

Una vez que el sistema tiene los puntos clave (boca y cola) en 3D, calcula la distancia.

• El experimento: Probaron esto con un pez muy pequeño y difícil de ver (el pez arroz de Sulawesi). Crearon un banco de datos con miles de fotos.
• El hallazgo: Descubrieron que filtrar las malas fotos es más importante que tener una cámara súper cara. Si el sistema descarta las fotos borrosas o mal emparejadas, la medición es casi perfecta.

En Resumen

Este paper nos dice que ya no hace falta sacar a los peces del agua para medirlos. Con dos cámaras baratas, un poco de inteligencia artificial y un algoritmo que entiende cómo funciona la luz en el agua, podemos vigilar la salud de nuestros peces en casa de forma automática, sin estrés para ellos y sin ensuciarnos las manos.

Es como tener un vigilante invisible que cuida que tus peces crezcan sanos, midiendo su tamaño cada día sin que ellos se den cuenta.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Monitoreo No Invasivo del Crecimiento de Pequeños Peces de Agua Dulce en Acuarios Domésticos mediante Visión Estéreo

1. Planteamiento del Problema

El monitoreo del crecimiento de los peces es fundamental para evaluar su salud, bienestar y detectar anomalías (estrés, enfermedades, malnutrición) tanto en acuicultura como en acuarios domésticos. Sin embargo, las mediciones manuales son invasivas, laboriosas y pueden dañar a los peces.

Las soluciones basadas en visión por computadora enfrentan desafíos únicos en entornos de acuarios:

• Distorsiones por refracción: La interfaz aire-vidrio-agua viola los modelos de cámara de agujero de alfiler estándar, haciendo que las restricciones epipolares lineales tradicionales fallen.
• Características de los peces: Los peces de agua dulce suelen ser pequeños, parcialmente transparentes, se mueven rápido y a menudo se ocultan entre la vegetación o decoraciones.
• Condiciones de iluminación: La variabilidad de la luz y el desenfoque por movimiento (motion blur) dificultan la detección precisa.

2. Metodología

El sistema propuesto es un enfoque de visión estéreo no invasivo y consciente de la refracción. El flujo de trabajo se divide en las siguientes etapas:

A. Detección y Predicción de Puntos Clave (YOLOv11-Pose)

• Se utiliza una red neuronal YOLOv11-Pose modificada para procesar individualmente cada imagen del par estéreo.
• La red predice:
  1. Cajas delimitadoras (bounding boxes) para cada pez.
  2. Cinco puntos clave anatómicos: boca, ojo, aleta dorsal, aleta ventral y aleta caudal.
  3. Clase de calidad: Un cabezal adicional (head) estima la visibilidad de los puntos clave (Alta, Media, Baja) para filtrar predicciones poco fiables.

B. Emparejamiento Estéreo (Stereo Matching)

Para asociar los peces entre las dos cámaras, se define una función de costo compuesta por tres términos:

1. Restricción Epipolar Curva: En lugar de líneas rectas, se utilizan curvas epipolares precalculadas que modelan la refracción en las interfaces aire-vidrio-agua.
2. Tamaño de la caja: Comparación de las dimensiones (ancho/alto) de las cajas delimitadoras.
3. Configuración de puntos clave: Comparación de la geometría relativa de los puntos clave normalizada por el tamaño del pez.
   Se emplea una estrategia de asignación codiciosa (greedy) para encontrar las coincidencias óptimas.

C. Mejora de Puntos Clave (Keypoint Refinement)

• Tras el emparejamiento, se aplica una búsqueda por plantillas (template matching) de 21x21 píxeles alrededor de cada punto clave.
• La búsqueda se restringe a ±30 píxeles y debe estar dentro de una distancia de 5 píxeles de la curva epipolar correspondiente, utilizando el coeficiente de correlación normalizada como métrica de similitud.

D. Filtrado y Triangulación 3D

• Filtrado de Calidad: Se descartan instancias con calidad "Baja" o "Media".
• Filtrado de Orientación: Se eliminan peces que nadan directamente hacia o desde la cámara (ángulo < 45° con el eje óptico) o que tienen una relación de aspecto de caja estrecha (< 1.5), ya que la localización de puntos clave es difícil en estas orientaciones.
• Triangulación: Los puntos clave coincidentes y filtrados se triangulan utilizando un modelo de reconstrucción 3D consciente de la refracción para calcular la longitud real (distancia boca-aleta caudal).

3. Contribuciones Clave

1. Sistema Estéreo No Invasivo: Propuesta de un sistema práctico para el seguimiento del crecimiento en acuarios domésticos que evita el manejo físico de los peces.
2. Modelado de Refracción: Implementación de restricciones epipolares basadas en curvas para manejar correctamente la interfaz aire-vidrio-agua, superando las limitaciones de las bibliotecas de visión estéreo convencionales.
3. Nuevo Dataset Anotado: Creación y publicación de un conjunto de datos estéreo con 104 imágenes y 4,331 instancias de peces Oryzias celebensis (pez arroz de Sulawesi), incluyendo cajas delimitadoras, 5 puntos clave y etiquetas de calidad de visibilidad.
4. Evaluación de Calidad Aprendida: Integración de un cabezal de predicción de calidad en la red YOLO para filtrar sistemáticamente las detecciones inexactas antes de la triangulación.

4. Resultados

El sistema fue evaluado en el conjunto de datos de peces de Sulawesi (que crecen hasta ~80 mm).

• Predicción de Calidad: El modelo logra identificar correctamente la mayoría de los peces con puntos clave visibles (clase "Alta"). Aunque la precisión absoluta de la clase "Alta" es del 40-42%, la tasa de falsos positivos (clasificar como alta cuando es baja) es baja (15%), lo cual es crucial para no distorsionar las mediciones.
• Precisión de Emparejamiento: El uso de filtros de calidad (Qu) y de dirección (Di) reduce drásticamente el porcentaje de emparejamientos incorrectos (de ~11-17% a ~1-3% en la mejor configuración).
• Precisión de Longitud (RMSE):
  • El filtrado de calidad mejora el RMSE en casi todos los casos, reduciendo el error en casi un 50% en configuraciones específicas.
  • El emparejamiento por plantillas (Te) tiene un efecto dependiente del fondo: mejora significativamente la precisión en fondos uniformes (pared blanca), pero puede empeorarla en fondos complejos con plantas, ya que la plantilla puede alinearse con elementos del fondo en lugar del pez.
  • La mejor configuración global (escala 'm' de YOLO + filtros Qu y Di) logra un RMSE de aproximadamente 6.11 mm en el escenario con fondo blanco y 7.25 mm en el escenario sin fondo (con plantas).
• Rendimiento: El sistema procesa 5 pares de imágenes por segundo en hardware de gama alta (RTX 6000), siendo la etapa de emparejamiento por plantillas el cuello de botella computacional (75% del tiempo).

5. Significado y Conclusión

Este trabajo demuestra que es posible realizar un monitoreo de crecimiento preciso y no invasivo en acuarios domésticos a pesar de las complejas distorsiones ópticas y las dificultades de detección de objetos pequeños.

• Impacto Práctico: Ofrece una solución viable para criadores de peces y dueños de acuarios para detectar enfermedades o problemas de nutrición tempranamente sin estresar a los animales.
• Innovación Técnica: La combinación de un modelo de visión profundo (YOLOv11-Pose) con geometría de refracción física (curvas epipolares) y estrategias de filtrado aprendidas establece un nuevo estándar para la visión por computadora en entornos acuáticos.
• Futuro: Los autores planean integrar técnicas de desenfoque (deblurring) para mitigar el movimiento y optimizar el cálculo de las curvas epipolares para mejorar la velocidad de procesamiento.