Progressive Multimodal Interaction Network for Reliable Quantification of Fish Feeding Intensity in Aquaculture

Título: Red de Interacción Multimodal Progresiva para la Cuantificación Confiable de la Intensidad de Alimentación de Peces en Acuicultura

1. Problema

La cuantificación precisa de la intensidad de alimentación es fundamental para la alimentación de precisión en acuicultura, ya que afecta directamente la eficiencia del uso del alimento y la rentabilidad de la granja. Sin embargo, los métodos actuales presentan limitaciones significativas:

• Métodos unimodales: Las técnicas basadas únicamente en visión por computadora son sensibles a cambios de iluminación, turbidez del agua y oclusiones. Los métodos acústicos sufren interferencias por ruido del flujo de agua y colisiones, mientras que los sensores invasivos afectan el bienestar de los peces. Ninguna modalidad individual logra equilibrar robustez, precisión y practicidad en entornos complejos.
• Fusión multimodal existente: Aunque la fusión multimodal (imagen, audio, ondas) es prometedora, los métodos actuales a menudo ignoran las inconsistencias en las respuestas y los conflictos de decisión entre diferentes modalidades. Suelen tratar las modalidades como unidades de información independientes o utilizan estrategias de fusión simples (concatenación, pesos estáticos), lo que falla al capturar las relaciones complejas y las contribuciones diferenciadas de cada modalidad bajo el mismo estado de alimentación. Además, carecen de un modelado explícito de la incertidumbre y la confiabilidad en la etapa de decisión final.

2. Metodología: Red de Interacción Multimodal Progresiva (PMIN)

El artículo propone la PMIN (Progressive Multimodal Interaction Network), una arquitectura diseñada para integrar datos de imagen, audio y ondas de agua mediante tres etapas clave:

• A. Extracción Unificada de Características:

  • Se utiliza UniRepLKNet (una red neuronal convolucional de gran kernel universal) como columna vertebral para todas las modalidades.
  • En lugar de usar codificadores heterogéneos específicos para cada tipo de dato, se transforman las imágenes, los espectrogramas de audio (Mel) y las series temporales de ondas de agua en representaciones de características estructuralmente consistentes (tensores C×H×W). Esto reduce las discrepancias representacionales entre modalidades desde el inicio.

• B. Mecanismo de Refuerzo de Modalidad Primaria por Modalidad Auxiliar (ARPM):

  • Diseñado para aprovechar la información complementaria. El sistema trata una modalidad como "primaria" y las otras dos como "auxiliares".
  • Utiliza un mecanismo de interacción progresiva en dos etapas:
    1. Recalibración Consciente de Canal (CARM): Ajusta adaptativamente los pesos de los canales para mitigar diferencias inter-modales.
    2. Interacción de Atención Dual (DAIM): Combina atención auto-atención (MHSA) y atención cruzada (MHCA) en dos fases (interacción superficial y fusión semántica profunda). Esto permite que la modalidad primaria se enriquezca progresivamente con la información discriminativa de las auxiliares, modelando las respuestas diferenciadas de cada modalidad.

• C. Fusión de Decisiones basada en Razonamiento Evidencial Adaptativo (AER):

  • En lugar de una fusión directa de características, se modelan las salidas de cada rama de modalidad como "evidencia".
  • La estrategia AER asigna dinámicamente pesos de confianza y fiabilidad a cada modalidad durante el entrenamiento.
  • Utiliza un mecanismo de razonamiento evidencial para combinar estas evidencias, modelando explícitamente los conflictos y la incertidumbre entre las modalidades. Esto permite suprimir el ruido de las modalidades conflictivas y preservar la evidencia discriminativa robusta.

3. Contribuciones Clave

1. Nuevo Dataset Multimodal: Se construyó un conjunto de datos con 7,089 muestras sincronizadas que integra imágenes (4K), audio (hidrófono) y datos de ondas de agua (acelerómetro de 6 ejes) de truchas arcoíris (Oncorhynchus mykiss), cubriendo tanto la representación conductual directa como la respuesta ambiental.
2. Marco de Extracción Unificada: Propuso el uso de UniRepLKNet para codificar modalidades heterogéneas en un espacio de características consistente, eliminando la necesidad de módulos de alineación complejos.
3. Mecanismo ARPM: Introdujo un mecanismo novedoso que refuerza progresivamente la representación de la modalidad principal mediante recalibración de canales e interacción de atención dual, mejorando la colaboración entre modalidades.
4. Estrategia AER: Desarrolló una estrategia de fusión de decisiones que modela la confianza, fiabilidad y conflictos, superando las limitaciones de las fusiones tardías tradicionales.
5. Validación Exhaustiva: Demostración de superioridad frente a modelos homogéneos, heterogéneos y diversas estrategias de fusión, con un bajo costo computacional.

4. Resultados

Los experimentos se realizaron en un entorno de acuicultura inteligente con 7,089 muestras (divididas en 80% entrenamiento, 10% validación, 10% prueba).

• Rendimiento General: El modelo PMIN alcanzó una precisión del 96.76%, con un F1-Score de 96.79%, superando consistentemente a todos los modelos de comparación (unimodales, bimodales y otros métodos de fusión).
• Comparación de Modalidades:
  • La modalidad de imagen por sí sola obtuvo un 82.39%.
  • La fusión de las tres modalidades (Imagen + Audio + Ondas) fue significativamente superior a cualquier combinación de dos modalidades, confirmando la necesidad de la colaboración multimodal completa.
• Estudios de Ablación:
  • La introducción de ARPM aumentó la precisión en más de 7 puntos porcentuales respecto a la línea base.
  • La adición de AER mejoró aún más la estabilidad y la precisión final, demostrando que la fusión de decisiones es complementaria a la fusión de características.
• Eficiencia: A pesar de su alto rendimiento, el modelo es ligero, con solo 14.39 millones de parámetros y 1.88 GFLOPs, lo que lo hace adecuado para el despliegue en el borde (edge computing).
• Validación en Escenario Real: En pruebas con datos no vistos en tiempo real (240 segundos de video continuo), el modelo mantuvo una precisión del 95.82% y mostró una alta continuidad temporal, adaptándose correctamente a las transiciones de estado de alimentación.

5. Significado e Impacto

Este trabajo representa un avance significativo para la acuicultura de precisión:

• Robustez Operativa: Al abordar explícitamente las inconsistencias y conflictos entre modalidades, el sistema es mucho más fiable en entornos reales donde el ruido y las condiciones variables son comunes.
• Toma de Decisiones Automatizada: Proporciona una base técnica sólida para sistemas de alimentación automática que pueden ajustar la cantidad de alimento en tiempo real basándose en la intensidad real de alimentación de los peces, reduciendo el desperdicio de alimento y mejorando la calidad del agua.
• Eficiencia Computacional: El equilibrio entre alta precisión y bajo costo computacional facilita la implementación práctica en granjas acuícolas con recursos limitados.
• Marco Generalizable: La metodología de extracción unificada y fusión progresiva puede aplicarse a otros problemas de monitoreo en acuicultura o agricultura inteligente que involucren múltiples sensores heterogéneos.

En resumen, la PMIN establece un nuevo estándar para la cuantificación de la intensidad de alimentación, superando las limitaciones de los métodos unimodales y las fusiones multimodales tradicionales mediante una interacción progresiva y un razonamiento evidencial adaptativo.