Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

Resumen Técnico: Detección Débilmente Supervisada y Localización Temporal de Llamadas de Ballenas

Enunciado del Problema
Los sistemas de Monitoreo Acústico Pasivo (PAM) generan grabaciones continuas de paisajes sonoros marinos durante varios meses, que a menudo suman terabytes de datos. Si bien la detección de vocalizaciones de ballenas es fundamental para el monitoreo poblacional y la conservación (apoyando el ODS 14), el análisis automatizado enfrenta un cuello de botella significativo: el costo de anotación. Los enfoques actuales de aprendizaje profundo, principalmente Redes Neuronales Convolucionales (CNN), requieren dos esfuerzos de anotación distintos y costosos: etiquetas binarias de presencia/ausencia para la clasificación y límites temporales precisos (tiempos de inicio/fin) para la localización.

• La Discrepancia: Asignar una etiqueta binaria a una grabación de 30 minutos toma segundos, mientras que marcar con sello de tiempo cada llamada individual dentro de esa grabación requiere horas de esfuerzo experto.
• La Limitación de los Métodos Existentes: Las CNN estándar y los modelos fundacionales suelen operar sobre entradas de tamaño fijo y corta duración (por ejemplo, ≤15 segundos). Para procesar flujos de larga duración (de minutos a horas), estos métodos dependen de la compresión temporal o de heurísticas de selección de ventanas, lo que degrada el rendimiento y falla en proporcionar localización temporal sin supervisión a nivel de cuadro. En consecuencia, los modelos totalmente supervisados sufren caídas significativas en el rendimiento con entradas largas (por ejemplo, puntuaciones F1 que bajan de ~0.8 a ~0.2 en grabaciones de 1800s) y no pueden localizar llamadas sin costosas anotaciones a nivel de instancia.

Metodología: DSMIL-LocNet
Los autores proponen DSMIL-LocNet (Red de Localización de Aprendizaje de Múltiples Instancias de Doble Flujo), un marco débilmente supervisado que realiza tanto la clasificación como la localización temporal utilizando únicamente etiquetas de presencia/ausencia a nivel de grabación (a nivel de bolsa).

1. Formulación de Aprendizaje de Múltiples Instancias (MIL):

   • Cada grabación de larga duración se trata como una "bolsa" ($B_i$) que contiene múltiples segmentos cortos no superpuestos denominados "instancias" ($x^j_i$).
   • El modelo recibe únicamente una etiqueta binaria única $y_i \in \{0, 1\}$ para toda la bolsa (indicando si alguna llamada está presente), mientras que las etiquetas específicas de instancia permanecen desconocidas (latentes) durante el entrenamiento.
   • El objetivo es aprender pesos de atención ($\alpha^j_i$) que asignen una alta probabilidad a las instancias que contienen llamadas y una baja probabilidad al ruido de fondo.

2. Arquitectura de Doble Flujo:

   • Flujo Espectral: Procesa espectrogramas Mel (derivados de la STFT) utilizando un codificador CNN con bloques residuales para capturar la modulación de frecuencia.
   • Flujo Temporal: Procesa características temporales diseñadas manualmente extraídas directamente de la forma de onda del audio, incluyendo energía de Raíz Cuadrática Media (RMS), Tasa de Cruce por Cero (ZCR), Amplitud Máxima, Estadísticas de la Envoltura y Centroides Temporales.
   • Fusión: Un módulo de fusión pondera y combina dinámicamente las características de ambos flujos para adaptarse a condiciones de ruido variables y tipos de llamadas.

3. Atención y Localización:

   • El modelo emplea un mecanismo de atención donde el peso $\alpha^j_i$ para cada instancia se calcula mediante una función softmax sobre la bolsa.
   • Clasificación: La predicción a nivel de bolsa es una suma ponderada de las incrustaciones de instancia.
   • Localización: La localización temporal se logra identificando las instancias donde el peso de atención $\alpha^j_i$ supera un umbral específico. Esto permite que el modelo genere sellos de tiempo sin haber visto nunca etiquetas a nivel de cuadro durante el entrenamiento.

4. Función de Pérdida:
   El objetivo de entrenamiento combina cuatro componentes para abordar desafíos específicos en la bioacústica de larga duración:

   • Entropía Cruzada Binaria Focal ($L_{BCE}$): Aborda el desequilibrio de clases (llamadas positivas raras).
   • Suavidad Temporal ($L_{temp}$): Fomenta una atención coherente entre instancias adyacentes para reflejar la continuidad de la llamada.
   • Dispersión ($L_{sparsity}$): Asegura que el modelo se centre en una pequeña fracción de segmentos relevantes.
   • Consistencia de Instancia ($L_{inst}$): Promueve representaciones de características consistentes.

Contribuciones Clave

1. Formulación Débilmente Supervisada: Los autores formulan el análisis de llamadas de ballenas de larga duración como un problema MIL que requiere únicamente una etiqueta binaria por grabación de varios minutos, eliminando la dependencia de costosas anotaciones a nivel de cuadro.
2. Arquitectura de Doble Flujo: Introducen una red que combina características espectrales de CNN con características temporales diseñadas manualmente, utilizando una función de pérdida multi-componente para manejar la dilución de la atención, el desequilibrio de clases y la coherencia temporal en bolsas largas.
3. Clasificación y Localización Simultáneas: El marco demuestra que un único conjunto de pesos de atención aprendidos puede servir tanto para la clasificación a nivel de bolsa como para la localización temporal a nivel de instancia.

Resultados Experimentales
El método se evaluó en la AcousticTrends BlueFinLibrary, que comprende 1.880,25 horas de grabaciones de ballenas antárticas con alto ruido de fondo (73–99,9%).

• Rendimiento en Duraciones Largas: DSMIL-LocNet logró puntuaciones F1 de 0,88–0,91 en grabaciones que oscilaban entre 300s y 1800s. En contraste, las líneas base de CNN totalmente supervisadas (ANIMAL-SPOT, DeepWhaleNet, etc.) se degradaron significativamente a puntuaciones F1 de 0,19–0,64 en estas duraciones debido a la pérdida de información por compresión temporal.
• Capacidad de Localización: A diferencia de las líneas base supervisadas, que no proporcionaban localización temporal sin anotación adicional, DSMIL-LocNet localizó las llamadas con éxito.
• Compensaciones de Duración:
  • Clasificación: El rendimiento mejoró con duraciones de bolsa más largas (hasta 1800s) a medida que aumentaba la probabilidad de contener una llamada.
  • Localización: La precisión alcanzó su punto máximo en duraciones de bolsa más cortas (60–120s) y se degradó ligeramente en duraciones más largas (0,5–0,6 a 600s) debido a la dilución de la atención a través de más instancias. Sin embargo, los autores señalan que incluso la localización con precisión reducida es más valiosa que la "ninguna localización" proporcionada por las líneas base de supervisión fuerte en entradas largas.
• Estudio de Ablación: Eliminar el diseño de doble flujo o la función de pérdida multi-componente resultó en caídas significativas del rendimiento, confirmando la necesidad tanto de la integración espectral/temporal como de las restricciones de pérdida específicas.

Significado y Afirmaciones
El artículo afirma que DSMIL-LocNet ofrece una solución práctica para despliegues de PAM a escala operativa donde el tiempo experto es limitado. Al permitir tanto la detección como la localización a partir de etiquetas de nivel de grabación de bajo costo, el método cierra la brecha entre la optimización de modelos de segmentos cortos y la realidad del monitoreo marino continuo y de larga duración.

Los autores enfatizan que este enfoque no se limita a la bioacústica marina. Sugieren que el principio subyacente —convertir etiquetas de nivel de bolsa de bajo costo en predicciones temporales estructuradas— se aplica a cualquier dominio caracterizado por flujos de datos continuos, eventos objetivo dispersos y altos costos de anotación, como la sismología, la acústica médica y los estudios de biodiversidad terrestre. El trabajo demuestra que la supervisión débil puede proporcionar capacidades (clasificación y localización conjunta en entradas largas) que la supervisión fuerte con arquitecturas de entrada fija no logra apoyar.