Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

Esta tesis demuestra la eficacia de CLICK-SPOT, un método de detección de objetos basado en imágenes aplicado a transformaciones avanzadas de wavelet, para la detección y clasificación automática de los clics de ecolocalización de orcas noruegas, superando las limitaciones de los espectrogramas tradicionales en entornos bioacústicos complejos.

Lo esencial

¡Hola! Imagina que estás en medio del océano, pero en lugar de ver ballenas, solo escuchas sus sonidos. El problema es que las ballenas asesinas (orcas) hablan y "ven" con el sonido, emitiendo miles de "clics" por segundo. Para los científicos, entender estos clics es como intentar descifrar un idioma secreto, pero hay un gran obstáculo: hay demasiados sonidos y son muy rápidos.

Aquí te explico la tesis de Christopher Hauer como si fuera una historia de detectives, usando analogías sencillas.

1. El Problema: El "Ruido" del Océano

Imagina que estás en una fiesta muy ruidosa y quieres escuchar a un amigo susurrarte un secreto. Además, tu amigo usa un sonar (como un radar) para ver dónde están los peces, haciendo "clics" muy rápidos.

• El reto: Los científicos tienen horas de grabaciones donde hay clics reales, ecos (rebotes del sonido en el fondo del mar), lluvia, barcos y otros ruidos.
• El trabajo manual: Antes, un biólogo tenía que escuchar cada segundo de audio, buscar el clic, ver si es un eco y anotarlo. Hacer esto para una sola hora de audio podía llevar días. ¡Es como intentar encontrar una aguja en un pajar, pero el pajar es un océano entero!

2. La Solución: Enseñarle a una Máquina a "Ver" el Sonido

Christopher decidió no usar matemáticas aburridas para encontrar estos clics, sino usar Inteligencia Artificial (IA) que funciona como un ojo humano. Pero, ¿cómo le muestras un sonido a una computadora?

Paso 1: Convertir el sonido en "Pinturas"

La computadora no entiende el sonido como nosotros. Christopher convirtió las grabaciones en imágenes:

• El Espectrograma (La foto normal): Es como una foto de la música. Muestra qué notas suenan y cuándo. Pero tiene un defecto: si quieres ver detalles muy rápidos (como un clic), la foto se ve borrosa. Es como intentar tomar una foto de un coche de carreras a alta velocidad; o se ve borroso o no se ve el color.
• El Escalograma (La foto mágica): Aquí entra la magia de las "Transformadas de Wavelet". Imagina que tienes una lupa especial. Cuando el sonido es agudo (rápido), la lupa se hace pequeña para ver el detalle preciso. Cuando el sonido es grave (lento), la lupa se hace grande para ver el tono. Esto crea una imagen donde los clics rápidos se ven como conos perfectos y nítidos saliendo de la imagen. ¡Es mucho más fácil para la IA verlos!

Paso 2: El Detective Rápido (YOLO)

Christopher usó un modelo de IA llamado YOLO ("You Only Look Once" o "Solo miras una vez").

• La analogía: Imagina un guardia de seguridad que escanea una habitación y grita: "¡Hay un objeto ahí!". YOLO hace lo mismo con las imágenes de sonido. Dibuja un cuadro alrededor de cada clic que encuentra.
• El problema inicial: A veces, el guardia es un poco torpe y pone un cuadro gigante que cubre tanto al clic original como a su eco (el rebote). Es como si el guardia dijera: "¡Hay un objeto!" y pusiera un cuadro que cubre al ladrón y a su sombra.

Paso 3: El Cortador de Precisión (FOD)

Para arreglar el cuadro gigante, Christopher usó una técnica llamada FOD (Detección de Gradiente de Primer Orden).

• La analogía: Imagina que el sonido es una montaña. El clic es la cima más alta y el eco es una colina más pequeña justo al lado. FOD es como un mapa topográfico que le dice a la IA: "Oye, aquí hay una subida muy brusca (el clic) y aquí otra (el eco)".
• Esto permite cortar el cuadro gigante en dos: uno para el clic y otro para el eco.

Paso 4: El Juez Sabio (Random Forest)

Ahora la IA tiene los clics y los ecos separados, pero a veces se confunde: "¿Este es el clic original o el eco?".

• La analogía: Aquí entra el Juez Sabio (un algoritmo llamado Random Forest). El juez no mira solo un clic aislado; mira el contexto.
  • Pregunta del juez: "¿Este sonido llegó justo después de otro? ¿Tiene la misma energía? ¿Está en una secuencia lógica?"
  • Si el sonido sigue el patrón de un "disparo" (clic) seguido de un "rebote" (eco), el juez lo clasifica correctamente. Si es un ruido extraño, lo descarta.

3. Los Resultados: ¡Éxito!

Al combinar estas tres herramientas (la IA que ve, el cortador que separa y el juez que decide), Christopher creó una herramienta llamada CLICK-SPOT.

• Antes: Un humano tardaba 12 horas en etiquetar 1 minuto de audio.
• Ahora: La máquina lo hace en minutos (aunque aún necesita un poco de tiempo de procesamiento).
• Precisión: La herramienta acertó en el 96% de los clics importantes. Es como si el detective tuviera una visión casi perfecta.

¿Por qué es importante?

Con esta herramienta, los científicos pueden analizar miles de horas de grabaciones en poco tiempo. Esto les ayuda a entender:

• ¿Cuándo cazan las orcas?
• ¿Cuándo juegan o se socializan?
• ¿Cómo se comunican entre ellas?

En resumen, Christopher tomó un problema imposible de resolver a mano (encontrar agujas en un océano de ruido) y construyó un robot detective que usa "lupas mágicas" y un "juez inteligente" para entender el lenguaje secreto de las orcas. ¡Una gran victoria para la ciencia y la naturaleza!

Resumen técnico

A continuación presento un resumen técnico detallado de la tesis doctoral en español, basado en el documento proporcionado.

Título de la Tesis

Detección y Clasificación de Clics de Ecolocalización de Cetáceos utilizando Métodos de Detección de Objetos Basados en Imágenes aplicados a Transformaciones Avanzadas basadas en Wavelets.

Autor: Christopher Hauer
Institución: Lehrstuhl für Mustererkennung (LME), FAU Erlangen-Nürnberg.

---

1. El Problema

La bioacústica marina enfrenta un desafío crítico: la detección y anotación manual de señales animales (clics, silbidos y llamadas) es extremadamente laboriosa. En el caso de las orcas (Orcinus orca), los investigadores necesitan analizar grandes volúmenes de datos para correlacionar los clics con comportamientos sociales o de caza.

Los obstáculos principales identificados son:

• Tiempo de procesamiento: La anotación manual de un solo minuto de datos puede tomar hasta 12 horas debido a la densidad de eventos (una orca puede emitir más de 100 clics por segundo en ráfagas).
• Diferenciación Clic-Eco: Los ecos (reflexiones de los clics en superficies como el fondo marino o la superficie del agua) comparten características físicas casi idénticas con los clics originales (mismo espectro de frecuencia, atenuación similar), lo que hace que su diferenciación en aislamiento sea casi imposible.
• Limitaciones de Métodos Tradicionales: Los detectores basados en umbrales (como PAMGuard) o modelos matemáticos simples fallan en entornos con baja relación señal-ruido (SNR) y no logran distinguir entre clics, ecos y ruido ambiental sin intervención humana.
• Limitaciones de Representación: Los espectrogramas tradicionales (basados en la Transformada de Fourier de Tiempo Corto - STFT) sufren del principio de incertidumbre, ofreciendo una resolución temporal o frecuencial, pero no ambas simultáneamente, lo cual es crítico para señales impulsivas de corta duración como los clics.

2. Metodología

La tesis propone una herramienta automatizada llamada CLICK-SPOT, que integra múltiples etapas de procesamiento y aprendizaje profundo para resolver el problema de detección y clasificación contextual.

A. Representación de Datos (Transformaciones)

Para superar las limitaciones de los espectrogramas, el sistema utiliza una representación de imagen multicanal (SCWTSPEC) de 960x960 píxeles, donde cada canal de color (RGB) codifica una transformación diferente de la señal de audio de 5 ms:

1. Canal Rojo: Forma de onda (Waveform).
2. Canal Verde: Transformada Wavelet Continua (CWT) utilizando la Mexican Hat wavelet. Esto genera un scalogram que ofrece mejor resolución temporal para altas frecuencias y mejor resolución frecuencial para bajas frecuencias, ideal para impulsos tipo Dirac.
3. Canal Azul: Espectrograma (STFT).

B. Detección de Eventos (YOLO)

En lugar de usar ventanas deslizantes para clasificación binaria (como ANIMAL-SPOT), se emplea YOLO (You Only Look Once), específicamente la versión v8.

• Enfoque: Trata el problema como una detección de objetos en imágenes.
• Ventaja: YOLO puede predecir múltiples cajas delimitadoras (bounding boxes) dentro de una sola ventana de tiempo, permitiendo detectar clics individuales dentro de ráfagas densas.
• Entrenamiento: Se entrenó con 32,926 ventanas de entrada derivadas de 3 minutos y 12 segundos de datos anotados manualmente.

C. Post-procesamiento con FOD (First Order Detection)

Para refinar las cajas delimitadoras de YOLO, que a veces se fusionan o son imprecisas:

• Se aplica una Conversión de Gradiente de Primer Orden (FOD) dentro de las cajas detectadas.
• Esto identifica los picos de gradiente (los impulsos reales) para separar clics y ecos fusionados y ajustar los límites temporales con mayor precisión.

D. Clasificación Contextual (Random Forest)

Dado que YOLO trata cada ventana de forma aislada y no puede distinguir un clic de un eco basándose solo en la apariencia local, se implementa un Clasificador Random Forest:

• Entrada: Utiliza un vector de características que incluye no solo los datos del evento actual, sino también el contexto temporal (clics anteriores y siguientes).
• Características clave: Tiempo de interllegada (inter-arrival time), diferencia de energía, fase inicial, densidad de energía y picos de FOD.
• Objetivo: Aprender la estructura de las ráfagas (donde los clics suelen estar equidistantes y más intensos que los ecos) para clasificar correctamente cada evento como "clic", "eco" u "otro".

3. Contribuciones Clave

1. Desarrollo de CLICK-SPOT: Una cadena de herramientas completa que combina detección de objetos (YOLO), procesamiento de señales (FOD) y aprendizaje automático supervisado (Random Forest) para la bioacústica.
2. Innovación en Representación: Demostración de que combinar la forma de onda, el espectrograma y el scalogram (CWT) en una sola imagen RGB mejora significativamente la capacidad del modelo para detectar impulsos de alta frecuencia en comparación con el uso de espectrogramas solos.
3. Solución al Problema Clic-Eco: Un enfoque híbrido que utiliza la detección visual para localizar eventos y un clasificador contextual para resolver la ambigüedad entre clics y ecos, superando la necesidad de intervención humana.
4. Adaptabilidad: El marco metodológico se demuestra adaptable a otras especies de cetáceos (delfines, ballenas jorobadas, etc.) mediante transferencia de aprendizaje, aunque el entrenamiento específico requiere datos etiquetados.

4. Resultados

Los experimentos se realizaron en un conjunto de datos de evaluación de 2 minutos y 23 segundos con 5,322 eventos anotados.

• Comparativa de Métodos:
  • PAMGuard (Método tradicional): Precisión global del 39.7%.
  • FOD (Solo matemático): Precisión del 53.1%.
  • ANIMAL-SPOT (Red neuronal de ventanas): Precisión del 63.9% (limitado por la agrupación de eventos en ventanas grandes).
  • CLICK-SPOT (Propuesta final): Alcanzó una precisión de detección de clics del 86.32% y una precisión de etiqueta de clic del 95.93%.
• Correlación: La tasa de clics detectada por el modelo mostró una correlación del 98.01% con la tasa de clics anotados manualmente, lo cual es el objetivo principal para estudios de comportamiento (correlación de actividad vs. conteo exacto).
• Eficiencia: El modelo actual tiene un factor de tiempo real de 25 (tarda 25 minutos en procesar 1 minuto de audio), lo que lo hace viable para análisis por lotes pero no aún para uso en tiempo real en campo sin optimización adicional.

5. Significado y Conclusión

Esta tesis demuestra que los métodos de detección de objetos basados en imágenes, combinados con transformaciones wavelet y clasificación contextual, superan significativamente a los métodos tradicionales de bioacústica para la detección de clics de cetáceos.

• Impacto Científico: Permite el análisis automatizado de grandes volúmenes de datos de grabaciones pasivas, facilitando el estudio del comportamiento social y de caza de las orcas sin la barrera del tiempo de anotación manual.
• Viabilidad: Aunque el modelo actual no es en tiempo real, su alta precisión y correlación lo hacen una herramienta valiosa para la validación de datos y el análisis retrospectivo.
• Futuro: Se sugiere optimizar la inferencia para tiempo real, integrar la diferenciación de frecuencias (LF, HF, US) y aplicar la herramienta a otras especies y estructuras fonéticas de llamadas.

En resumen, CLICK-SPOT representa un avance significativo hacia la automatización robusta en bioacústica marina, resolviendo el problema de la diferenciación clic-eco mediante una arquitectura que imita el proceso cognitivo humano de usar el contexto para interpretar señales ambiguas.