💻 computer science

A Self-Supervised Approach for Minimal-Annotation Hydroacoustic Data Exploration

Este artículo presenta un flujo de trabajo autosupervisado que utiliza Autoencoders de Máscara y algoritmos de agrupamiento para explorar y clasificar eficientemente datos hidroacústicos a gran escala y mínimamente anotados, identificando con éxito diversas señales marinas y antropogénicas en un conjunto de datos de varios años de la isla de Mayotte.

Autores originales: Pierre-Yves Raumer, Axel Marmoret, Dorian Cazau, Anatole Gros-Martial, Richard Dreo, Maelle Torterotot, Sara Bazin, Flore Samaran, Jean-Yves Royer

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pierre-Yves Raumer, Axel Marmoret, Dorian Cazau, Anatole Gros-Martial, Richard Dreo, Maelle Torterotot, Sara Bazin, Flore Samaran, Jean-Yves Royer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio en una habitación que no deja de hablar. Esta habitación es el océano profundo, y el "habla" es una grabación masiva y continua de sonidos producidos por ballenas, volcanes, barcos y terremotos. ¿El problema? La grabación es tan enorme y ruidosa que un detective humano tendría que escucharla durante siglos para encontrar las partes interesantes. Normalmente, los científicos tienen que etiquetar manualmente cada uno de los sonidos que escuchan, lo cual es como intentar clasificar una montaña de piezas de Lego mezcladas a mano.

Este artículo presenta a un nuevo robot detective súper inteligente que no necesita un libro de instrucciones manual para empezar a trabajar. Utiliza un enfoque "auto-supervisado", que es como darle al robot una caja gigante de piezas de Lego mezcladas y decirle: "Descubre cómo encajan estas piezas intentando reconstruir las partes faltantes".

El entrenamiento del robot: El juego de "completar los espacios en blanco"
El robot, llamado Masked AutoEncoder (o MAE), comienza jugando a un juego de "completar los espacios en blanco". Los científicos toman una imagen del sonido (llamada espectrograma, que parece un mapa colorido de frecuencias a lo largo del tiempo) y cubren el 50% con una máscara negra. El trabajo del robot es mirar las partes visibles y adivinar cómo se ven las partes ocultas. Para hacer esto, tiene que aprender los patrones secretos del océano: cómo se ve el canto de una ballena, cómo zumba el motor de un barco y cómo retumba un terremoto. Practica esto en un conjunto de datos masivo de grabaciones del Océano Índico, que abarcan desde 2009 hasta 2024, cubriendo 34 ubicaciones diferentes.

El gran truco: Clasificando la habitación desordenada
Aquí es donde el artículo realiza un movimiento crucial. Muchos otros métodos intentan mirar la habitación completa a la vez y decir: "Esta hora entera suena como una ballena". Pero en el océano, los sonidos suelen superponerse: una ballena puede estar cantando mientras pasa un barco. Si miras la habitación completa, solo obtienes una mezcla desordenada.

Este artículo argumenta que mirar la habitación completa es una mala idea. En su lugar, su robot divide el mapa de sonido en diminutos parches de 16x16. Mira cada parche individualmente. Si un parche es solo ruido de fondo (como estática), el robot lo ignora. Si un parche tiene un sonido, el robot agrupa los parches de sonido cercanos en un único "evento". Esto es como clasificar los Legos por color y forma antes de intentar construir el castillo. Al separar los sonidos superpuestos en eventos individuales primero, el robot puede distinguir entre una ballena y un barco incluso si ocurren al mismo tiempo.

El descubrimiento: Encontrando patrones en el caos
Una vez que el robot ha clasificado todos estos diminutos eventos de sonido de todo el conjunto de datos de varios años, utiliza una herramienta especial de creación de mapas (llamada UMAP) y un algoritmo de agrupamiento (HDBSCAN) para agrupar eventos similares.

Los resultados son impresionantes. El robot encontró 317 clústeres distintos de sonido. Un experto humano pasó menos de una hora observando estos grupos y etiquetándolos. Encontraron:

Señales conocidas: Ballenas azules antárticas, ballenas finas, ballenas minke e incluso la rara ballena de Omura. También encontraron señales sísmicas del volcán Fani Maoré y ruido de barcos.
Señales desconocidas: El robot encontró cinco tipos de sonidos que nadie había caracterizado completamente antes, incluyendo un misterioso "pulso de 8 segundos" y una "señal de 42 Hz".

El artículo sugiere que este método es altamente efectivo para encontrar patrones estacionales. Por ejemplo, detectó correctamente que los cantos de las ballenas finas desaparecen en ciertos años (2021, 2024 y 2025) y que la actividad sísmica disminuye con el tiempo, tal como los científicos esperaban.

¿Qué tan bueno es? (La prueba de realidad)
Los investigadores no se limitaron a decir "funciona"; lo probaron. Compararon su robot con dos detectores especializados existentes (uno basado en patrones de canto de ballenas y otro basado en un modelo de IA supervisado llamado YOLO).

El veredic actually: El rendimiento del robot fue comparable al de estos detectores existentes. Logró una precisión similar en la detección de ballenas y terremotos.
El matiz: El artículo es cuidadoso al notar que, si bien el robot es excelente encontrando patrones y tendencias estacionales, no es perfecto para identificar cada sonido con un 100% de precisión. Es una "herramienta de exploración", no una varita mágica que lo resuelve todo instantáneamente.
Lo que descartaron: El artículo argumenta explícitamente en contra de los métodos que intentan analizar toda la ventana de audio a la vez sin desglosarla en eventos primero. Encontraron que simplemente promediar todos los parches de sonido hacía que el robot fuera mucho peor en su tarea. También descubrieron que saltarse la fase inicial de "entrenamiento" (pre-entrenamiento en un gran conjunto de datos) hacía que el robot fuera significativamente menos preciso, demostando que la práctica de "completar los espacios en blanco" es esencial.

La conclusión final
Este artículo sugiere que no necesitamos pasar años etiquetando manualmente los sonidos del océano para entenderlos. Al enseñar a una computadora a jugar a "completar los espacios en blanco" y luego dejar que clasifique los sonidos en pequeños montones de eventos, podemos descubrir rápidamente los secretos del océano. El robot encontró ballenas conocidas, rastreó erupciones volcánicas e incluso descubrió nuevos y misteriosos sonidos que los humanos aún no comprendían del todo, todo con solo una hora de ayuda humana. Es una nueva y poderosa forma de escuchar el océano, convirtiendo una montaña de ruido en un mapa claro de vida y geología.

Resumen Técnico: Un enfoque de autoaprendizaje para la exploración de datos hidroacústicos con mínima anotación

Planteamiento del problema
El monitoreo hidroacústico pasivo genera volúmenes vastos de grabaciones continuas de baja frecuencia, pero solo una fracción es explorada debido al alto costo de la anotación manual. Las metodologías existentes enfrentan un compromiso: la anotación manual es lenta y depende del usuario, mientras que los detectores automáticos supervisados requieren grandes conjuntos de datos etiquetados que rara vez están disponibles para señales raras o entornos poco estudiados. Además, los paradigmas automatizados tradicionales (tanto supervisados como no supervisados) suelen depender del conocimiento previo para apuntar a señales específicas y estructuradas, lo que confina la exploración a objetivos predefinidos y dificulta el descubrimiento de eventos hidroacústicos desconocidos.

Metodología
Los autores proponen un flujo de trabajo de exploración de autoaprendizaje (self-supervised) diseñado para identificar patrones hidroacústicos recurrentes con una mínima anotación manual. El flujo de trabajo consta de cuatro etapas principales:

Preentrenamiento de Autoencoder de Máscara (MAE):
- Se entrena un Vision Transformer (ViT) dentro de un marco de Autoencoder de Máscara sobre un conjunto de datos grande y diverso de espectrogramas hidroacústicos de baja frecuencia (recopilados de redes del Océano Índico, 200 Embargo 2009–2024).
- El modelo aprende a reconstruir las porciones enmascaradas de los espectrogramas, obligándolo a aprender la estructura subyacente de los entornos acústicos (por ejemplo, llamadas estereotipadas de mamíferos marinos).
- La arquitectura utiliza un codificador ViT ligero (16 capas) y un decodificador (6 capas) adaptado para espectrogramas de un solo canal en escala de grises.
Especialización en el Dominio:
- El modelo preentrenado se ajusta (fine-tuning) en un conjunto de datos objetivo más pequeño (MAHY*2, cerca de la isla de Mayotte) para especializarse en las características acústicas específicas del entorno objetivo.
Extracción y Desentrelazamiento de Eventos a Nivel de Parche:
- A diferencia de los métodos que generan un único embedding por ventana de espectrograma, este flujo de trabajo extrae embeddings a nivel de parche del codificador MAE.
- Descarte de Parches: Se filtran los "parches vacíos" (baja energía o baja activación) para eliminar el ruido de fondo.
- Agrupamiento de Espectrogramas: Los parches adyacentes restantes se fusionan en "eventos" basados en la distancia de Chebyshev (fusionando si están separados por $\le$ 2 parches). Este paso desentrelaza las fuentes superpuestas dentro de una sola ventana de tiempo.
- Se selecciona un vector de embedding representativo para cada evento (el parche más cercano al embedding medio del evento).
Agrupamiento y Mapeo a Nivel de Conjunto de Datos:
- Los embeddings a nivel de evento se agrupan a la escala del conjunto de datos. Se comparan dos estrategias:
  - MAE-K-Means: K-Means seguido de agrupamiento jerárquico aglomerativo.
  - MAE-UMAP: Reducción de dimensionalidad mediante UMAP seguido de HDBSCAN.
- Mapeo de Clúster a Clase: Una fase de inspección manual ligera (aproximadamente 1 hora) mapea los clústeres resultantes a clases semánticas (por ejemplo, especies específicas de ballenas, fases sísmicas o ruido) basándose en la similitud visual de los espectrogramas representativos.

Contribuciones Clave

Adaptación de MAE: Adaptación exitosa del marco de Autoencoder de Máscara para el aprendizaje de representaciones a nivel de parche en espectrogramas hidroacústicos de baja frecuencia.
Desentrelazamiento de Eventos: Introducción de una estrategia para agrupar parches adyacentes dentro de espectrogramas individuales antes del agrupamiento a nivel de conjunto de datos, abordando el desafío de las fuentes superpuestas comunes en los datos de baja frecuencia.
Flujo de Trabajo de Mínima Anotación: Validación de un flujo de trabajo práctico en un conjunto de datos de varios años que contiene señales biológicas, geofísicas y antropogénicas, requiriendo solo una inspección manual limitada para generar resultados interpretables.

Resultados
El flujo de trabajo fue evaluado en el conjunto de datos MAHY*2, que incluye vocalizaciones de mamíferos marinos (por ejemplo, ballenas azules antárticas, ballenas finas), señales sísmico-volcánicas y ruido antropogénico.

Agrupamiento (Clustering): El método identificó 317 clústeres. El mapeo manual agrupó estos en 15 clases hidroacústicas (o ruido) en menos de una hora.
Patrones Temporales: Los clústeres reconstruyeron con éxito patrones estacionales conocidos para mamíferos marinos (por ejemplo, picos bianuales para las ballenas azules pigmeas del suroeste del Océano Índico) y el decaimiento temporal de las secuencias sísmicas. También identificó patrones para señales previamente no estudiadas (por ejemplo, "Und. 42 Hz" y "LF 8 sec pulse").
Rendimiento de Clasificación: Cuando se utilizó como clasificador (al agregar las detecciones de eventos en puntuaciones de presencia/ausencia por hora), el método logró un rendimiento comparable al de dos detectores existentes: un detector basado en periodicidad (Dréo et al., 2025) y un detector de objetos supervisado basado en YOLO (línea base BioDCASE).
- El enfoque MAE-K-Means generalmente superó a MAE-UMAP y a las variantes abladas (por ejemplo, promediar embeddings o seleccionar parches de norma máxima).
- Se encontró que el preentrenamiento es crítico para una precisión de agrupamiento óptima, aunque el modelo aún puede funcionar sin él para clases específicas.

Significancia y Reivindicaciones
El artículo afirma que esta estrategia de agrupamiento de nivel de evento y autoaprendizaje proporciona una metodología general para explorar grandes conjuntos de datos hidroacústicos con un esfuerzo de anotación mínimo. Su principal significancia radica en su capacidad para:

Aproximar la Detección: Construir detectores aproximados para señales conocidas sin requerir grandes conjuntos de datos de entrenamiento etiquetados.
Descubrir lo Desconocido: Identificar y caracterizar patrones acústicos recurrentes que anteriormente eran desconocidos o estaban mal documentados, sin depender del conocimiento previo de las señales.
Escalabilidad: Permitizar la construcción rápida de series temporales de actividad a largo plazo a partir de archivos inexplorados, facilitando la extracción de información de primer orden de las redes de monitoreo hidroacústico pasivo.

Los autores enfatizan que, si bien la precisión de la clasificación por ventana puede ser imperfecta, las ocurrencias agregadas de los clústeres proporcionan estimaciones fiables de la actividad hidroacústica estacional, lo que convierte al método en una herramienta valiosa para el análisis exploratorio donde los datos etiquetados son escasos.

Más como este