Resumen Técnico: Decodificando el canto de los insectos mediante PULSE

Planteamiento del problema

El monitoreo acústico pasivo (PAM) es una herramienta crítica para evaluar la salud del hábitat y la biodiversidad, sin embargo, las herramientas existentes de aprendizaje automático (ML) automatizado suelen estar entrenadas de forma estrecha y carecen de transferibilidad a nuevos entornos. Aunque se han logrado avances significativos en bioacústica para aves y murciélagos, existe una notable ausencia de herramientas de ML de código abierto para Orthoptera (grillos y saltamontes). Esta brecha es impulsada por dos desafíos primarios:

1. Escasez de datos: Existe una falta de bibliotecas de sonido de gran escala y acceso abierto específicamente para Orthoptera en comparación con otros taxones.
2. Desplazamiento de dominio y complejidad de la señal: Las señales de los Orthoptera son difíciles de extraer porque muchas especies llaman de forma casi continua, lo que provoca frecuentes solapamientos de llamadas. Además, las llamadas de referencia en las bibliotecas curadas suelen poseer una mayor calidad de audio y menos ruido que las grabaciones de campo "desordenadas" del mundo real, lo que causa que los modelos entrenados con datos limpios funcionen deficientemente en el campo.

Metodología: El marco de trabajo PULSE

Para abordar estas limitaciones, los autores proponen PULSE (Codificador de Espacio Latente de Acústica Pasiva), un marco de trabajo multitarea y semi-supervisado diseñado para la bioacústica de Orthoptera. El marco integra tres objetivos de optimización distintos para aprovechar tanto los limitados datos etiquetados como las abundantes grabaciones de campo no etiquetadas.

1. Composición de los datos

• Datos etiquetados: Un subconjunto de 19 especies de Orthoptera endémicas o presentes en el Reino Unido, provenientes de ECOSoundSet, Xeno-canto e iNaturalist.
• Datos no etiquetados: Una gran colección (~150 GB) de grabaciones de campo no etiquetadas de 10 sitios en Oxfordshire, Reino Unido.
• Aprendizaje activo: Un pequeño subconjunto de los datos de campo no etiquetados fue etiquetado manualmente por expertos utilizando el método DIRECT para mejorar iterativamente el modelo.

2. Arquitectura

El marco utiliza un backbone VGGish para transformar el audio en espectrogramas de mel y generar embeddings ($e$). Estos embeddings sirven como entrada para tres tareas paralelas:

• Clasificación supervisada: Una cabeza de clasificación ($h_{cls}$) optimizada con pérdida de entropía cruzada binaria ($L_{cls}$) utilizando datos etiquetados. Esto gestiona la naturaleza multietiqueta de las grabaciones donde múltiples especies pueden vocalizar simultáneamente.
• Prior Ecológico (Destilación de conocimiento): Para cerrar la brecha entre las bibliotecas curadas y los datos de campo, el modelo compara sus embeddings con los de un modelo BirdNET de propósito general y congelado. Esto se logra mediante una pérdida de error cuadrático medio L2 ($L_{mse}$) en datos no etiquetados, transfiriendo conocimiento ecoacústico general.
• Aprendizaje auto-supervisado (SSL): Para adaptarse a los perfiles acústicos locales, el marco emplea el método Bootstrap Your Own Latent (BYOL). Una red en línea y una red objetivo (actualizada mediante un promedio móvil exponencial) son entrenadas para predecir las proyecciones de las vistas aumentadas (enmascaramiento de tiempo y frecuencia) de los mismos datos de campo no etiquetados, minimizando $L_{byol}$.

3. Optimización conjunta

El modelo se entrena minimizando una suma ponderada de las tres funciones de pérdida:
$$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$$
Los pesos se establecieron en $\alpha_{cls} = 0.9$, $\alpha_{mse} = 0.1$ y $\alpha_{byol} = 0.1$ para dar cabida al desequilibrio significativo entre los datos etiquetados y los no etiquetados.

Contribuciones clave

1. Marco novedoso: Introducción de PULSE, el primer marco de trabajo multitarea y semi-supervisado diseñado específicamente para la bioacústica de Orthoptera, combinando clasificación débilmente supervisada, aprendizaje auto-supervisado y destilación de conocimiento.
2. Liberación de datos: La liberación de un gran conjunto de datos de grabaciones de campo del Reino Unido no etiquetadas junto con un subconjunto de etiquetas recolectadas mediante aprendizaje activo.
3. Herramienta de descubrimiento ecológico: Desarrollo de una herramienta de visualización interactiva que permite a los ecólogos explorar los espacios de embeddings, revelando estructuras ecológicas como la separación de especies, el agrupamiento específico del sitio y las variaciones temporales (por ejemplo, tasas de chirridos relacionadas con la hora del día).
4. Proxy de separación de fuentes: Demostración de que los embeddings aprendidos pueden utilizarse para "desmezclar" llamadas superpuestas usando mínimos cuadrados no negativos (NNLS) sobre los prototipos medios de las especies, identificando las especies constituyentes en grabaciones mixtas.

Resultados experimentales

El modelo fue evaluado en datos de prueba retenidos de tres sitios completamente excluidos del entrenamiento.

• Rendimiento frente a modelos generales: PULSE superó significativamente a un modelo de propósito general de última generación (Perch 2.0) en todas las métricas:
  • Macro F1: 0.21 (PULSE) vs. 0.07 (Perch).
  • Macro AUC: 0.74 (PULSE) vs. 0.45 (Perch).
  • Macro AP: 0.32 (PULSE) vs. 0.19 (Perch).
• Impacto del aprendizaje activo: La incorporación del aprendizaje activo para etiquetar una parte de los datos de campo mejoró aún más el rendimiento, elevando el Macro F1 a 0.34 y el Macro AUC a 0.84.
• Calidad de los embeddings: El análisis del espacio de embeddings de 1024 dimensiones reveló que 891 dimensiones mostraban una variación significativa entre especies. Los mapas de prominencia confirmaron que las regiones de alta activación correspondían a características acústicas clave (bandas de frecuencia central y picos de amplitud).
• Generalización: Al extenderse para incluir clases de fondo (antropofonía, aves, murciélagos, geofonía), PULSE mantuvo un rendimiento competitivo en las clases de Orthoptera mientras clasificaba eficazmente los sonidos de fondo.

Significado y afirmaciones

El artículo afirma que PULSE aborda eficazmente los problemas de escasez de datos y desplazamiento de dominio inherentes a la bioacústica de insectos. Al combinar datos de bibliotecas curadas con grabaciones de campo no etiquetadas mediante un enfoque multitarea, el marco crea un modelo especialista que es más adaptable a los entornos locales que los modelos de propósito general.

Los autores enfatizan que los embeddings aprendidos codifican una estructura ecológicamente significativa, facilitando no solo la clasificación sino también el descubrimiento científico. La capacidad de visualizar los embeddings ayuda a los ecólogos a comprender las diferencias de comportamiento intraespecífico (por ejemplo, variaciones en la velocidad del canto debido a la temperatura) y los impulsores ambientales. En última instancia, este trabajo tiene como objetivo facilitar el PAM a gran escala, proporcionando información vital para la conservación y las estrategias de gestión de hábitats. Los autores mantienen la modestia, señalando que, si bien la herramienta avanza en la automatización, sirve como un medio para apoyar la inferencia ecológica en lugar de ser una solución autónoma para todos los desafíos de la conservación.