Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

Resumen Técnico: Señal Filogenética en Vocalizaciones de Mamíferos Marinos y Aves Capturadas por Modelos de Fundamento de Audio

Planteamiento del Problema
Una pregunta fundamental en la bioacústica comparativa es si la similitud acústica entre especies refleja su historia evolutiva (señal filogenética). Si bien estudios previos que utilizan características espectrales diseñadas a mano (por ejemplo, MFCC, entropía espectral) han detectado señales filogenéticas modestas en aves, ranas y peces, sigue siendo desconocido si los modelos de fundamento de audio preentrenados a gran escala —que codifican representaciones acústicas más ricas y de alta dimensión— pueden recuperar una estructura filogenética más fuerte. Además, no está claro si el preentrenamiento específico de dominio (por ejemplo, modelos entrenados específicamente para bioacústica o especies de aves) es necesario para recuperar esta señal en comparación con los modelos de audio de propósito general.

Metodología
El estudio emplea pruebas de Mantel para correlacionar matrices de distancia acústica con matrices de distancia filogenética a través de dos radiaciones independientes: mamíferos marinos y aves.

• Conjuntos de Datos:
  • Mamíferos Marinos: 1,754 grabaciones de 32 especies (Cetacea y Pinnipedia) de la base de datos de sonidos de mamíferos marinos de Watkins. Las distancias filogenéticas se derivaron de tiempos de divergencia publicados (2–90 Ma).
  • Aves: 607 grabaciones de 20 especies de siete órdenes, obtenidas de xeno-canto. Las distancias filogenéticas se basaron en la filogenia calibrada en el tiempo de Jetz et al. (2012).
• Representaciones de Audio: Se evaluaron cuatro representaciones:
  1. Línea Base MFCC: Características diseñadas a mano (105 dimensiones) que incluyen MFCC, chroma y estadísticas espectrales.
  2. AST (Audio Spectrogram Transformer): Un transformador de propósito general (768d) entrenado en etiquetas de eventos de AudioSet.
  3. CLAP (Contrastive Language-Audio Pretraining): Un modelo de propósito general (512d) entrenado en pares de audio-texto mediante aprendizaje contrastivo.
  4. BEATs-bio: Un codificador especializado en bioacústica (768d) ajustado finamente (fine-tuned) en un gran corpus bioacústico.
  5. BirdNET: Un clasificador específico para aves (1,024d) entrenado para distinguir aproximadamente 6,000 especies de aves (evaluado solo en aves).
• Análisis:
  • Las distancias acústicas se calcularon como distancias de coseno entre centroides de especies normalizados en L2.
  • Las pruebas de Mantel (9,999 permutaciones) evaluaron la correlación entre las distancias acústicas y las distancias filogenéticas.
  • Controles:
    • Dimensionalidad: Los embeddings se proyectaron al espacio de 105 dimensiones de los MFCC mediante PCA para descartar la dimensionalidad como un factor de confusión.
    • Frecuencia Dominante: Las pruebas de Mantel parciales controlaron las distancias de frecuencia dominante.
    • División Taxonómica: Los análisis se repitieron dentro del clado de los cetáceos (26 especies) para aislar la estructura filogenética a escala fina de la división profunda cetáceo- pinnípedo.
  • Comparación Estadística: Se utilizaron intervalos de confianza de bootstrap emparejados para comparar el rendimiento ($\Delta r$) entre modelos.

Resultados Clave

1. Modelos de Fundamento vs. MFCC: Los modelos de fundamento de propósito general (AST, CL CLAP, BEATs-bio) recuperaron consistentemente una señal filogenética significativa, mientras que los MFCC diseñados a mano no mostraron una correlación significativa en el conjunto completo de mamíferos marinos ($r = 0.040, p = 0.338$).
   • En mamíferos marinos, los modelos de fundamento lograron $r \approx 0.40$ ($p < 0.001$).
   • En aves, los modelos de fundamento lograron $r \approx 0.52–0.55$ ($p < 0.001$).
2. Preentrenamiento de Dominio Específico: Contrario a la hipótesis de que el entrenamiento especializado mejora la recuperación de la señal, los modelos de dominio específico no superaron a los modelos de propósito general.
   • En aves, BirdNET ($r = 0.361$) y BEATs-bio ($r = 0.318$) funcionaron peor que los modelos de propósito general AST ($r = 0.549$) y CLAP ($r = 0.521$), aunque las diferencias no fueron estadísticamente significativas.
   • Todos los modelos de fundamento superaron significativamente a los MFCC, pero ningún par de modelos de fundamento difirió significativamente entre sí.
3. Características de la Señal:
   • Dentro de los Cetáceos: La señal fue excepcionalmente fuerte dentro del clado de los cetáceos ($r \approx 0.74–0.82$), lo que indica que los modelos capturan una estructura evolutiva de grano fino.
   • Independencia de la Frecuencia: La correlación persistió tras controlar la frecuencia dominante (reteniendo el 97% de $R^2$ en mamíferos marinos), sugiriendo que la señal no es simplemente un indicador de la masa corporal o el tono.
   • Dimensionalidad: La ventaja de los modelos de fundamento sobre los MFCC persistió incluso después de proyectar los embeddings a la misma dimensionalidad, confirmando que el beneficio no es un artefacto de la mayor dimensionalidad.
4. Convergencia y Divergencia: Los modelos identificaron correctamente la convergencia acústica extrema (por ejemplo, foca barbuda y ballena franca del norte, 90 Ma de divergencia, baja distancia acústica) y la divergencia (por ejemplo, foca leopardo y foca de Weddell, 10 Ma de divergencia, alta distancia acústica), ilustrando cómo las presiones ecológicas pueden desacoplar la similitud acústica de la filogenia.

Significancia y Reivindicaciones
El artículo afirma que los modelos de fundamento de audio preentrenados codifican información evolutiva a través de radiaciones independientes, capturando propiedades estructurales de las vocalizaciones (como la estructura del llamado y la modulación temporal) que las características diseñadas a mano pasan por alto.

Crucialmente, los autores concluyen que el preentrenamiento de dominio específico no es necesario ni suficiente para recuperar una fuerte señal filogenética. Los modelos de propósito general entrenados en audio diverso y no biológico (AudioSet, pares de audio-texto de la web) funcionaron tan bien como, o en el caso de las aves, mejor que los modelos especializados en bioacústica o clasificación de aves.

El documento postula que la falta de mejora de los modelos de dominio específico puede deberse a:

1. Objetivos de Entrenamiento: La clasificación supervisada de especies (como en BirdNET) puede colapsar la similitud gradual requerida para el análisis filogenético.
2. Arquitectura: Los transformadores pueden capturar estructuras espectro-temporales de largo alcance mejor que las CNN (BirdNET).
3. Amplitud de Datos: Los corpus de entrenamiento estrechos y especializados pueden carecer de la riqueza representacional que se encuentra en los amplios conjuntos de datos de audio general.

Los autores declaran explícitamente que no pueden desentrañar estos factores con los modelos actuales y proponen un experimento de ajuste fino controlado (tomar un codificador general y ajustarlo finamente para la clasificación de especies) como el siguiente paso necesario para aislar la causa. La conclusión práctica es que, para la bioacústica comparativa, los embeddings de audio de propósito general son una herramienta robusta, y la etiqueta de "dominio específico" no confiere automáticamente una ventaja para el análisis filogenético.