Masked Autoencoders with Limited Data: Does It Work? A Fine-Grained Bioacoustics Case Study

Resumen Técnico: Autoencoders enmascarados con datos limitados en bioacústica

Planteamiento del Problema
El reconocimiento bioacústico requiere una comprensión acústica de alta resolución para distinguir entre especies de sonido similar. Sin embargo, los repositorios bioacústicos a gran escala (por ejemplo, iNaturalist) suelen estar débilmente anotados, proporcionando a menudo solo una etiqueta de especie positiva por grabación. Esta escasez de anotaciones exhaustivas y de alta calidad hace que el aprendizaje supervisado sea un desafío. Aunque los Autoencoders enmascarados (MAE) han demostrado una fuerte capacidad de transferencia en corpus de audio general masivos, su efectividad en entornos bioacústicos de tamaño moderado y de alta resolución sigue siendo poco explorada. La pregunta central abordada es si el preentrenamiento de MAE puede adaptarse eficazmente para la clasificación de especies cuando las escalas de datos son limitadas y las anotaciones son ruidosas.

Metodología
Los autores proponen un paradigma de entrenamiento en dos etapas para la clasificación bioacústica de alta resolución:

1. Preentrenamiento auto-supervisado: Un codificador de audio se entrena con datos de audio no etiquetados a gran escala utilizando un objetivo de reconstrucción de espectrograma enmascarado. El audio de entrada se convierte en espectrogramas log-mel, se divide en parches no superpuestos y se enmascara un subconjunto aleatorio de parches. Un decodificador ligero predice los valores a nivel de píxel de los parches enmascarados, minimizando la pérdida de error cuadrático medio (MSE) sobre las regiones enmascaradas.
2. Adaptación aguas abajo: El codificador preentrenado se adapta a un conjunto de datos objetivo etiquetado y más pequeño (iNatSounds) mediante:
   • Sondeo lineal: Congelando el codificador y entrenando únicamente la cabeza de clasificación.
   • Ajuste fino completo: Actualizando tanto los parámetros del codificador como los de la cabeza de clasificación utilizando la pérdida de entropía cruzada.

El estudio evalúa sistemáticamente el impacto de la escala de los datos de preentrenamiento, la especificidad del dominio (audio general frente a bioacústica), la curación de datos (filtrado de segmentos ruidosos) y las estrategias de transferencia. Los experimentos utilizan el conjunto de datos iNatSounds (5.569 especies, 1.200 horas de audio) y AudioSet (2 millones de clips) como fuentes de preentrenamiento.

Contribuciones y Resultados Clave

• Ineficacia del sondeo lineal: Las representaciones preentrenadas con MAE producen un rendimiento extremadamente bajo bajo sondeo lineal (por ejemplo, ~3,5 % de precisión Top-1 en iNatSounds), lo que indica que el objetivo de reconstrucción enmascarado por sí solo no produce características linealmente separables adecuadas para el reconocimiento de especies de alta resolución sin una adaptación sustancial específica de la tarea.
• La escala de preentrenamiento domina la especificidad del dominio:
  • Los modelos preentrenados con audio diverso de dominio general (AudioSet) o incluso imágenes generales (ImageNet) superan significativamente a los modelos preentrenados únicamente con datos bioacústicos específicos del dominio (iNatSounds).
  • El preentrenamiento continuo en el dominio objetivo (iNatSounds) proporciona solo ganancias marginales (aproximadamente un 10 % de mejora sobre la inicialización aleatoria) en comparación con las ganancias de ~10 % logradas al preentrenar en conjuntos de datos más grandes y diversos como AudioSet.
  • El mejor rendimiento se logra preentrenando en AudioSet y luego ajustando finamente en iNatSounds, pero la ganancia adicional de una etapa intermedia auto-supervisada específica del dominio es insignificante.
• La curación de datos ofrece beneficios limitados:
  • Los autores investigaron el filtrado de segmentos de audio "vacíos" o de baja confianza para reducir el ruido. Aunque el filtrado preservó con éxito patrones informativos (evidenciado por el rendimiento de MobileNetV3 en subconjuntos filtrados), no mejoró los resultados del preentrenamiento de MAE.
  • De hecho, utilizar el conjunto de datos completo y más ruidoso para el preentrenamiento produjo mejores resultados que utilizar subconjuntos curados y más pequeños. Esto sugiere que, en entornos de escala moderada, el volumen de datos supera los beneficios de una curación estricta.
• Comparación con trabajos anteriores: A diferencia de los hallazgos en benchmarks a gran escala donde el preentrenamiento específico del dominio es crucial, este estudio encuentra que, para conjuntos de datos de tamaño moderado (como iNatSounds, que es 5 veces más pequeño en duración de audio y tiene 3 veces menos especies que los corpus a gran escala anteriores), los modelos de dominio general "listos para usar" son superiores.

Significado y Afirmaciones
El artículo afirma proporcionar orientación práctica para la selección de modelos en bioacústica bajo supervisión limitada. El hallazgo principal es que la escala de preentrenamiento domina el diseño de objetivos en entornos de alta resolución de tamaño moderado. Los autores concluyen que:

1. El preentrenamiento adicional de reconstrucción enmascarada en datos específicos del dominio proporciona beneficios limitados e incluso puede degradar el rendimiento en comparación con el uso de modelos listos para usar preentrenados en corpus generales masivos.
2. El filtrado selectivo de datos ofrece ventajas insignificantes cuando la escala general de datos es limitada.
3. El ajuste fino supervisado a partir de modelos preentrenados de dominio general es la estrategia dominante para conjuntos de datos de tamaño moderado, mientras que los beneficios del preentrenamiento dentro del dominio probablemente solo emergen en escalas de datos mucho mayores.

Estos hallazgos aclaran cuándo es efectivo el preentrenamiento basado en MAE, sugiriendo que para la investigación ecológica con disponibilidad moderada de datos, aprovechar el audio general a gran escala o incluso el preentrenamiento de imágenes es más efectivo que intentar curar y preentrenar en conjuntos de datos bioacústicos específicos y más pequeños.