S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models

1. Planteamiento del Problema

Los modelos fundacionales de audio generales han logrado un rendimiento de vanguardia en diversas tareas, pero sufren costos computacionales extremos debido a su tamaño masivo (a menudo cientos de millones de parámetros). Esto limita su despliegue en dispositivos periféricos con recursos limitados (por ejemplo, teléfonos móviles, sistemas embebidos).

Si bien la Destilación de Conocimiento (KD) es una técnica estándar para la compresión de modelos, los métodos existentes en audio dependen principalmente de configuraciones de Aprendizaje Supervisado (SL). Estos enfoques tradicionales requieren:

• Logits de Clase: Coinciden con las distribuciones de probabilidad de las predicciones de clase, las cuales los modelos auto-supervisados (SSL) no generan.
• Especificidad Arquitectónica: Muchos métodos requieren alinear capas intermedias, lo que necesita arquitecturas similares entre el profesor y el estudiante.
• Dependencia de Etiquetas: Dependen de etiquetas de verdad fundamental para el muestreo o el cálculo de la pérdida.

En consecuencia, existe una falta de marcos efectivos para destilar modelos de audio SSL basados en incrustaciones (que solo generan representaciones latentes) en modelos estudiantes eficientes sin requerir etiquetas de clase ni alineación arquitectónica.

2. Metodología: S-SONDO

Los autores proponen S-SONDO (Destilación de Conocimiento Auto-supervisada para Modelos Fundacionales de Audio Generales), un marco diseñado para destilar modelos de audio generales utilizando únicamente incrustaciones de salida.

Arquitectura Central

El pipeline consta de tres componentes principales (ilustrados en la Fig. 1 del artículo):

1. Profesor Pre-entrenado ($g_\gamma$): Un modelo fundacional SSL grande (por ejemplo, MATPAC++, M2D) que genera incrustaciones latentes de alta dimensión ($Z_t$) a partir de audio crudo.
2. Codificador Estudiante ($f_\theta$): Un modelo ligero y eficiente (por ejemplo, MobileNetV3, DyMN, ERes2Net) que genera sus propias incrustaciones ($Z_s$).
3. Cabeza de Mapeo ($h_\beta$): Un Perceptrón Multicapa (MLP) que proyecta las incrustaciones del estudiante en el espacio latente del profesor. Esto es crucial porque el estudiante y el profesor a menudo tienen dimensiones de incrustación diferentes ($d_s \neq d_t$). La incrustación del estudiante proyectada se denota como $Z'_s$.

Objetivo de Entrenamiento

A diferencia de la KD estándar que minimiza la diferencia entre logits, S-SONDO minimiza la distancia entre las incrustaciones del estudiante proyectadas ($Z'_s$) y las incrustaciones del profesor ($Z_t$) en el espacio semántico del profesor.

El artículo evalúa varias funciones de pérdida ($L_{KD}$) para determinar la estrategia de alineación más efectiva:

• $L_{MSE}$ & $L_{L1}$: Penalizaciones de distancia elemento a elemento.
• $L_{cos}$ (Similitud Coseno): Mide la similitud angular entre vectores.
• $L_{CLAP}$: Una pérdida contrastiva adaptada del modelo CLAP.
• $L_{KL}$: Divergencia Kullback-Leibler (tratando las incrustaciones como distribuciones de probabilidad).

Hallazgo Clave: La Similitud Coseno ($L_{cos}$) se identifica como la pérdida predeterminada y más robusta. Las pérdidas elemento a elemento (MSE/L1) son subóptimas porque la información semántica en las incrustaciones SSL se codifica en direcciones relativas en lugar de coordenadas absolutas. La divergencia KL es inapropiada ya que las incrustaciones SSL no son distribuciones de probabilidad.

Muestreo de Datos Equilibrado (BDS)

Para abordar el desequilibrio de clases sin etiquetas de verdad fundamental, los autores adaptan el Muestreo de Datos Equilibrado (BDS):

1. Agrupamiento: Las incrustaciones del profesor se agrupan (por ejemplo, usando K-Means con $k=50$) para generar pseudo-etiquetas.
2. Ponderación: Las muestras se ponderan inversamente proporcionales a la frecuencia de su grupo ($w_i = \frac{1}{freq(grupo) + 100}$).
3. Muestreo: Durante el entrenamiento, los lotes se muestrean basándose en estos pesos para asegurar que los grupos semánticos raros estén adecuadamente representados.

3. Contribuciones Clave

1. Primer Marco KD SSL Solo de Incrustaciones: S-SONDO es el primer método para destilar modelos fundacionales de audio generales utilizando únicamente incrustaciones de salida, eliminando la necesidad de logits de clase o alineación de capas intermedias.
2. Agnosticismo Arquitectónico: Al utilizar una cabeza de mapeo y centrarse en las incrustaciones finales, el método funciona independientemente de las diferencias arquitectónicas entre el profesor (basado en Transformer) y el estudiante (basado en CNN).
3. Análisis de Funciones de Pérdida: El artículo evalúa sistemáticamente las funciones de pérdida para KD SSL, estableciendo la Similitud Coseno como la opción superior sobre MSE, L1 y divergencia KL para esta tarea específica.
4. Muestreo Sin Etiquetas: Demuestra la efectividad de usar pseudo-etiquetas basadas en agrupamiento para realizar muestreo de datos equilibrado en un entorno auto-supervisado.

4. Resultados Experimentales

El método se evaluó utilizando dos profesores (MATPAC++ y M2D, ambos con ~86M de parámetros) y tres estudiantes (MobileNetV3, DyMN, ERes2Net, que van de 1.4M a 8.7M de parámetros) en siete tareas de etiquetado de audio posteriores (música y sonidos ambientales).

Métricas Clave de Rendimiento:

• Retención de Rendimiento: Los estudiantes destilados retuvieron hasta un 96.4% del rendimiento del profesor (específicamente, MobileNetV3 destilado de MATPAC++).
• Compresión: Los estudiantes fueron hasta 61 veces más pequeños que los profesores.
• Superación de Líneas Base Supervisadas: En 4 de 6 combinaciones profesor-estudiante, los modelos destilados con S-SONDO superaron a las mismas arquitecturas de estudiantes entrenadas mediante aprendizaje supervisado estándar.
  • Ejemplo: MobileNetV3 destilado de MATPAC++ logró una puntuación promedio de 73.0, en comparación con 72.0 para la línea base supervisada.
• Comparación de Pérdidas: La pérdida de coseno produjo el mejor rendimiento promedio (72.7), seguida de cerca por CLAP (72.3). MSE y L1 tuvieron un rendimiento significativamente peor.
• Impacto de BDS: El Muestreo de Datos Equilibrado fue crítico para modelos de capacidad más pequeña (como ERes2Net). Sin BDS, ERes2Net destilado de MATPAC++ colapsó (descendiendo de 70.8 a 44.8).

5. Significado y Conclusión

S-SONDO aborda un cuello de botella crítico en el despliegue de IA de audio: la compensación entre la capacidad del modelo y la eficiencia computacional. Al demostrar que únicamente la alineación de incrustaciones es suficiente para una destilación de alta calidad, el artículo permite:

• Despliegue en Dispositivos Periféricos: Hacer viables modelos fundacionales potentes para hardware móvil y embebido.
• Generalizabilidad: Un marco aplicable a cualquier modelo SSL basado en incrustaciones, no solo a aquellos con arquitecturas específicas o cabezas de clasificación.
• Direcciones Futuras: Los autores sugieren que mejorar la estrategia de agrupamiento para tareas de múltiples etiquetas y refinar los objetivos contrastivos (para manejar mejor los pares negativos) son vías prometedoras para futuras investigaciones.

En resumen, S-SONDO proporciona una solución robusta, agnóstica a la arquitectura y libre de etiquetas para comprimir grandes modelos fundacionales de audio, logrando un rendimiento cercano al del profesor con una fracción de los parámetros.