Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

Resumen Técnico: Difusión en el Espacio de Incrustación para la Clasificación de Sonidos Ambientales de Cero Disparos (Zero-Shot)

Planteamiento del Problema
El aprendizaje de cero disparos (Zero-Shot Learning o ZSL) tiene como objetivo permitir que los modelos clasifiquen clases no vistas aprovechando la información semántica, cerrando la brecha entre los conjuntos de entrenamiento y de prueba con conjuntos de clases disjuntos. Aunque el ZSL ha sido objeto de una investigación significativa en visión por computadora, su aplicación al audio ambiental sigue siendo poco explorada y produce un rendimiento deficiente en los estudios existentes. Los métodos actuales de ZSL para audio ambiental dependen en gran medida de enfoques no generativos (por ejemplo, redes de compatibilidad) o no logran utilizar el éxito de los modelos generativos observado en las tareas de visión. Además, los enfoques generativos existentes en ZSL suelen depender de modelos preentrenados de gran tamaño (como Stable Diffusion) vinculados a modalidades específicas (imágenes y texto), lo que limita su aplicabilidad a los dominios de audio donde tales fundamentos preentrenados pueden no existir o donde los datos de características deben permanecer sin ser vistos durante el preentrenamiento.

Metodología
El artículo propone ZeroDiffusion, un nuevo método generativo para la clasificación de sonidos ambientales de cero disparos que opera enteramente dentro del espacio de incrustación (embedding space), evitando la necesidad de modelos generativos preentrenados. La metodología consta de tres etapas principales:

1. Generación de Incrustaciones (Embeddings):

   • Incrustaciones de Clase ($\sigma(z)$): Las etiquetas de clase se convierten en vectores de 300 dimensiones utilizando un modelo Word2Vec preentrenado. Para enriquecer estas incrustaciones, se añaden sinónimos para la mayoría de los conjuntos de datos (excepto ARCA23K-FSD y GTZAN debido a restricciones de tamaño o género).
   • Incrustaciones de Audio ($\tau(w)$): Se entrena un modelo YAMNet modificado en clases vistas para extraer incrustaciones de audio de 128 dimensiones a partir de espectrogramas Mel logarítmicos. Esto asegura que el extractor de características no "vea" inadvertidamente las clases no vistas durante el preentrenamiento.

2. Entrenamiento del Modelo de Difusión:

   • Una red neuronal ligera, totalmente conectada, se entrena como un modelo de difusión condicionado por datos auxiliares de clase.
   • Entrada: El modelo toma una incrustación de audio con ruido inyectado ($\tilde{\tau}(w)$) concatenada con una incrustación de clase con fluctuación o jitter ($\tilde{\sigma}(z)$).
   • Objetivo: El modelo aprende a reconstruir la incrustación de audio original a partir de la entrada ruidosa, condicionada por la incrustación de clase.
   • Función de Pérdida: El objetivo de entrenamiento combina cinco componentes: Error Cuadrático Medio (reconstrucción), Discrepancia de la Media Máxima (alineación de distribución), pérdida de varianza (diversidad), alineación del centroide global y pérdida de similitud de coseno (alineación direccional).
   • Generación: Una vez entrenado, el modelo genera incrustaciones de audio sintéticas para clases no vistas alimentando el modelo con ruido aleatorio y sus correspondientes incrustaciones de clase.

3. Entrenamiento del Clasificador:

   • Se entrena una red de compatibilidad no lineal (basada en el Embebido de Atributos y Etiquetas, ALE) utilizando una combinación de incrustaciones de audio reales de clases vistas y las incrustaciones sintéticas generadas para las clases no vistas.
   • El clasificador aprende una función de similitud $f(w, z)$ para mapear los datos de características a etiquetas de clase sin haber visto nunca los muestras de audio reales de las clases no vistas.

Configuración Experimental
El estudio evalúa cuatro métodos a través de seis conjuntos de datos: ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019 y GTZAN.

• Líneas Base (Baselines):
  • ALE No Lineal: Una línea base no generativa de vanguardia para audio ambiental.
  • CADA-VAE: Un Autoencoder Variacional (VAE) de alineación cruzada y alineación de distribución adaptado de la visión por computadora.
  • LisGAN: Una Red Generativa Adversaria de Aprendizaje de Lado Invariante (Leveraging Invariant Side Generative Adversarial Network), adaptada al entorno inductivo (eliminando componentes transductivos).
• Protocolo: Los experimentos se repitieron diez veces con diferentes semillas aleatorias. Se utilizaron particiones de ALE no lineales estándar para ESC-50, mientras que se crearon nuevas particiones aleatorias para los otros conjuntos de datos.

Resultados Clave

• Rendimiento: ZeroDiffusion logró la precisión promedio más alta en los seis conjuntos de datos (34.86%), superando a la línea base de ALE no lineal (32.27%), a CADA-VAE (31.37%) y a LisGAN (29.36%).
• Especificidades de los Conjuntos de Datos:
  • ZeroDiffusion mostró mejoras significativas en ARCA23K-FSD y TAU Urban Acoustics 2019.
  • Se desempeñó de manera competitiva con las líneas base en UrbanSound8k y GTZAN.
  • En ESC-50 y FSC22, los resultados fueron mixtos; ZeroDiffusion no superó consistentemente a todos los métodos en cada iteración (fold), y el rendimiento fue notablemente inestable en los conjuntos de prueba de FSC22.
• Estabilidad: Los métodos generativos (incluyendo ZeroDiffusion) exhibieron desviaciones estándar más altas entre las ejecuciones en comparación con la línea base no generativa de ALE. Por ejemplo, CADA-VAE mostró hasta un 8.08% de desviación estándar en UrbanSound8k, mientras que ALE se mantuvo alrededor del 1%.
• Dependencia de los Datos: Los autores observaron que el rendimiento de ZeroDiffusion se correlacionaba con el tamaño del conjunto de datos. Los conjuntos de datos con más muestras por clase (por ejemplo, TAU 2019 con 1,440 muestras/clase) produjeron mejores resultados, mientras que los conjuntos más pequeños (ESC-50 con 40 muestras/clase) mostraron inestabilidad.

Contribuciones y Significado
El artículo afirma las siguientes contribuciones:

1. Primer Difusión en el Espacio de Incrustación para ZSL: Introduce el primer método basado en difusión para el aprendizaje de cero disparos que opera en el espacio de incrustación sin depender de modelos generativos preentrenados (como Stable Diffusion), lo que lo hace agnóstico a la modalidad.
2. Nuevo Estado del Arte: Establece un nuevo estado del arte para la clasificación de sonidos ambientales de cero disparos, superando o igualando a los métodos existentes en seis diversos conjuntos de datos de audio.
3. Nuevos Benchmarks: Proporciona los primeros benchmarks de aprendizaje de cero disparos para FSC22, ARCA23K-FSD y TAU Urban Acoustics 2019.
4. Comparación Exhaustiva: Ofrece la primera comparación directa de GANs (LisGAN), VAEs (CADA-VAE) y modelos de Difusión para la clasificación de sonidos ambientales de cero disparos.

Significado y Limitaciones
Los autores posicionan este trabajo como un establecimiento de los modelos de difusión como un enfoque prometedor para el aprendizaje de cero disparos, proporcionando una base para la investigación futura. Sin embargo, el artículo es modesto respecto a la fiabilidad de los métodos generativos. Reconoce explícitamente que, si bien ZeroDiffusion mejora la precisión, sufre de una mayor varianza e inestabilidad en comparación con las líneas base no generativas, particularmente en conjuntos de datos más pequeños. Los autores sugieren que la falta de garantías teóricas en el aprendizaje de cero disparos y la dependencia del tamaño del conjunto de datos son áreas críticas para la comprensión futura. El trabajo no pretende resolver la inestabilidad de los modelos generativos, sino demostrar su potencial para una mayor precisión cuando se dispone de suficientes datos.