AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders

Resumen Técnico: AudioSAE

Planteamiento del Problema
Si bien los Autoencoders Dispersos (Sparse Autoencoders o SAEs) se han convertido en una herramienta estándar para interpretar representaciones densas de procesamiento de lenguaje natural (NLP) y visión por computadora, su aplicación a modelos de procesamiento de audio sigue estando significativamente inexplorada. Los modelos de audio actuales, como Whisper y HuBERT, aprenden representaciones complejas a partir de audio bruto para tareas como el reconocimiento de voz y la comprensión general del audio. Sin embargo, sus mecanismos internos —específicamente cómo codifican la información acústica, semántica y paralingüística— carecen de una interpretabilidad sistemática. Los métodos actuales suelen depender del análisis a nivel de neurona o del agrupamiento de embeddings, lo que puede no ser efectivo para desenredar las características polisemánticas inherentes a las capas de los transformers. Existe la necesidad de determinar si los SAEs pueden descomponer con éxito las representaciones de audio en componentes dispersos, interpretables y accionables.

Metodología
Los autores entrenan Autoencoders Dispersos sobre las activaciones del codificador de dos modelos de audio prominentes: Whisper (un Transformer de codificador-decodificador entrenado con 680k horas de audio multilingüe) y HuBERT (un Transformer de solo codificador entrenado con 60k horas de inglés).

• Arquitectura y Entrenamiento: Los SAEs utilizan una no linealidad de Batch-Top-k, seleccionada empíricamente por su equilibrio superior entre calidad de reconstrucción y dispersión en comparación con Jump-ReLU y Top-k. Los modelos se entrenan utilizando una pérdida de reconstrucción L2 sin regularización auxiliar en un corpus diverso de ~2.8k horas de audio (voz, música, sonidos ambientales).
• Marco de Evaluación: El estudio emplea una estrategia de evaluación multifacética adaptada de los benchmarks de NLP (Karvonen et al., 2025):
  1. Estabilidad: Una métrica de similitud de distribución (Intersección sobre la Unión de patrones de activación binarios) mide la consistencia de las características a través de semillas aleatorias, capas y arquitecturas de modelos.
  2. Especialización de Dominio: Las características se categorizan por frecuencia de activación a través de los dominios de voz, música y sonido ambiental, tanto a nivel de cuadro (frame) como de audio.
  3. Interpretabilidad: Los autores utilizan top-k probing, desaprendizaje (eliminación de características), inspección manual de muestras con mayor activación, alineación de fonemas y auto-interpretación mediante subtitulado de audio y Modelos de Lenguaje Extensos (LLMs).
  4. Utilidad Práctica: Los SAEs se utilizan para dirigir el modelo Whisper para reducir las alucinaciones (detección de falso habla en segmentos sin habla).
  5. Alineación Neurocientífica: Las características de los SAE se correlacionan con la actividad de EEG humano durante la percepción del habla mediante Funciones de Respuesta Temporal (TRFs).

Contribuciones Clave

1. Primer Análisis de Audio SAE a Gran Escala: El artículo proporciona el primer análisis y entrenamiento sistemático de SAEs en todas las capas del codificador de Whisper y Huubert, liberando los modelos y el código.
2. Validación de Estabilidad y Desenredo: Los autores demuestran que más del 50% de las características de los SAE se mantienen consistentes a través de diferentes semillas aleatorias. Muestran que estas características desenredan eficazmente la información acústica/semántica general de eventos específicos (por ejemplo, risa, susurro, estornudo).
3. Desaprendizaje Cuantitativo: El estudio cuantifica el "costo" de borrar conceptos en modelos de audio. Eliminar conceptos de habla específicos (por ejemplo, la vocal "A") requiere la supresión del 19–27% de las características, lo que indica una naturaleza más redundante y distribuida de la información fonética en comparación con los SAEs basados en texto.
4. Dirección Práctica (Steering): Los autores aplican con éxito las características de los SAE para reducir las detecciones de falso habla de Whisper (alucinaciones) en un 70% (reduciendo la Tasa de Falsos Positivos de 0.37 a 0.11) con un impacto insignificante en la Tasa de Error de Palabra (WER).
5. Correlación Neural: El trabajo establece una correlación estadísticamente significativa entre características específicas de los SAE y la actividad de EEG humano (específicamente el electrodo Pz) durante la percepción del habla, lo que sugiere una alineación entre las representaciones del modelo y el procesamiento neural humano.

Resultados

• Consistencia de Características: La cobertura de características entre checkpoints entrenados con diferentes semillas supera el 50%, confirmando su robustez. Sin embargo, las características aprendidas por HuBERT no se alinean con las de Whisper, probablemente debido a diferencias en los objetivos de pre-entrenamiento y los datos.
• Especialización de Capas: Whisper exhibe una especialización pronunciada para características musicales en las capas medias (alcanzando su pico alrededor de la capa 5), mientras que las características relacionadas con el habla muestran patrones distintos tanto a nivel de cuadro como de audio.
• Captura Semántica: Las características de los SAE codifican con éxito fonemas (logrando una precisión de ~0.9 en la alineación de fonemas) y sonidos paralingüísticos. La auto-interpretación mediante subtitulado identificó eventos acústicos únicos como "alarmas resonantes" y "pájaros piando", aunque tuvo dificultades con detalles fonéticos finos debido a las limitaciones del modelo de subtitulado subyacente.
• Reducción de Alucinaciones: Dirigir las 100 principales características de los SAE en Whisper redujo la Tasa de Falsos Positivos (FPR) en un 70% en conjuntos de datos sin habla (Musan, FSD50k, WHAM) manteniendo un aumento de la WER de menos del 0.4% (5.1% a 5.5%).
• Correlación con EEG: Características específicas de los SAE mostraron una correlación significativa con las señales de EEG en retardos de tiempo entre 0 y 500 ms, particularmente para características que se activan en vocales específicas.

Significancia y Reivindicaciones
El artículo afirma llenar un vacío crítico en la interpretabilidad de los modelos de audio al demostrar que los SAEs son herramientas efectivas para descomponer representaciones de audio densas. Los autores sostienen que su trabajo prueba que las características de los SAE sirven como funciones duales: como unidades interpretables que revelan cómo los modelos codifican la información acústica y semántica, y como palancas accionables para dirigir el comportamiento del modelo (por ejemplo, reducir alucinaciones). Además, la correlación con la actividad de EEG sugiere que estas características aprendidas se alinean con el procesamiento neural humano, proporcionando un puente entre la percepción de audio artificial y la biológica. Los autores mantienen una postura modesta, reconociendo que su evaluación está limitada a tareas de clasificación específicas y variantes de modelos base/pequeños, y que se necesita trabajo futuro para explorar tareas de audio más amplias y modelos cerebrales no lineales más sofisticados.