AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders

Resumo Técnico: AudioSAE

Definição do Problema
Embora os Autoencoders Esparsos (SAEs) tenham se tornado uma ferramenta padrão para interpretar representações neurais densas em Processamento de Linguagem Natural (NLP) e Visão Computacional, sua aplicação a modelos de processamento de áudio permanece significativamente subexplorada. Modelos de áudio existentes, como o Whisper e o HuBERT, aprendem representações complexas de áudio bruto para tarefas como reconhecimento de fala e compreensão geral de áudio. No entanto, seus mecanismos internos — especificamente como codificam informações acústicas, semânticas e paralinguísticas — carecem de interpretabilidade sistemática. Os métodos atuais frequentemente dependem de análise ao nível de neurônio ou agrupamento de embeddings, que podem não ser eficazes para o desmembramento das características polissêmicas inerentes às camadas de transformadores. Há uma necessidade de determinar se os SAEs conseguem decompor com sucesso as representações de áudio em componentes esparsos, interpretáveis e acionáveis.

Metodologia
Os autores treinam Autoencoders Esparsos nas ativações de codificador de dois modelos de áudio proeminentes: Whisper (um Transformer codificador-decodificador treinado em 680 mil horas de fala multilingue) e HuBERT (um Transformer apenas codificador treinado em 60 mil horas de inglês).

• Arquitetura e Treinamento: Os SAEs utilizam uma não-linearidade Batch-Top-k, que foi selecionada empiricamente por seu equilíbrio superior entre qualidade de reconstrução e esparsidade em comparação ao Jump-ReLU e Top-k. Os modelos são treinados usando uma perda de reconstrução L2 sem regularização auxiliar em um corpus diversificado de aproximadamente 2,8 mil horas de áudio (fala, música, sons ambientais).
• Estrutura de Avaliação: O estudo emprega uma estratégia de avaliação multifacetada adaptada de benchmarks de NLP (Karvonen et al., 2025):
  1. Estabilidade: Uma métrica de similaridade de distribuição (Interseção sobre União de padrões de ativação binária) mede a consistência de características entre sementes aleatórias, camadas e arquiteturas de modelo.
  2. Especialização de Domínio: As características são categorizadas pela frequência de ativação entre os domínios de fala, música e som ambiental, tanto em nível de quadro quanto de áudio.
  3. Interpretabilidade: Os autores utilizam top-k probing, desaprendizado (remoção de característica), inspeção manual de amostras de maior ativação, alinhamento de fonemas e autointerpretação via legendagem de áudio e Grandes Modelos de Linguagem (LLMs).
  4. Utilidade Prática: Os SAEs são usados para direcionar o modelo Whisper para reduzir alucinações (detecção de fala falsa em segmentos sem fala).
  5. Alinhamento Neurocientífico: As características do SAE são correlacionadas com a atividade de EEG humano durante a percepção da fala usando Funções de Resposta Temporal (TRFs).
• Contribuições Principais

1. Primeira Análise de Grande Escala de SAE de Áudio: O artigo fornece a primeira análise e treinamento sistemático de SAEs em todas as camadas de codificador do Whisper e do HuBERT, disponibilizando os modelos e o código.
2. Validação de Estabilidade e Desmembramento: Os autores demonstram que mais de 50% das características do SAE permanecem consistentes entre diferentes sementes aleatórias. Eles mostram que essas características desmembram efetivamente informações acústicas/semânticas gerais de eventos específicos (ex: riso, sussurro, espirro).
3. Desaprendizado Quantitativo: O estudo quantifica o "custo" de apagar conceitos em modelos de áudio. Remover conceitos de fala específicos (ex: a vogal "A") requer a supressão de 19–27% das características, indicando uma natureza mais redundante e distribuída da informação fonética em comparação aos SAEs baseados em texto.
4. Direcionamento Prático: Os autores aplicam com sucesso as características do SAE para reduzir as detecções falsas de fala do Whisper (alucinações) em 70% (reduzindo a Taxa de Falso Positivo de 0,37 para 0,11) com impacto negligível na Taxa de Erro de Palavra (WER).
5. Correlação Neural: O trabalho estabelece uma correlação estatisticamente significativa entre características específicas do SAE e a atividade de EEG humano (especificamente o eletrodo Pz) durante a percepção da fala, sugerindo um alinhamento entre as representações do modelo e o processamento neural humano.

Resultos

• Consistência de Características: A cobertura de características entre checkpoints treinados com diferentes sementes excede 50%, confirmando a robustez. No entanto, as características aprendidas pelo HuBERT não se alinham com as do Whisper, provavelmente devido a diferenças nos objetivos de pré-treinamento e dados.
• Especialização de Camada: O Whisper exibe uma especialização pronunciada para características musicais em camadas médias (atingindo o pico por volta da camada 5), enquanto características relacionadas à fala mostam padrões distintos tanto em nível de quadro quanto de áudio.
• Captura Semântica: As características do SAE codificam com sucesso fonemas (alcançando ~0,9 de precisão no alinhamento de fonemas) e sons paralinguísticos. A autointerpretação via legendagem identificou eventos acústicos únicos como "alarmes tocando" e "pássaros cantando", embora tenha tido dificuldades com detalhes fonéticos finos devido às limitações do modelo de legendagem subjacente.
• Redução de Alucinação: Direcionar as top-100 características do SAE no Whisper reduziu a Taxa de Falso Positivo (FPR) em 70% em datasets sem fala (Musan, FSD50k, WHAM) mantendo um aumento de WER inferior a 0,4% (5,1% para 5,5%).
• Correlação com EEG: Características específicas do SAE mostraram correlação significativa com sinais de EEG em atrasos de tempo entre 0 e 500ms, particularmente para características que ativam em vogais específicas.

Significância e Alegações
O artigo afirma preencher uma lacuna crítica na interpretabilidade de modelos de áudio ao demonstrar que os SAEs são ferramentas eficazes para decompor representações de áudio densas. Os autores sustentam que seu trabalho prova que as características do SAE servem duplos papéis: como unidades interpretáveis que revelam como os modelos codificam informações acústicas e semânticas, e como alavancas acionáveis para direcionar o comportamento do modelo (ex: reduzir alucinações). Além disso, a correlação com a atividade de EEG sugere que essas características aprendidas se alinham com o processamento neural humano, fornecendo uma ponte entre a percepção de áudio artificial e biológica. Os autores mantêm uma postura modesta, reconhecendo que sua avaliação é limitada a tarefas de classificação específicas e variantes de modelos base/pequenos, e que trabalhos futuros são necessários para explorar tarefas de áudio mais amplas e modelos cerebrais não lineares mais sofisticados.