Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models

Resumo Técnico: Detecção de Anomalias Consciente de Dimensionalidade em Representações Aprendidas de Modelos de Fala Auto-supervisionados

1. Declaração do Problema

Modelos de fala auto-supervisionados (S3Ms), como WavLM e wav2vec 2.0, alcançaram desempenho de última geração em tarefas downstream como Reconhecimento Automático de Fala (ASR). No entanto, suas representações internas permanecem pouco compreendidas quando submetidas a perturbações naturais (benignas) e adversariais. Pesquisas anteriores dependem amplamente de métricas de similaridade de representação (por exemplo, CCA, CKA) ou medidas de dimensionalidade global (por exemplo, rank efetivo) para analisar esses modelos. Essas abordagens oferecem visibilidade limitada sobre mudanças geométricas locais dentro do espaço de representação aprendido.

Os autores formulam uma questão crítica: como as perturbações deformam a geometria local das representações de S3M, e essas mudanças geométricas correlacionam-se com a degradação do ASR downstream? Especificamente, eles investigam se a Dimensionalidade Intrínseca Local (LID) pode servir como uma ferramenta de diagnóstico para detectar anomalias e monitorar a robustez sem exigir transcrições de verdade fundamental.

2. Metodologia: O Framework GRIDS

Os autores propõem o GRIDS (Robustez Geométrica via Dimensionalidade Intrínseca em Fala), um framework que utiliza LID para analisar representações camada por camada em S3Ms baseados em transformers.

• Dimensionalidade Intrínseca Local (LID): A LID quantifica as propriedades geométricas das representações aprendidas medindo a taxa na qual o número de amostras vizinhas cresce à medida que o raio em torno de uma amostra de referência aumenta. Ela estima a dimensionalidade local efetiva (graus de liberdade) necessária para descrever a vizinhança de uma amostra.
• Configuração Experimental:
  • Modelos: WavLM e wav2vec 2.0 (variantes BASE, 12 camadas).
  • Dados: 918 pares de enunciados do LibriSpeech test-clean, garantindo que enunciados idênticos sejam usados em todos os tipos de perturbação para comparação justa.
  • Perturbações:
    • Benignas: Ruído gaussiano, ruído de babble Noizeus e fala concorrente (LibriSpeech), todos reescalados para corresponder a Relações Sinal-Ruído (SNR) alvo de 0, 10, 20, 30 e 40 dB.
    • Adversariais: Ataques de Descida de Gradiente Projetada (PGD) sob um orçamento limitado por $\ell_2$ calibrado para a mesma SNR alvo. Dois objetivos foram utilizados: Erro Quadrático Médio (MSE) para distorcer representações da camada final, e perda de Classificação Temporal Conectista (CTC) para interromper transcrições.
• Cálculo da LID:
  • Embeddings em nível de quadro são extraídos de cada uma das 12 camadas do transformer.
  • A LID local é estimada por quadro usando uma abordagem de $k$-vizinhos mais próximos (kNN) (estimador MLE de Levina–Bickel).
  • Agregação: Para análise geométrica e monitoramento de ASR, as LIDs em nível de quadro são agregadas via média harmônica para produzir resumos em nível de camada e nível de condição. Para detecção de anomalias, vetores de características de 12 dimensões em nível de enunciado (um valor de LID por camada) são construídos.
  • Seleção de Hiperparâmetros: O tamanho da vizinhança $k$ não é fixo globalmente, mas selecionado por condição para maximizar a estabilidade e a discriminabilidade da mudança de LID induzida pela perturbação ($\Delta$LID).

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Análise Geométrica LID–S3M: Uma medição camada por camada de mudanças geométricas locais em representações aprendidas através de condições limpas, benignas e adversariais.
2. Monitoramento LID–ASR: Evidência empírica demonstrando que aumentos na LID associam-se positivamente à degradação da Taxa de Erro de Palavras (WER), ligando mudanças geométricas ao desempenho da tarefa downstream.
3. LID–AD para Detecção de Anomalias: O desenvolvimento de um conjunto de características derivado de LID de 12 dimensões que permite a classificação de entradas adversariais versus benignas, alcançando altas pontuações AUROC.

4. Resultados e Análise

Comportamento Geométrico (LID-S3M):

• Efeitos de Perturbação: Todas as perturbações aumentam a LID em SNR baixo. No entanto, uma divergência ocorre em SNR alto (30–40 dB): o ruído benigno converge para o perfil limpo (LID diminui), enquanto entradas adversariais mantêm LID elevada, particularmente nas camadas iniciais do transformer.
• Trajetórias Camada por Camada: Perturbações adversariais causam a elevação de LID mais persistente nas camadas iniciais. Embora interferência benigna também eleve a LID em SNR baixo, ela diminui rapidamente à medida que o SNR melhora. Isso sugere que a distorção geométrica em camadas iniciais é um marcador relativo de mudanças adversariais sob condições de SNR correspondidas.
• Diferenças entre Modelos: A tendência se mantém tanto para WavLM quanto para wav2vec 2.0, embora o WavLM (treinado com objetivos de remoção de ruído) mostre perfis de robustez ligeiramente diferentes. Ataques PGD-MSE geralmente produzem elevações de LID maiores e mais persistentes do que ataques PGD-CTC.

Correlação com ASR (LID-ASR):

• Há uma coocorrência consistente entre mudanças geométricas ($\Delta$LID) e degradação de ASR ($\Delta$WER). Ambas as métricas diminuem à medida que o SNR aumenta.
• Em SNR baixo (0–10 dB), ataques adversariais e interferência benigna severa (sobreposição de fala) causam os maiores desvios tanto em LID quanto em WER.
• Notavelmente, em SNR alto, corrupções benignas resultam em aumentos de WER próximos de zero, enquanto ataques adversariais mantêm uma pegada não trivial de $\Delta$LID mesmo quando os aumentos de WER são pequenos. Isso indica que a LID pode detectar deslocamento geométrico mesmo quando erros de decodificação são mínimos.

Detecção de Anomalias (LID-AD):

• Um classificador de regressão logística leve treinado nos vetores de LID de 12 dimensões distingue efetivamente entradas adversariais de benignas.
• Desempenho: O framework alcança pontuações AUROC variando de 0,78 a 1,00 através de diferentes modelos e níveis de SNR.
  • WavLM com ataques MSE mostrou a maior separabilidade (AUROC 0,99 em 0–20 dB).
  • O desempenho degrada em SNR alto (40 dB) à medida que entradas benignas e adversariais convergem para a variedade limpa, reduzindo a separabilidade.
• Robustez à Taxa de Sucesso: O classificador mantém poder discriminativo mesmo quando a Taxa de Sucesso do Ataque (SR) é baixa (por exemplo, WavLM-CTC em 30 dB teve um AUROC de 0,92 apesar de uma SR de apenas 0,04), sugerindo que a LID captura anomalias geométricas que nem sempre se manifestam como falhas imediatas de transcrição.

5. Significado e Alegações

Os autores afirmam que o GRIDS fornece uma capacidade de monitoramento sem transcrição para S3Ms. Ao alavancar a LID, o framework oferece um diagnóstico geométrico interpretável que:

• Detecta entradas adversariais sem necessidade de rótulos de verdade fundamental ou transcrições.
• Revela que a distorção geométrica se propaga através de representações iniciais antes de ser parcialmente absorvida por camadas mais profundas.
• Complementa análises baseadas em similaridade existentes ao capturar distorções locais que medidas globais perdem.

O artigo conclui modestamente, notando limitações atuais: o estudo é restrito a variantes de S3M de 12 camadas e ataques não direcionados. Trabalho futuro é proposto para escalar para arquiteturas maiores, estender-se a tarefas críticas de segurança (por exemplo, verificação de locutor) e combinar LID com medidas espectrais globais para caracterização geométrica multi-escala.