Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

Resumo Técnico: Ataques Adversários de Vocoder de Características Referenciados ao Áudio Limpo em ASR

Declaração do Problema
Sistemas de Reconhecimento Automático de Fala (ASR), particularmente modelos de fundação de grande escala como o Whisper, estão cada vez mais sendo implantados em aplicações do mundo real, mas permanecem vulneráveis a ataques adversários. Os ataques adversários existentes operam tipicamente adicionando pequenas perturbações imperceptíveis diretamente à forma de onda bruta do input. Os autores identificam duas limitações críticas nesta abordagem centrada na forma de onda:

1. Transferibilidade Black-Box Limitada: Perturbações na forma de onda frequentemente sofrem overfitting aos gradientes específicos de um modelo substituto (surrogate), falhando em generalizar para sistemas ASR alvo não vistos.
2. Vulnerabilidade a Defesas: Como o sinal adversário é explicitamente representado como ruído de forma de onda aditivo, ele é facilmente mitigado por defesas adaptadas para perturbações no espaço de entrada, como treinamento adversário e pré-processamento de entrada (ex: filtragem passa-baixa, waveguard).

Metodologia: Ataque de Vocoder de Características Referenciado ao Áudio Limpo
O artigo propõe um ataque black-box baseado em substituto que desloca o espaço de busca adversária da forma de onda bruta para as representações de características de Aprendizado Auto-Supervisionado (SSL). O pipeline central envolve três estágios:

1. Extração de Características: Um codificador SSL congelado (ex: WavLM-Large) extrai representações acústico-fonéticas de nível de quadro ($q$) do áudio limpo de entrada.
2. Perturbação no Espaço de Características: Em vez de modificar a forma de onda, o método otimiza uma perturbação aprendível ($\delta$) diretamente dentro do espaço de características SSL. A trajetória de características perturbada é definida como $z(\delta) = q + \delta$. Esta perturbação é restringida por um raio normalizado no espaço de características para controlar o orçamento do ataque.
3. Reconstrução por Vocoder: As características perturbadas são reconstruídas em uma forma de onda adversária usando um vocoder neural congelado (ex: HiFi-GAN). O áudio adversário final é gerado como $x_{adv} = V(E(x) + \delta)$.

Objetivo de Otimização
O ataque otimiza uma função de perda composta para maximizar erros de transcrição em um modelo substituto enquanto mantém a qualidade perceptiva:

• Perda de Ataque (Attack Loss): Maximiza a log-verossimilhança negativa da transcrição real no modelo ASR substituto, levando o modelo a reconhecer incorretamente o áudio.
• Perda Perceptiva Referenciada ao Áudio Limpo (Clean-Referenced Perceptual Loss): Para evitar instabilidade temporal e artefatos de alta frequência introduzidos pelo vocoder, o método emprega um regularizador que referencia o áudio limpo. Isso inclui:
  • Penalidade de Jitter Temporal: Minimiza a variância entre quadros de características consecutivos.
  • Penalidade de Energia de Alta Frequência: Restringe a energia de alta frequência do áudio gerado em relação à referência limpa, garantindo que a perturbação não introduza componentes espectrais não naturais.

Principais Contribuições

1. Novo Espaço de Ataque: Introdução de um espaço de ataque de vocoder de características referenciado ao áudio limpo, onde exemplos adversários são gerados perturbando características de fala SSL em vez de adicionar ruído à forma de onda.
2. Design de Framework: Um framework que incorpora variações adversárias em representações SSL e as reconstrói em áudio de som natural via um vocoder congelado, contornando a suposição explícita de ruído aditivo das defesas atuais.
3. Validação Empírica: Experimentos extensos demonstrando que esta abordagem revela um "ponto cego" nas avaliações atuais de robustez de ASR, especificamente em relação a defesas projetadas para perturbações limitadas pela forma de onda.

Resultos Experimentais
O método foi avaliado nos conjuntos de dados LibriSpeech (Inglês) e AISHELL-1 (Chinês) contra modelos da família Whisper e arquiteturas baseadas em CTC (HuBERT, Wav2Vec2).

• Transferibilidade: Otimizado unicamente em um substituto Whisper-small, o ataque alcançou uma melhoria de +26,6% na WER sobre o baseline de estado da arte (SOTA) ao ser transferido para modelos alvo black-box. Permaneceu eficaz através de diferentes capacidades de modelo (Tiny a Large) e arquiteturas (Whisper vs. CTC).
• Robustez a Defesas: O método superou significativamente os baselines contra defesas de treinamento adversário (ex: CE-AT, DT-AT) e defesas de pré-processamento de entrada (ex: LPF, WaveGuard). Em modelos defendidos, mostrou uma melhoria de +36,2% na WER em Inglês e +31,3% na CER em Chinês comparado aos baselines SOTA.
• Imperceptibilidade: Estudos humanos e métricas objetivas (DNS-MOS, NISQA, UTMOS) confirmaram que o áudio adversário é amplamente indistinguível do áudio de fala limpa. Em avaliações humanas, 86% das amostras pareadas foram julgadas como indistinguíveis, e o áudio adversário permaneceu inteligível para humanos (WER de transcrição humana de 5,47%).
• Viabilidade Física: Experimentos preliminares over-the-air (OTA) demonstraram que o ataque retém eficácia substancial (78,23% de WER) mesmo após reprodução e regravação via smartphones.

Significância e Alegações
O artigo alega revelar um ponto cego significativo nas avaliações de robustez de ASR atuais. Argumenta-se que a robustez contra ruído de forma de onda aditivo ou prefixos adversários pode superestimar a segurança real dos sistemas ASR. Ao mover o vetor de ataque para o espaço de características e utilizar um vocoder para reconstrução, os autores demonstram que exemplos adversários podem contornar defesas que assumem que as perturbações estão confinadas à forma de onda de entrada. O trabalho sugere que futuras avaliações de robustez devem considerar perturbações no espaço de características e que as defesas atuais são insuficientes contra ataques que exploram o manifold de geração de fala em vez de apenas o ruído da forma de onda.