Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

Resumen Técnico: Ataques Adversarios de Vocoder de Características Referenciadas a Limpio sobre ASR

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR), particularmente los modelos fundacionales a gran escala como Whisper, se despliegan cada vez más en aplicaciones del mundo real pero siguen siendo vulnerables a ataques adversarios. Los ataques adversarios existentes suelen operar añadiendo pequeñas perturbaciones imperceptibles directamente a la forma de onda de entrada bruta. Los autores identifican dos limitaciones críticas en este enfoque centrado en la forma de onda:

1. Transferibilidad de Caja Negra Limitada: Las perturbaciones de la forma de onda suelen sobreajustarse a los gradientes específicos de un modelo sustituto, fallando al generalizarse a sistemas ASR objetivo no vistos.
2. Vulnerabilidad ante Defensas: Debido a que la señal adversaria está representada explícitamente como ruido de forma de onda aditivo, es fácilmente mitigada por defensas diseñadas para perturbaciones en el espacio de entrada, tales como el entrenamiento adversario y el preprocesamiento de entrada (p. ej., filtrado de paso bajo, WaveGuard).

Metodología: Ataque de Vocoder de Características Referenciadas a Limpio
El artículo propone un ataque de caja negra basado en un modelo sustituto que desplaza el espacio de búsqueda adversaria de las formas de onda brutas hacia las representaciones de características de Aprendizaje Auto-Supervisado (SSL). El núcleo del proceso implica tres etapas:

1. Extracción de Características: Un codificador SSL congelado (p. ej., WavLM-Large) extrae representaciones acústico-fonéticas por cuadro ($q$) a partir de la entrada de audio limpia.
2. Perturbación en el Espacio de Características: En lugar de modificar la forma de onda, el método optimiza una perturbación aprendible ($\delta$) directamente dentro del espacio de características SSL. La trayectoria de la característica perturbada se define como $z(\delta) = q + \delta$. Esta perturbación está restringida por un radio normalizado en el espacio de características para controlar el presupuesto del ataque.
3. Reconstrucción por Vocoder: Las características perturbadas se reconstruyen en una forma de onda adversaria utilizando un vocoder neuronal congelado (p. ej., HiFi-GAN). La forma de onda adversaria final se genera como $x_{adv} = V(E(x) + \delta)$.

Objetivo de Optimización
El ataque optimiza una función de pérdida compuesta para maximizar los errores de transcripción en un modelo sustituto mientras mantiene la calidad perceptual:

• Pérdida de Ataque: Maximiza la log-verosimilitud negativa de la transcripción de referencia en el modelo ASR sustituto, impulsando al modelo a reconocer erróneamente el audio.
• Pérdida Perceptual Referenciada a Limpio: Para evitar la inestabilidad temporal y los artefactos de alta frecuencia introducidos por el vocoder, el método emplea un regularizador que hace referencia al audio limpio. Esto incluye:
  • Penalización de Jitter Temporal: Minimiza la varianza entre cuadros de características consecutivos.
  • Penalización de Energía de Alta Frecuencia: Restringe la energía de alta frecuencia del audio generado en relación con la referencia limpia, asegurando que la perturbación no introduzca componentes espectrales antinaturales.

Contribuciones Clave

1. Nuevo Espacio de Ataque: Introducción de un espacio de ataque de vocoder de características referenciadas a limpio donde los ejemplos adversarios se generan perturbando las características del habla SSL en lugar de añadir ruido a la forma de onda.
2. Diseño de Marco de Trabajo: Un marco que incrusta variaciones adversarias en las representaciones SSL y las reconstruye en audio de sonido natural a través de un vocoder congelado, eludiando el supuesto explícito de ruido aditivo de las defensas actuales.
3. Validación Empírica: Experimentos extensos que demuestran que este enfoque revela un "punto ciego" en las evaluaciones actuales de robustez de ASR, específicamente respecto a las defensas diseñadas para perturbaciones limitadas por la forma de onda.

Resultados Experimentales
El método fue evaluado en los conjuntos de datos LibriSpeech (inglés) y AISHELL-1 (chino) contra modelos de la familia Whisper y arquitecturas basadas en CTC (HuBERT, Wav2Vec2).

• Transferibilidad: Optimizado únicamente en un sustituto Whisper-small, el ataque logró una mejora de +26.6% en WER sobre la línea base de estado del arte (SOTA) al transferirse a modelos objetivo de caja negra. Se mantuvo efectivo a través de diferentes capacidades de modelo (desde Tiny hasta Large) y arquitecturas (Whisper vs. CTC).
• Robustez ante Defensas: El método superó significativamente a las líneas base tanto ante defensas de entrenamiento adversario (p. ej., CE-AT, DT-AT) como ante defensas de preprocesamiento de entrada (p. ej., LPF, WaveGuard). En modelos defendidos, mostró una mejora de +36.2% en WER en inglés y una mejora de +31.3% en CER en chino comparado con las líneas base SOTA.
• Imperceptibilidad: Estudios humanos y métricas objetivas (DNS-MOS, NISQA, UTMOS) confirmaron que el audio adversario es en gran medida indistinguible del habla limpia. En evaluaciones humanas, el 86% de las muestras emparejadas fueron juzgadas como indistinguibles, y el audio adversario permaneció inteligible para los humanos (WER de transcripción humana de 5.47%).
• Viabilidad Física: Experimentos preliminares de aire-a-aire (OTA) demostraron que el ataque retiene una efectividad sustancial (78.23% de WER) incluso después de la reproducción y re-grabación mediante teléfonos inteligentes.

Significancia y Reivindicaciones
El artículo afirma revelar un punto ciego significativo en la evaluación de robustez de los ASR actuales. Argumenta que la robustez contra el ruido de forma de onda aditivo o los prefijos adversarios puede sobreestimar la seguridad real de los sistemas ASR. Al mover el vector de ataque al espacio de características y utilizar un vocoder para la reconstrucción, los autores demuestran que los ejemplos adversarios pueden eludir las defensas que asumen que las perturbaciones están confinadas a la forma de onda de entrada. El trabajo sugiere que las futuras evaluaciones de robustez deben considerar las perturbaciones en el espacio de características y que las defensas actuales son insuficientes contra ataques que explotan la variedad de la generación del habla en lugar de solo el ruido de la forma de onda.