Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks

Resumen Técnico: Explotación de los Latentes de Códecs de Audio Neuronales para Ataques de Audio Adversarios

Planteamiento del Problema
Los sistemas de clasificación de audio basados en aprendizaje profundo, incluyendo la verificación automática de locutor (ASV) y la detección de sonidos ambientales, son vulnerables a ataques adversarios. Mientras que los métodos tradicionales basados en optimización como el Gradiente Descendente Proyectado (PGD) y Carlini–Wagner (C&W) son efectivos, operan en el dominio de la forma de onda de alta dimensionalidad y requieren actualizaciones iterativas costosas. Esta sobrecarga computacional los hace impracticables para escenarios de tiempo real o de transmisión (streaming), los cuales son vectores de ataque críticos para servicios en vivo. Por el contrario, los enfoques generativos existentes (por ejemplo, VAEs, modelos de difusión, métodos autorregresivos) a menudo dependen de arquitecturas pesadas y específicas para cada tarea que incurren en una alta latencia de inferencia o introducen artefactos perceptibles, fallando al intentar equilibrar la eficiencia con la sigilo.

Metodología
Los autores proponen un marco adversario generativo de caja blanca que opera enteramente dentro del espacio latente continuo de un códec de audio neuronal preentrenado, específicamente el Descript Audio Codec (DAC). El enfoque está diseñado como un pipeline completamente diferenciable y de extremo a extremo que consta de cuatro componentes clave:

1. Proyección Latente: Un codificador DAC congelado mapea las formas de onda de audio bruto ($x$) en una representación latente continua y comprimida ($z$). Este espacio de variedad (manifold) estructurado preserva la fidelidad acústica mientras reduce la dimensionalidad, permitiendo que desplazamientos mínimos induzcan cambios semánticos significativos.
2. Generación Condicional: Un generador de alimentación hacia adelante (feed-forward) entrenable ($G_\theta$) sintetiza una perturbación dirigida ($\delta_z$) en una sola pasada hacia adelante. El generador está condicionado en el latente prístino $z$ y en un embedding de clase objetivo ($y_t$ o $v_{tgt}$). Este produce una perturbación residual en lugar de un latente absoluto, utilizando un parámetro de escala aprendible para la estabilidad y una inicialización en cero para asegurar un ruido inicial insignificante.
3. Decodificación Diferenciable: El latente perturbado ($z_{adv}$) es reconstruido en una forma de onda adversaria ($x_{adv}$) a través de un decodificador DAC congelado. Para cerrar la brecha entre la forma de onda y el clasificador víctima, un preprocesador diferenciable realiza la Transformada de Fourier de Tiempo Corto (STFT), el mapeo de banco de filtros Mel y la compresión logarítmica.
4. Objetivo de Optimización: El marco emplea una función de pérdida compuesta unificada que combina una pérdida adversaria (Entropía Cruzada para clasificación, similitud de coseno para maximización en verificación de locutor) con una pérdida de margen para ampliar los límites de decisión y un término de regularización $L_2$ para acotar las perturbaciones. Para estabilizar el paisaje de optimización no convexo, los pesos del generador se mantienen mediante un Promedio Móvil Exponencial (EMA).

Contribuciones Clave

1. Ataque Generativo en el Espacio Latente: El artículo introduce un generador condicional entrenable que manipula representaciones acústicas comprimidas de alto nivel dentro del espacio latente de DAC, evitando la perturbación directa de la forma de onda bruta.
2. Pipeline de Códec Completamente Diferenciable: Al operar en el espacio de pre-cuantización del códec, el método supera la no diferenciabilidad de los libros de códigos (codebooks) discretos, permitiendo la optimización directa basada en gradientes de las perturbaciones latentes.
3. Generación en Tiempo Real: El marco genera ejemplos adversarios en una sola pasada hacia adelante con un tiempo de inferencia inferior a 7 ms por muestra. Esto representa una aceleración de hasta 24× respecto a los baselines generativos y 18,900× respecto a los métodos iterativos como C&W.
4. Éxito de Ataque Alto y Consistente: El método logra Tasas de Éxito de Ataque (ASR) dirigidas de hasta el 99% en modelos de audio basados en CNN y Transformers, demostrando una fuerte generalidad arquitectónica.

Resultados
El método propuesto fue evaluado en cuatro conjuntos de datos de referencia: Google Speech Commands, TAU Urban Acoustic Scenes 2019, UrbanSound8k y LibriSpeech (para verificación de locutor).

• Speech Commands: El método logró un ASR no dirigido de 96.58% y un ASR dirigido de 77.65%, superando a los métodos basados en gradiente (FGSM, PGD, C&W) y a los baselines generativos (FAPG, CGAN) tanto en eficiencia como en efectividad.
• Clasificación de Sonidos Ambientales: En UrbanSound8k y DCASE2019, el enfoque logró ASRs no dirigidos de 99.11% y 100%, respectivamente. En configuraciones dirigidas, logró ASRs de 97.17% y 94.07%, superando significativamente a los baselines iterativos mientras mantenía la latencia más baja (0.0039–0.0056 s).
• Verificación de Locutor: En LibriSpeech, el método logró un ASR no dirigido del 100% y un ASR dirigido del 99.80% contra un modelo ECAPA-TDNN. Fue 23.8× más rápido que el baseline FAPG y órdenes de magnitud más rápido que los métodos iterativos.

Significancia y Reivindicaciones
El artículo afirma abordar una brecha crítica en la evaluación de ataques generativos altamente eficientes y en tiempo real contra la clasificación de audio y los sistemas biométricos. Al aprovechar la variedad latente continua de un códec de audio de propósito general, el marco propuesto combina el sigilo y la fidelidad estructural de la manipulación en el espacio latente con una latencia ultra baja. Los autores sostienen que las variedades semánticas latentes comprimidas representan una superficie adversaria poderosa pero previamente inexplorada, permitiendo altas tasas de éxito de ataque sin los costos computacionales prohibitivos de la optimización iterativa. Esta viabilidad sugiere que los sistemas de audio de transmisión en tiempo real son más susceptibles a tales ataques de lo que los métodos existentes han demostrado anteriormente. Se señala que el trabajo futuro investigará la transferibilidad de caja negra y las defensas en el espacio latente.