The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

Resumen Técnico: La fragilidad percibida de las explicaciones en los modelos de audio

Planteamiento del problema
La proliferación del audio sintético ha hecho necesaria la implementación de sistemas de detección de deepfakes, que dependen cada vez más de métodos de IA explicable (XAI) para fomentar la confianza mediante el resaltado de los artefactos acústicos que impulsan las decisiones del modelo. Sin embargo, esta dependencia introduce una vulnerabilidad de seguridad crítica: la fragilidad de las propias explicaciones. Si bien la susceptibilidad de los mapas de atribución a la manipulación adversarial ha sido ampliamente documentada en la visión por computador (Ghorbani et al., 2019; Dombrowski et al., 2019; Heo et al., 2019), sus implicaciones para los modelos de audio permanecen en gran medida sin abordar. Los ataques existentes basados en visión utilizan normas $L_p$ para medir el coste de la manipulación, una métrica que no correlaciona con la percepción auditiva humana (Abdullah et al., 2021). En consecuencia, existe una falta de marcos específicos del dominio para determinar si las técnicas de XAI para audio proporcionan interpretaciones robustas o si pueden desacoplarse del límite de decisión del clasificador mediante perturbaciones imperceptibles.

Metodología
Para investigar esta vulnerabilidad, los autores proponen un nuevo marco de optimización diseñado para manipular los mapas de calor de las explicaciones post-hoc mientras se preserva estrictamente la predicción final del modelo y se mantiene una calidad de audio imperceptible.

• Modelos objetivo y métodos XAI: El estudio evalúa tres arquitecturas distintas que representan diferentes paradigmas de extracción de características: VGGish (convolucional clásica), Audio Spectrogram Transformer (AST, auto-atención) y SpecTTTra (basada en atención, diseñada para el conjunto de datos SONICS). Se analizan dos métodos de atribución post-hoc: Grad-CAM (gradientes de primer orden) y Propagación de Relevancia por Capas (LRP, basada en conservación).
• Estrategias de ataque: Se aplican tres metodologías a 100 grabaciones muestreadas del conjunto de datos de deepfakes SONICS:
  1. PGD estándar: Un ataque acotado por $L_\infty$ que minimiza la similitud estructural entre los mapas originales y los perturbados, sirviendo como línea base sin restricciones perceptivas.
  2. X-Shift (Adaptado): Una estrategia de desplazamiento espacial que fuerza la relevancia hacia una región objetivo irrelevante.
  3. Modelado de ruido psicoacústico (Propuesto): Un marco personalizado que incorpora un umbral de enmascaramiento psicoacústico dinámico en la función de pérdida.
• Marco de optimización: La función de pérdida propuesta $L(\delta)$ combina tres términos:
  • $L_{explain}(\delta)$: Minimiza la similitud de coseno entre los mapas de atribución originales y los perturbados.
  • $L_{audibility}(\delta)$: Penaliza la energía espectral que excede un umbral de enmascaramiento psicoacústico estático $T(x)$, asegurando que las perturbaciones permanezcan inaudibles.
  • $L_{pred\_preserve}(\delta)$: Una pérdida de tipo hinge basada en márgenes que evita cambios en la predicción original.
    La optimización utiliza el optimizador Adam para manejar las derivadas de segundo orden requeridas para la manipulación de la atribución.
• Métricas de evaluación: La transparencia perceptual se evalúa mediante un conjunto de métricas específicas del dominio (PEAQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI). La fragilidad de la explicación se cuantifica mediante Similitud de Coseno y Solapamiento Top-10. Los autores introducen la Puntuación de Fragilidad de Audio (AFS$_{stable}$), una métrica continua que equilibra el desplazamiento de la atribución frente a la preservación de la predicción y la calidad perceptual.

Contribuciones clave

1. Nuevo marco de optimización: El artículo adapta los ataques adversariales dirigidos a la explicación al dominio del audio, logrando desacoplar con éxito las atribuciones del modelo de las clasificaciones finales.
2. Restricciones psicoacústicas: La integración de un umbral de enmascaramiento psicoacústico dinámico en la función de pérdida permite grandes cambios en los mapas de atribución mientras se penaliza cualquier perturbación que exceda los límites de la percepción humana o altere la predicción del modelo.
3. Evaluación empírica: Una evaluación enfocada a través de diversas arquitecturas (CNN y Transformers) utilizando el conjunto de datos SONICS, aprovechando métricas perceptivas para validar la imperceptibilidad de los ataques.

Resultados

• Calidad perceptual: Los métodos sin restricciones (PGD) degradan severamente la calidad del audio (por ejemplo, PESQ $\approx$ 2.8). En contraste, el marco Psicoacústico propuesto mantiene una alta calidad perceptual objetiva (ViSQOL > 4.1, CDPAM $\ge$ 0.98) al limitar el ruido dentro de los umbrales de enmascaramiento humano.
• Vulnerabilidad arquitectónica: El estudio revela disparidades significativas en la robustez. La arquitectura basada en tokens, AST, resultó ser la más frágil (Rango Medio: 3.00), permitiendo a los adversarios manipular fácilmente los mapas de atención. Por el contrario, SpecTTTra demostró la mayor resistencia (Rango Medio: 7.83), probablemente debido a su mecanismo de seguimiento de dependencias temporales de largo alcance, lo que diluye el impacto del ruido restringido.
• Dependencias acústicas: Las muestras "fáciles" de atacar se caracterizaron por audio de banda ancha denso (por ejemplo, rock/electrónica) con alto ancho de banda espectral y tasas de cruce por cero, lo que proporciona un mayor "presupuesto de enmascaramiento" para el ruido. Las muestras "difíciles" presentaron una extrema escasez acústica (por ejemplo, música clásica), donde las estrictas restricciones perceptivas limitaron el ruido adversarial permitido.
• Análisis geométrico: El análisis PCA indica que los ataques psicoacústicos inducen desplazamientos de atribución suaves y direccionales en los modelos basados en transformers, mientras que los ataques sin restricciones inducen principalmente una reducción de la varianza.

Significación y afirmaciones
El artículo afirma demostrar que las explicaciones post-hoc en la detección de deepfakes de audio son frágiles ante perturbaciones dirigidas. Los autores argumentan que los mapas de atribución (Grad-CAM, LRP) pueden manipularse sistemáticamente sin alterar las predicciones ni degradar la fidelidad perceptual, una vulnerabilidad no capturada por las métricas $L_p$ estándar.

Los hallazgos sugieren que las limitaciones estructurales de las explicaciones post-hoc (previamente señaladas por Grinberg et al., 2025) se extienden más allá de la inexactitud inherente hacia la manipulación adversarial deliberada. Específicamente, las arquitecturas basadas en atención parecen más susceptibles al direccionamiento de la explicación que las redes convolucionales, y la topología acústica (señales densas vs. dispersas) dicta la robustez de la explicación.

Los autores concluyen que confiar en las atribuciones visuales para la confiabilidad de los modelos de audio es prematuro. Postulan que la investigación futura debe centrarse en desarrollar mecanismos de interpretabilidad que estén matemáticamente vinculados al límite de decisión exacto del clasificador. El trabajo se presenta como una herramienta de diagnóstico para mejorar la robustez de los procesos de detección, liberando todo el código y los artefactos para apoyar la reproducibilidad y el uso responsable.