The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

Resumo Técnico: A Fragilidade Percebida das Explicações em Modelos de Áudio

Declaração do Problema
A proliferação de áudio sintético tornou necessária a implementação de sistemas de detecção de deepfakes, que dependem cada vez mais de métodos de IA Explicável (XAI) para fomentar a confiança, destacando os artefatos acústicos que impulsionam as decisões do modelo. No entanto, essa dependência introduz uma vulnerabilidade de segurança crítica: a fragilidade das próprias explicações. Embora a suscetibilidade de mapas de atribuição à manipulação adversarial tenha sido extensamente documentada em visão computacional (Ghorbani et al., 2019; Dombrowski et al., 2019; Heo et al., 2019), suas implicações para modelos de áudio permanecem amplamente não abordadas. Ataques existentes baseados em visão utilizam normas $L_p$ para medir o custo de manipulação, uma métrica que falha em correlacionar-se com a percepção auditiva humana (Abdullah et al., 2021). Consequentemente, há uma carência de frameworks específicos de domínio para determinar se as técnicas de XAI para áudio fornecem interpretações robustas ou se podem ser desacopladas da fronteira de decisão do classificador por meio de perturbações imperceptíveis.

Metodologia
Para investigar esta vulnerabilidade, os autores propõem um novo framework de otimização projetado para manipular mapas de calor de explicação post-hoc enquanto preserva estritamente a predição final do modelo e mantém a qualidade de áudio imperceptível.

• Modelos Alvo e Métodos de XAI: O estudo avalia três arquiteturas distintas que representam diferentes paradigmas de extração de características: VGGish (convolucional clássica), Audio Spectrogram Transformer (AST, autoatenção) e SpecTTTra (baseado em atenção, projetado para o dataset SONICS). Dois métodos de atribuição post-hoc são analisados: Grad-CAM (gradientes de primeira ordem) e Propagação de Relevância por Camada (LRP, baseada em conservação).
• Estratégias de Ataque: Três metodologias são aplicadas a 100 gravações amostradas do dataset de deepfake SONICS:
  1. PGD Padrão: Um ataque limitado por $L_\infty$ que minimiza a similaridade estrutural entre os mapas originais e perturbados, servindo como um baseline sem restrições perceptivas.
  2. X-Shift (Adaptado): Uma estratégia de deslocamento espacial que força a relevância para uma região alvo irrelevante.
  3. Modelagem de Ruído Psicoacústico (Proposto): Um framework customizado que incorpora um limiar de mascaramento psicoacústico dinâmico na função de perda.
• Framework de Otimização: A função de perda proposta $L(\delta)$ combina três termos:
  • $L_{explain}(\delta)$: Minimiza a similaridade de cosseno entre os mapas de atribuição originais e perturbados.
  • $L_{audibility}(\delta)$: Penaliza a energia espectral que excede um limiar de mascaramento psicoacústico estático $T(x)$, garantindo que as perturbações permaneçam inaudíveis.
  • $L_{pred\_preserve}(\delta)$: Uma perda hinge baseada em margem que evita mudanças na predição original.
    A otimização utiliza o otimizador Adam para lidar com as derivadas de segunda ordem necessárias para a manipulação de atribuição.
• Métricas de Avaliação: A transparência perceptual é avaliada por meio de um conjunto de métricas específicas de domínio (PEAQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI). A fragilidade da explicação é quantificada via Similaridade de Cosseno e Sobreposição Top-10. Os autores introduzem o Score de Fragilidade de Áudio (AFS$_{stable}$), uma métrica contínua que equilibra o deslocamento de atribuição contra a preservação da predição e a qualidade perceptual.

Principais Contribuições

1. Novo Framework de Otimização: O artigo adapta ataques adversariais direcionados à explicação para o domínio do áudio, descolando com sucesso as atribuições do modelo das classificações finais.
2. Restrições Psicoacústicas: A integração de um limiar de mascaramento psicoacústico dinâmico na função de perda permite grandes mudanças nos mapas de atribuição enquanto penaliza qualquer perturbação que exceda os limites da percepção humana ou altere a predição do modelo.
3. Avaliação Empírica: Uma avaliação focada através de diversas arquiteturas (CNNs e Transformers) utilizando o dataset SONICS, aproveitando métricas perceptuais para validar a imperceptibilidade dos ataques.

Resultos

• Qualidade Perceptual: Métodos não restritos (PGD) degradam severamente a qualidade do áudio (ex: PESQ $\approx$ 2.8). Em contraste, o framework Psicoacústico proposto mantém alta qualidade perceptual objetiva (ViSQOL > 4.1, CDPAM $\ge$ 0.98) ao limitar o ruído dentro dos limiares de mascaramento humano.
• Vulnerabilidade Arquitetural: O estudo revela disparidades significativas de robustez. A arquitetura baseada em tokens, AST, provou ser a mais frágil (Rank Médio: 3.00), permitindo que adversários manipulem facilmente os mapas de atenção. Por outro lado, o SpecTTTra demonstrou a maior resistência (Rank Médio: 7.83), provavelmente devido ao seu mecanismo de rastreamento de dependências temporais de longo alcance, que dilui o impacto do ruído restrito.
• Dependências Acústicas: Amostras "fáceis" de atacar foram caracterizadas por áudios densos e de banda larga (ex: rock/eletrônica) com alta largura de banda espectral e taxas de cruzamento de zero, proporcionando um maior "orçamento de mascaramento" para o ruído. Amostras "difíceis" apresentaram extrema esparsidade acústica (ex: música clássica), onde as restrições perceptivas estritas limitaram o ruído adversarial permitido.
• Análise Geométrica: A análise de PCA indica que ataques psicoacústicos induzem deslocamentos de atribuição suaves e direcionais em modelos baseados em transformer, enquanto ataques não restritos induzem principalmente a redução de variância.

Significância e Alegações
O artigo afirma demonstrar que as explicações post-hoc na detecção de deepfake de áudio são frágeis sob perturbações direcionadas. Os autores argumentam que os mapas de atribuição (Grad-CAM, LRP) podem ser sistematicamente manipulados sem alterar as predições ou degradar a fidelidade perceptual, uma vulnerabilidade não capturada por métricas $L_p$ padrão.

Os achados sugerem que as limitações estruturais das explicações post-hoc (previamente observadas por Grinberg et al., 2025) estendem-se além da imprecisão inerente para a manipulação adversária deliberada. Especificamente, arquiteturas baseadas em atenção parecem mais suscetíveis ao direcionamento de explicação do que redes convolucionais, e a topologia acústica (sinais densos vs. esparsos) dita a robustez da explicação.

Os autores concluem que confiar em atribuições visuais para a confiabilidade de modelos de áudio é prematuro. Eles postulam que pesquisas futuras devem focar no desenvolvimento de mecanismos de interpretabilidade que sejam matematicamente vinculados à fronteira de decisão exata do classificador. O trabalho é apresentado como uma ferramenta de diagnóstico para melhorar a robustez dos pipelines de detecção, com todo o código e artefatos liberados para apoiar a reprodutibilidade e o uso responsável.