XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

Resumo Técnico: Geração de Explicações Baseadas em XAI para Detecção de Deepfake de Voz com Grandes Modelos de Linguagem Multimodais Sem Necessidade de Treinamento

Definição do Problema
Os sistemas de Detecção de Deepfake de Voz (SDD - Speech Deepfake Detection) enfrentam atualmente um desafio crítico ao fornecer explicações confiáveis e interpretáveis para suas decisões. Embora as abordagens existentes utilizem técnicas tradicionais de IA Explicável (XAI) (por exemplo, atribuição baseada em gradiente), esses métodos frequentemente produzem sinais de baixo nível (como mapas de saliência) que estão fortemente acoplados aos componentes internos do modelo e são difíceis de interpretar por humanos. Por outro lado, as explicações geradas por Grandes Modelos de Linguagem (LLMs) tendem a ser genéricas, sem fundamentação e propensas a alucinações devido à falta de evidências heurísticas e supervisão específica para a tarefa. Além disso, há uma ausência notável de conjuntos de dados dedicados para explicações de SDD, e os pipelines atuais baseados em LLM carecem de mecanismos principiais para verificar a fidelidade de seus resultados.

Metodologia: Geração de Explicação Baseada em XAI (XGEG)
Os autores propõem um framework que não requer treinamento, o XGEG, que integra evidências de XAI tradicional com Grandes Modelos de Linguagem Multimodais (MLLMs) para gerar explicações fundamentadas, específicas e confiáveis. O pipeline opera da seguinte forma:

1. Modelos de Fundação e Geração de Evidência XAI: Três modelos de SDD pré-treinados (baseados em wav2vec 2.0, HuBERT e WavLM) são utilizados sem ajuste fino (fine-tuning). Esses modelos geram mapas de atribuição usando Gradientes Integrados (IG), Saliência e LIME. Adicionalmente, escores de importância derivados de SHAP são calculados para características acústicas extraídas via o conjunto openSMILE eGeMAPSv02 através de um classificador MLP leve e pré-treinado.
2. Filtragem de Dados: O framework opera no conjunto de dados PartialSpoof. Para garantir a confiabilidade, apenas amostras classificadas corretamente por todos os quatro modelos (três modelos de fundação + o MLP) são retidas. O foco é estritamente em amostras de falsificação (spoofed), pois as explicações para fala genuína (bona fide) são inerentemente menos informativas.
3. Integração Multimodal:
   • Interpretação Visual: Mapas de calor baseados em espectrogramas provenientes de IG, LIME e Saliência são enviados para um modelo de visão-LLM (Qwen2.5-VL-7B) para resumir regiões anormais em termos de intervalos temporais e de frequência.
   • Síntese Textual: Esses resumos de tempo-frequência, combinados com as características acústicas de maior ranking do SHAP, são fornecidos como entrada para um LLM multimodal (Qwen3-Omni-30B).
   • Estratégia de Prompting: O LLM é explicitamente instruído a tratar a evidência XAI como sinais de suporte em vez de conclusões definitivas, priorizando o conteúdo acústico da entrada. O modelo é instigado a analisar criticamente a evidência em vez de apenas reproduzi-la passivamente.
4. Saída Estruturada: Para mitigar alucinações, a saída é restrita a um formato estruturado predefinido contendo: (I) Anomalia de Áudio (Intervalo Tempo/Freq), (II) Explicação em Texto Livre, e (III) Agregação XAI (indicando o acordo entre os modelos).

Principais Contribuições

1. Framework Baseado em XAI: O artigo introduz um framework principial que agrega sinais XAI de múltiplos modelos e emprega validação baseada em fidelidade para guiar MLLMs. Esta abordagem produz explicações semanticamente ricas e específicas com redução de alucinações em comparação com métodos de atribuição puramente textuais ou de modelo único.
2. Criação de Dataset: Os autores construíram e lançaram publicamente um conjunto de dados de SDD explicável em larga escala baseado no PartialSpoof, compreendendo aproximadamente 65.000 instâncias de explicação. Este dataset aborda a lacuna de recursos dedicados para pesquisa em SDD explicável.
3. Escalabilidade Sem Treinamento: A metodologia baseia-se em modelos pré-treinados e um pipeline que dispensa treinamento, garantindo escalabilidade através de diversos cenários de geração de dados sem a necessidade de treinar detectores dedicados para cada tarefa.

Resultos e Avaliação
O framework foi avaliado através de análise qualitativa, avaliação humana e métricas quantitativas:

• Avaliação Humana: Os anotadores avaliaram as explicações quanto à correção, suporte de evidência, especificidade e preferência geral. Os resultados indicaram que as versões guiadas por XAI superaram significativamente a linha de base "Áudio Puro". Notavelmente, a configuração All XAI (Três Modelos) alcançou a maior preferência geral (média de seleção de 1,50) e alta especificidade (4,30), demonstrando que a orientação XAI de múltiplas fontes reduz alucinações e melhora o detalhamento.
• Localização Quantitativa:
  • Precisão de Interior (IA - Inside Accuracy): A configuração de método único LIME alcançou a maior IA (0,811), indicando precisão superior na localização de intervalos temporais anormais sem expansão excessiva.
  • Sensibilidade de Logit Local Normalizada pela Área: Esta métrica, desenhada para testar a fidelidade sem mascaramento destrutivo, mostrou que os métodos multimodais identificam regiões mais influentes do que a linha de base. A configuração All XAI (Modelo Único) alcançou a maior densidade de sensibilidade (3,1466 × 10⁻⁶), representando uma melhoria de 22,10× sobre a linha de base de Áudio Puro.
• Análise de Áudio Genuíno (Bona Fide): O sistema também foi testado em áudios genuínos, gerando com sucesso explicações que justificam a ausência de anomalias, embora os autores observem que isso permanece mais desafiador do que detectar falsificações.

Significância e Alegações
O artigo afirma que o desenvolvimento de explicações confiáveis e interpretáveis é essencial para alcançar resultados de SDD confiáveis e responsáveis, indo além da mera classificação binária. Ao unir a lacuna entre sinais XAI de baixo nível e o raciocínio de linguagem natural de alto nível, o framework proposto aumenta a transparência e a confiabilidade dos sistemas de detecção de deepfake. Os autores sustentam que sua abordagem aumenta a "precisão de interior" em mais de 45% (verificado através de avaliação humana e verificações de fidelidade) e fornece um dataset fundamental para apoiar pesquisas futuras em SDD explicável. O trabalho enfatiza que, embora os LLMs ofereçam interpretabilidade, eles requerem o suporte estrutural da XAI para permanecerem fiéis ao processo de decisão subjacente.