XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

Résumé Technique : Génération d'explications fondées sur l'XAI pour la détection de deepfakes vocaux avec des modèles de langage multimodaux sans entraînement

Énoncé du Problème
Les systèmes de détection de deepfakes vocaux (Speech Deepfake Detection - SDD) sont actuellement confrontés à un défi critique : fournir des explications dignes de confiance et interprétables pour leurs décisions. Bien que les approches existantes utilisent des techniques traditionnelles d'IA explicable (XAI) (par exemple, l'attribution basée sur le gradient), ces méthodes produisent souvent des signaux de bas niveau (tels que des cartes de saillance) qui sont étroitement couplés aux processus internes du modèle et difficiles à interpréter pour l'humain. À l'inverse, les explications générées par les modèles de langage de grande taille (LLM) ont tendance à être génériques, non fondées et sujettes aux hallucinations en raison d'un manque de preuves heuristiques et de supervision spécifique à la tâche. De plus, il existe une absence notable de jeux de données dédiés aux explications de la SDD, et les pipelines basés sur les LLM actuels manquent de mécanismes principled pour vérifier la fidélité de leurs résultats.

Méthodologie : Génération d'Explications Fondées sur l'XAI (XGEG)
Les auteurs proposent un cadre sans entraînement, XGEG, qui intègre des preuves XAI traditionnelles avec des modèles de langage multimodaux (MLLM) pour générer des explications fondées, spécifiques et dignes de confiance. Le pipeline fonctionne comme suit :

1. Modèles de Fondation et Génération de Preuves XAI : Trois modèles de SDD pré-entraînés (basés sur wav2vec 2.0, HuBERT et WavLM) sont utilisés sans ajustement fin (fine-tuning). Ces modèles génèrent des cartes d'attribution via Integrated Gradients (IG), Saliency et LIME. De plus, des scores d'importance dérivés de SHAP sont calculés pour les caractéristiques acoustiques extraites via l'ensemble openSMILE eGeMAPSv02 à l'aide d'un classificateur MLP léger et pré-entraîné.
2. Filtrage des Données : Le cadre opère sur le jeu de données PartialSpoof. Pour garantir la fiabilité, seuls les échantillons correctement classés par les quatre modèles (trois modèles de fondation + le MLP) sont conservés. L'accent est strictement mis sur les échantillons frauduleux (spoofed), car les explications pour la parole authentique (bona fide) sont intrinsement moins informatives.
3. Intégration Multimodale :
   • Interprétation Visuelle : Des cartes thermiques basées sur des spectrogrammes issues de IG, LIME et Saliency sont transmises à un modèle de vision-langage (Qwen2.5-VL-7B) pour résumer les régions anormales en termes de plages temporelles et de fréquences.
   • Synthèse Textuelle : Ces résumés temps-fréquence, combinés aux caractéristiques acoustiques les mieux classées par SHAP, sont fournis en entrée à un LLM multimodal (Qwen3-Omni-30B).
   • Stratégie de Prompting : Le LLM est explicitement instruit de traiter les preuves XAI comme des signaux de soutien plutôt que comme des conclusions définitives, en accordant la priorité au contenu acoustique de l'entrée. Le modèle est incité à analyser de manière critique les preuves plutôt qu'à les reproduire passivement.
4. Sortie Structurée : Pour atténuer l'hallucination, la sortie est contrainte à un format structuré prédéfini contenant : (I) Abnormalité Audio (Plage Temps/Fréquence), (II) Explication en texte libre, et (III) Agrégation XAI (indiquant l'accord entre les modèles).

Contributions Clés

1. Cadre Fondé sur l'XAI : Le papier introduit un cadre principled qui agrège les signaux XAI multi-modèles et emploie une validation axée sur la fidélité pour guider les MLLM. Cette approche produit des explications sémantiquement riches et spécifiques avec une réduction des hallucinations par rapport aux méthodes d'attribution purement textuelles ou à modèle unique.
2. Création de Jeu de Données : Les auteurs ont construit et publié un jeu de données de SDD explicable à grande échelle basé sur PartialSpoof, comprenant environ 65 000 instances d'explication. Ce jeu de données comble le fossé des ressources dédiées à la recherche en SDD explicable.
3. Scalabilité Sans Entraînement : La méthodologie repose sur des modèles pré-entraînés et un pipeline sans entraînement, assurant la scalabilité à travers divers contextes de génération de données sans nécessiter le réentraînement de détecteurs dédiés pour chaque tâche.

Résultats et Évaluation
Le cadre a été évalué par analyse qualitative, évaluation humaine et métriques quantitatives :

• Évaluation Humaine : Les annotateurs ont évalué les explications sur la correction, le support de preuve, la spécificité et la préférence globale. Les résultats indiquent que les versions guidées par l'XAI surpassent de manière significative la ligne de base "Pure Audio". Notamment, la configuration All XAI (Three Model) a obtenu la plus haute préférence globale (moyenne de sélection de 1,50) et une haute spécificité (4,30), démontrant que le guidage XAI multi-sources réduit les hallucinations et améliore le détail.
• Localisation Quantitative :
  • Précision de l'Intérieur (Inside Accuracy - IA) : La configuration à méthode unique LIME a atteint la plus haute IA (0,811), indiquant une précision supérieure dans la localisation des intervalles temporels anormaux sans sur-expansion.
  • Sensibilité du Logit Local Normalisée par l'Aire : Cette métrique, conçue pour tester la fidélité sans masquage destructif, montre que les méthodes multimodales identifient des régions plus influentes que la ligne de base. La configuration All XAI (Single Model) a atteint la plus haute densité de sensibilité (3,1466 × 10⁻⁶), représentant une amélioration de 22,10× par rapport à la ligne de base Pure Audio.
• Analyse des Paroles Authentiques (Bona Fide) : Le système a également été testé sur des audios authentiques, générant avec succès des explications justifiant l'absence d'anomalies, bien que les auteurs notent que cela reste plus difficile que la détection de fraudes.

Signification et Revendications
Le papier affirme que le développement d'explications dignes de confiance et interprétables est essentiel pour obtenir des résultats de SDD fiables et responsables, allant au-delà de la simple classification binaire. En comblant le fossé entre les signaux XAI de bas niveau et le raisonnement en langage naturel de haut niveau, le cadre proposé renforce la transparence et la fiabilité des systèmes de détection de deepfakes. Les auteurs affirment que leur approche augmente la "précision de l'intérieur" de plus de 45 % (vérifiée par l'évaluation humaine et les tests de fidélité) et fournit un jeu de données fondamental pour soutenir les recherches futures en SDD explicable. Le travail souligne que si les LLM offrent l'interprétabilité, ils nécessitent le support structurel de l'XAI pour rester fidèles au processus de décision sous-jacent.