XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

Technische Samenvatting: XAI-gegronde Verklaringgeneratie voor Speech Deepfake Detectie met Training-vrije Multimodale Large Language Models

Probleemstelling
Speech Deepfake Detectie (SDD)-systemen staan momenteel voor een kritieke uitdaging bij het bieden van betrouwbare, interpreteerbare verklaringen voor hun beslissingen. Hoewel bestaande benaderingen gebruikmaken van traditionele Explainable AI (XAI)-technieken (bijv. gradiëntgebaseerde attributie), produceren deze methoden vaak laag-niveau signalen (zoals saliency maps) die nauw verbonden zijn met de interne werking van het model en moeilijk te interpreteren zijn voor mensen. Daarentegen zijn verklaringen gegenereerd door Large Language Models (LLMs) vaak generiek, ongegrond en gevoelig voor hallucinaties door een gebrek aan heuristische bewijsvoering en taakspecifieke supervisie. Bovelijk is er een opvallend gebrek aan specifieke datasets die zijn afgestemd op SDD-verklaringen, en de huidige LLM-gebaseerde pipelines missen principiële mechanismen om de getrouwheid (faithfulness) van hun outputs te verifiëren.

Methodologie: XAI-Grounded Explanation Generation (XGEG)
De auteurs stellen een training-vrij framework voor, XGEG, dat traditionele XAI-bewijslast integreert met Multimodale Large Language Models (MLLMs) om gegronde, specifieke en betrouwbare verklaringen te genereren. De pipeline werkt als volgt:

1. Foundation Models & XAI-bewijslast Generatie: Drie vooraf getrainde SDD-modellen (gebaseerd op wav2vec 2.0, HuBERT en WavLM) worden gebruikt zonder fine-tuning. Deze modellen genereren attributiekaarten met behulp van Integrated Gradients (IG), Saliency en LIME. Daarnaast worden SHAP-afgeleide belangscores berekend voor akoestische kenmerken die zijn geëxtraheerd via de openSMILE eGeMAPSv02-set met behulp van een lichtgewicht, vooraf getrainde MLP-classifier.
2. Data Filtering: Het framework werkt op de PartialSpoof dataset. Om de betrouwbaarheid te waarborgen, worden alleen monsters behouden die correct zijn geclassificeerd door alle vier de modellen (drie foundation modellen + de MLP). De focus ligt strikt op gespoofte samples, aangezien verklaringen voor bona fide spraak inherent minder informatief zijn.
3. Multimodale Integratie:
   • Visuele Interpretatie: Spectrogram-gebaseerde heatmaps van IG, LIME en Saliency worden ingevoerd in een vision-LLM (Qwen2.5-VL-7B) om abnormale regio's te samenvatten in termen van temporele en frequentiebereiken.
   • Textuele Synthese: Deze tijd-frequentie samenvattingen, gecombineerd met de hoogst gerangschikte akoestische kenmerken van SHAP, worden als input aan een multimodale LLM (Qwen3-Omni-30B) verstrekt.
   • Prompting Strategie: De LLM krijgt expliciet de instructie om XAI-bewijslast te behandelen als ondersteunende signalen in plaats van definitieve conclusies, waarbij de prioriteit ligt bij de akoestische inhoud van de input. Het model wordt geprompt om de bewijslast kritisch te analyseren in plaats van deze passief te reproduceren.
4. Gestructureerde Output: Om hallucinatie te beperken, wordt de output beperkt tot een vooraf gedefinieerd gestructureerd formaat bevattende: (I) Audio Abnormality (Tijd/Frequentiebereik), (II) Vrije tekstuele Verklaring, en (III) XAI Aggregatie (indicatie van cross-model overeenstemming).

Belangrijkste Bijdragen

1. XAI-Grounded Framework: Het artikel introduceert een principieel framework dat cross-model XAI-signalen aggregeert en fidelity-gestuurde validatie inzet om MLLMs te begeleiden. Deze benadering produceert semantisch rijke, specifieke verklaringen met minder hallucinaties vergeleken met louter tekstgebaseerde of single-model attributiemethoden.
2. Dataset Creatie: De auteurs hebben een grootschalige uitlegbare SDD-dataset geconstrueerd en publiekelijk vrijgegeven op basis van PartialSpoof, bestaande uit ongeveer 65.000 verklaringen. Deze dataset vult het gat in de beschikbare middelen voor uitlegbaar SDD-onderzoek.
3. Training-Free Scalability: De methodologie vertrouwt op vooraf getrainde modellen en een training-vrije pipeline, wat schaalbaarheid garandeert over diverse datasetgeneratie-instellingen zonder de noodzaak om voor elke taak specifieke detectoren opnieuw te trainen.

Resultaten en Evaluatie
Het framework werd geëvalueerd via kwalitatieve analyse, menselijke evaluatie en kwantitatieve metrieken:

• Menselijke Evaluatie: Annotatoren beoordeelden verklaringen op juistheid, bewijsondersteuning, specificiteit en algemene voorkeur. Resultaten gaven aan dat XAI-gestuurde versies significant beter presteerden dan de "Pure Audio" baseline. Met name de All XAI (Three Model) configuratie behaalde de hoogste algemene voorkeur (gemiddelde selectie van 1.50) en een hoge specificiteit (4.30), wat aantoont dat multi-source XAI-begeleiding hallucinaties vermindert en detail verbetert.
• Kwantitatieve Lokalisatie:
  • Inside Accuracy (IA): De LIME single-method configuratie behaalde de hoogste IA (0.811), wat duidt op superieure precisie in het lokaliseren van abnormale tijdsintervallen zonder overmatige expansie.
  • Area-Normalised Local Logit Sensitivity: Deze metriek, ontworpen om fidelity te testen zonder destructieve masking, toonde aan dat multimodale methoden meer invloedrijke regio's identificeren dan de baseline. De All XAI (Single Model) configuratie behaalde de hoogste sensitiviteitsdichtheid (3.1466 × 10⁻⁶), wat een 22.10× verbetering vertegenwoordigt ten opzichte van de Pure Audio baseline.
• Bona Fide Analyse: Het systeem werd ook getest op authentieke audio en slaagde erin verklaringen te genereren die de afwezigheid van anomalieën rechtvaardigen, hoewel de auteurs opmerken dat dit uitdagender blijft dan het detecteren van fakes.

Betekenis en Claims
Het artikel claimt dat de ontwikkeling van betrouwbare en interpreteerbare verklaringen essentieel is voor het bereiken van betrouwbare en verantwoorde SDD-uitkomsten, waarbij men verder gaat dan louter binaire classificatie. Door de kloof tussen laag-niveau XAI-signalen en hoog-niveau natuurlijke taalredenering te overbruggen, verbetert het voorgestelde framework de transparantie en betrouwbaarheid van deepfake detectiesystemen. De auteurs stellen dat hun aanpak de "inside accuracy" met meer dan 45% verhoogt (geverifieerd via menselijke evaluatie en faithfulness checks) en een fundamentele dataset biedt om toekomstig onderzoek in uitlegbare SDD te ondersteunen. Het werk benadrukt dat hoewel LLM's interpreteerbaarheid bieden, ze de structurele ondersteuning van XAI nodig hebben om getrouw te blijven aan het onderliggende besluitvormingsproces.