XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

Sintesi Tecnica: Generazione di Spiegazioni Fondate su XAI per il Rilevamento di Deepfake Vocali tramite Modelli Linguistici Multimodali Senza Addestramento

Problematica
I sistemi di rilevamento di deepfake vocali (Speech Deepfake Detection - SDD) affrontano attualmente una sfida critica nel fornire spiegazioni affidabili e interpretabili per le loro decisioni. Sebbene gli approcci esistenti utilizzino tecniche tradizionali di Intelligenza Artificiale Spiegabile (XAI) (ad esempio, l'attribuzione basata sul gradiente), tali metodi producono spesso segnali a basso livello (come le mappe di salienza) che sono strettamente accoppiati con l'interno del modello e difficili da interpretare per l'essere umano. Al contrario, le spiegazioni generate dai Modelli Linguistici di Grandi Dimensioni (LLM) tendono a essere generiche, prive di fondamento e soggette ad allucinazioni a causa della mancanza di prove euristiche e di supervisione specifica per il compito. Inoltre, si nota un'assenza di dataset dedicati ai compiti di spiegazione SDD, e le attuali pipeline basate su LLM mancano di meccanismi strutturati per verificare la fedeltà dei loro output.

Metodologia: Generazione di Spiegazioni Fondate su XAI (XGEG)
Gli autori propongono un framework senza addestramento, XGEG, che integra le prove XAI tradizionali con Modelli Linguistici Multimodali (MLLM) per generare spiegazioni fondate, specifiche e affidabili. La pipeline opera come segue:

1. Modelli Fondativi e Generazione di Prove XAI: Vengono utilizzati tre modelli SDD pre-addestrati (basati su wav2vec 2.0, HuBERT e WavLM) senza fine-tuning. Questi modelli generano mappe di attribuzione utilizzando Integrated Gradients (IG), Saliency e LIME. Inoltre, vengono calcolati i punteggi di importanza derivati da SHAP per le caratteristiche acustiche estratte tramite il set openSMILE eGeMAPSv02 tramite un classificatore MLP leggero e pre-addestrato.
2. Filtraggio dei Dati: Il framework opera sul dataset PartialSpoof. Per garantire l'affidabilità, vengono mantenuti solo i campioni classificati correttamente da tutti e quattro i modelli (tre modelli fondativi + l'MLP). L'attenzione è strettamente focalizzata sui campoli di tipo "spoof" (contraffatti), poiché le spiegazioni per lo speech bona fide (autentico) sono intrinsecamente meno informative.
3. Integrazione Multimodale:
   • Interpretazione Visiva: Le mappe termiche basate su spettrogrammi da IG, LIME e Saliency vengono caricate in un modello vision-LLM (Qwen2.5-VL-7B) per riassumere le regioni anormali in termini di intervalli temporali e di frequenza.
   • Sintesi Testuale: Questi riassunti spazio-temporali, combinati con le caratteristiche acustiche di alto rango derivate da SHAP, vengono forniti come input a un LLM multimodale (Qwen3-Omni-30B).
   • Strategia di Prompting: L'LLM riceve l'istruzione esplicita di trattare le prove XAI come segnali di supporto piuttosto che come conclusioni definitive, dando priorità al contenuto acustico dell'input. Il modello è istruito a criticamente analizzare l'evidenza invece di riprodurla passivamente.
4. Output Strutturato: Per mitigare le allucinazioni, l'output è vincolato a un formato strutturato predefinito contenente: (I) Anomalia Audio (Intervallo Tempo/Frequenza), (II) Spiegazione in testo libero, e (III) Aggregazione XAI (che indica l'accordo tra i modelli).

Contributi Chiave

1. Framework Fondato su XAI: Il documento introduce un framework che aggrega i segnali XAI cross-modello e impiega una validazione guidata dalla fedeltà per guidare gli MLLM. Questo approccio produce spiegazioni semanticamente ricche e specifiche con una riduzione delle allucinazioni rispetto ai metodi di attribuzione puramente testuali o a modello singolo.
2. Creazione di Dataset: Gli autori hanno costruito e rilasciato pubblicamente un dataset SDD spiegabile su larga scala basato su PartialSpoof, comprendente circa 65.000 istanze di spiegazione. Questo dataset colma la lacuna nei dati dedicati alla ricerca sulla spiegabilità SDD.
3. Scalabilità Senza Addestramento: La metodologia si basa su modelli pre-addestrati e una pipeline senza addestramento, garantendo la scalabilità attraverso diversi setting di generazione di dataset senza la necessità di riaddestrare detector dedicati per ogni compito.

Risultati e Valutazione
Il framework è stato valutato attraverso analisi qualitativa, valutazione umana e metriche quantitative:

• Valutazione Umana: Gli annotatori hanno valutato le spiegazioni in termini di correttezza, supporto delle prove, specificità e preferenza complessiva. I risultati indicano che le versioni guidate da XAI superano significativamente il baseline "Pure Audio". In particolare, la configurazione All XAI (Three Model) ha ottenuto la preferenza complessiva più alta (media di selezione 1.50) e un'alta specificità (4.30), dimostrando che la guida XAI multi-fonte riduce le allucinazioni e migliora il dettaglio.
• Localizzazione Quantitativa:
  • Accuratezza Interna (IA): La configurazione a metodo singolo LIME ha ottenuto la IA più alta (0.811), indicando una precisione superiore nel localizzare gli intervalli temporali anormali senza sovra-espansione.
  • Sensibilità del Logit Locale Normalizzata sull'Area: Questa metrica, progettata per testare la fedeltà senza masking distruttivo, mostra che i metodi multimodali identificano regioni più influenti rispetto al baseline. La configurazione All XAI (Single Model) ha raggiunto la massima densità di sensibilità (3.1466 × 10⁻⁶), rappresentando un miglioramento di 22.10× rispetto al baseline Pure Audio.
• Analisi Bona Fide: Il sistema è stato testato anche su audio autentici, generando con successo spiegazioni che giustificano l'assenza di anomalie, sebbene gli autori notino che questo rimanga più complesso rispetto al rilevamento di falsi.

Significatività e Rivendicazioni
Il documento sostiene che lo sviluppo di spiegazioni affidabili e interpretabili è essenziale per ottenere esiti SDD responsabili e attendibili, andando oltre la mera classificazione binaria. Colmando il divario tra i segnali XAI a basso livello e il ragionamento linguistico di alto livello, il framework proposto migliora la trasparenza e l'affidabilità dei sistemi di rilevamento dei deepfake vocali. Gli autori affermano che il loro approccio aumenta l' "accuratezza interna" di oltre il 45% (verificato tramite valutazione umana e controlli di fedeltà) e fornisce un dataset fondamentale per supportare la ricerca futura sulla spiegabilità SDD. Il lavoro sottolinea che, sebbene gli LLM offrano interpretabilità, richiedono il supporto strutturale della XAI per rimanere fedeli al processo decisionale sottostante.