🤖 AI

The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

Questo articolo introduce un framework psicoacustico che dimostra come le spiegazioni post-hoc per i modelli di rilevamento dei deepfake audio siano fragili, poiché gli avversari possono applicare perturbazioni inudibili per distorcere sistematicamente le mappe di calore di attribuzione preservando al contempo la classificazione originale del modello.

Autori originali: Piotr Kitłowski, Dominik Wiącek, Mateusz Modrzejewski

Pubblicato 2026-06-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Piotr Kitłowski, Dominik Wiącek, Mateusz Modrzejewski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un guardia giurata molto intelligente (il modello IA), il cui compito è ascoltare un audio e decidere se si tratti di una voce umana reale o di un "deepfake" generato dal computer. Per aiutarti a fidarti di questo guardia, il sistema ti mostra una "mappa di calore" (una spiegazione). Questa mappa illumina le parti specifiche dell'onda sonora che il guardia ha usato per prendere la sua decisione, come ad esempio evidenziando un colpo di tosse sospetto o il glitch robotico che ha tradito il falso.

Questo articolo pone una domanda spaventosa: E se qualcuno potesse ingannare il guardia portandolo a indicare la cosa sbagliata, pur mantenendo esattamente la stessa decisione?

Ecco la ripartizione di ciò che i ricercatori hanno scoperto, utilizzando analogie semplici:

1. Il trucco dell' "Inchiostro Invisibile"

In passato, i ricercatori hanno cercato di ingannare i detector di immagini IA aggiungendo minuscoli pixel visibili a un'immagine. Ma nell'audio, se aggiungi del rumore che il computer può "vedere", gli esseri umani possono solitamente "sentirlo" anch'essi. Questo rovina il trucco.

Gli autori hanno sviluppato un nuovo metodo utilizzando la Psicoacustica. Considerala come un "inchiostro invisibile" per il suono.

L'analogia: Immagina di sussurrare un segreto a un amico in un concerto rock rumoroso e affollato. Puoi sussurrare qualcosa di completamente diverso da ciò che intendevi, e il tuo amico non se ne accorgerà nemmeno perché la musica forte "maschera" il tuo sussurro.
Il risultato: I ricercatori hanno scoperto un modo per aggiungere "sussurri" (piccole perturbazioni) all'audio che sono abbastanza forti da confondere la mappa esplicativa dell'IA, ma abbastanza deboli che le orecchie umane non sentono altro che la canzone originale.

2. L L'atto del "Disaccoppiamento"

L'obiettivo dell'attacco era disaccoppiare la spiegazione dalla previsione.

Prima dell'attacco: L'IA dice: "Questo è un falso", e la mappa di calore punta al glitch robotico. (Veritiero).
Dopo l'attacco: L'IA continua a dire: "Questo è un falso", ma la mappa di calore ora punta a una parte completamente innocente della canzone, come i tamburi di sottofondo.
Il pericolo: Se guardassi solo la mappa di calore, penseresti che l'IA stia guardando i tamburi per prendere la sua decisione. Saresti completamente fuorviato su perché l'IA abbia preso quella chiamata, anche se il verdetto finale (Falso) non è cambiato.

3. Chi è stato ingannato di più?

I ricercatori hanno testato questo approccio su tre diversi tipi di "guardie" IA (architetture):

La guardia "Basata su Token" (AST): Questo modello era il più fragile. È come una guardia che si concentra su parole specifiche e isolate. I ricercatori sono riusciti facilmente a spostare la sua attenzione dai veri indizi verso quelli falsi.
La guardia "Convoluzionale" (VGGish): Questo modello si trovava nel mezzo. Guarda i pattern come un essere umano che ascolta un ritmo. Era più difficile da ingannare, ma comunque vulnerabile.
La guardia "A Lungo Raggio" (SpecTTTra): Questo modello era il più resistente. Ascolta l'intera storia dall'inizio alla fine. Poiché traccia connessioni lunghe nella musica, i "sussurri" aggiunti dagli attaccanti venivano diluiti e non riuscivano a confondere la mappa esplicativa altrettanto facilmente.

4. Perché alcune canzoni erano più facili da ingannare

I ricercatori hanno notato che le canzoni "più facili" da ingannare erano affollate, rumorose e complesse (come il rock o la musica elettronica).

L'analogia: È più facile nascondere un biglietto segreto in un caotico assolo di jazz che in una tranquilla melodia di pianoforte a nota singola. Il "rumore" della musica frenetica forniva il perfetto nascondiglio (budget di mascheramento) per l'attacco invisibile.
I bersagli più difficili: La musica silenziosa e rarefatta (come la classica o l'acustica) non lasciava spazio per i "sussurri". L'attacco è fallito perché non c'era rumore di fondo in cui nascondersi.

5. La grande conclusione

L'articolo conclude che non possiamo fidarci ciecamente delle "mappe di calore" o delle spiegazioni che i sistemi di IA audio ci forniscono.

Solo perché l'IA ti dà una ragione (la parte evidenziata del suono) non significa che quella sia la ragione reale per cui ha preso la decisione.
Un attaccante potrebbe riscrivere sistematicamente la "storia" dell'IA su perché ha preso una decisione, facendo apparire la spiegazione come se si stesse concentrando su parti sicure e innocenti dell'audio, mentre l'IA identifica comunque correttamente (o erroneamente) il deepfake.

In breve: L'IA potrebbe avere ragione su cosa sia l'audio, ma la "spiegazione" che ti dà sul perché lo pensa può essere completamente falsa, e tu non sentiresti nemmeno la differenza.

Sintesi Tecnica: La Percepita Fragilità delle Spiegazioni nei Modelli Audio

Problematica
La proliferazione dell'audio sintetico ha reso necessaria la distribuzione di sistemi di rilevamento dei deepfake, i quali si affidano sempre più a metodi di Intelligenza Artificiale Spiegabile (XAI) per promuovere la fiducia, evidenziando gli artefatti acustici che guidano le decisioni del modello. Tuttavia, questa dipendenza introduce una vulnerabilità critica in termini di sicurezza: la fragilità delle spiegazioni stesse. Sebbene la suscettibilità delle mappe di attribuzione alla manipolazione avversaria sia stata ampiamente documentata nella computer vision (Ghorbani et al., 2019; Dombrowski et al., 2019; Heo et al., 2019), le sue implicazioni per i modelli audio rimangono in gran parte inesplorate. Gli attuali attacchi basati sulla visione utilizzano le norme $L_p$ per misurare il costo della manipolazione, un parametro che non correla con la percezione uditiva umana (Abdullah et al., 2021). Di conseguenza, manca un framework specifico per il dominio che determini se le tecniche XAI per l'audio forniscano interpretazioni robuste o se possano essere disaccoppiate dal confine decisionale del classificatore attraverso perturbazioni impercettibili.

Metodologia
Per investigare questa vulnerabilità, gli autori propongono un nuovo framework di ottimizzazione progettato per manipolare le mappe di calore delle spiegazioni post-hoc, preservando rigorosamente la previsione finale del modello e mantenendo una qualità audio impercettibile.

Modelli Target e Metodi XAI: Lo studio valuta tre architetture distinte che rappresentano diversi paradigmi di estrazione delle caratteristiche: VGGish (convoluzionale classica), Audio Spectrogram Transformer (AST, auto-attenzione) e SpecTTTra (basato su attenzione, progettato per il dataset SONICS). Sono analizzati due metodi di attribuzione post-hoc: Grad-CAM (gradienti del primo ordine) e Layer-wise Relevance Propagation (LRP, basato sulla conservazione).
Strategie di Attacco: Tre metodologie vengono applicate a 100 registrazioni campionate dal dataset di deepfake SONICS:
1. PGD Standard: Un attacco limitato da $L_\infty$ che minimizza la somiglianza strutturale tra le mappe originali e quelle perturbate, fungendo da baseline senza vincoli percettivi.
2. X-Shift (Adattato): Una strategia di spostamento spaziale che forza la rilevanza verso una regione target irrilevante.
3. Modellazione del Rumore Psicoacustico (Proposto): Un framework personalizzato che incorpora una soglia di mascheramento psicoacustico dinamica nella funzione di perdita.
Framework di Ottimizzazione: La funzione di perdita proposta $L(\delta)$ $L (δ)$ combina tre termini:
- $L_{explain}(\delta)$ : Minimizza la similarità del coseno tra le mappe di attribuzione originali e quelle perturbate.
- $L_{audibility}(\delta)$ : Penalizza l'energia spettrale che eccede una soglia di mascheramento psicoacustico statica $T(x)$ , garantendo che le perturbazioni rimangano inudibili.
- $L_{pred\_preserve}(\delta)$ : Una loss a cerniera (hinge loss) basata su margine che impedisce cambiamenti alla previsione originale.
  L'ottimizzazione utilizza l'ottimizzatore Adam per gestire le derivate del secondo ordine richieste dalla manipolazione dell'attribuzione.
Metriche di Valutazione: La trasparenza percettiva è valutata tramite una suite di metriche specifiche del dominio (PEAQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI). La fragilità della spiegazione è quantificata tramite Similarità del Coseno e Sovrapposizione Top-10. Gli autori introducono il Punteggio di Fragilità Audio (AFS $_{stable}$ ), una metrica continua che bilancia lo spostamento dell'attribuzione rispetto alla preservazione della previsione e alla qualità percettiva.

Contributi Chiave

Nuovo Framework di Ottimizzazione: Il documento adatta gli attacchi avversari mirati alla spiegazione al dominio audio, riuscendo a disaccoppiare le attribuzioni del modello dalle classificazioni finali.
Vincoli Psicoacustici: L'integrazione di una soglia di mascheramento psicoacustico dinamica nella funzione di perdita consente grandi cambiamenti nelle mappe di attribuzione, penalizzando al contempo qualsiasi perturbazione che superi i limiti della percezione umana o alteri la previsione del modello.
Valutazione Empirica: Una valutazione focalizzata su diverse architetture (CNN e Transformer) utilizzando il dataset SONICS, sfruttando metriche percettive per validare l'impercettibilità degli attacchi.

Risultati

Qualità Percettiva: I metodi non vincolati (PGD) degradano severamente la qualità audio (es. PESQ $\approx$ 2.8). Al contrario, il framework Psicoacustico proposto mantiene un'alta qualità percettiva oggettiva (ViSQOL > 4.1, CDPAM $\ge$ 0.98) confinando il rumore entro le soglie di mascheramento umano.
Vulnerabilità Architetturale: Lo studio rivela disparità significative nella robustezza. L'architettura AST, basata sui token, si è rivelata la più fragile (Rank Medio: 3.00), permettendo agli avversari di manipolare facilmente le mappe di attenzione. Al contrario, SpecTTTra ha dimostrato la maggiore resistenza (Rank Medio: 7.83), probabilmente a causa del suo meccanismo di tracciamento delle dipendenze temporali a lungo raggio, che diluisce l'impatto del rumore vincolato.
Dipendenze Acustiche: I campioni "facili" da attaccare erano caratterizzati da audio denso e a banda larga (es. rock/elettronica) con alta larghezza di banda spettrale e tassi di zero-crossing, fornendo un "budget di mascheramento" più ampio per il rumore. I campioni "difficili" presentavano un'estrema scarsità acustica (es. musica classica), dove i rigidi vincoli percettivi limitavano il rumore avversario consentito.
Analisi Geometrica: L'analisi PCA indica che gli attacchi psicoacustici inducono spostamenti di attribuzione fluidi e direzionali nei modelli basati su transformer, mentre gli attacchi non vincolati inducono principalmente una riduzione della varianza.

Significatività e Rivendicazioni
Il documento sostiene di dimostrare che le spiegazioni post-hoc nel rilevamento dei deepfake audio sono fragili sotto perturbazioni mirate. Gli autori affermano che le mappe di attribuzione (Grad-CAM, LRP) possono essere sistematicamente manipolate senza alterare le previsioni o degradare la fedeltà percettiva, una vulnerabilità non catturata dalle standard metriche $L_p$ .

I risultati suggeriscono che i limiti strutturali delle spiegazioni post-hoc (precedentemente notati da Grinberg et al., 2025) si estendono oltre l'imprecisione intrinseca fino alla manipolazione avversaria deliberata. Nello specifico, le architetture basate sull'attenzione sembrano più suscettibili alla guida della spiegazione rispetto alle reti convoluzionali, e la topologia acustica (segnali densi vs. sparsi) detta la robustezza della spiegazione.

Gli autori concludono che fare affidamento sulle attribuzioni visive per la fiducia nei modelli audio è prematuro. Essi sostengono che la ricerca futura debba concentrarsi sullo sviluppo di meccanismi di interpretabilità che siano matematicamente ancorati al confine decisionale esatto del classificatore. Il lavoro è presentato come uno strumento diagnostico per migliorare la robustezza delle pipeline di rilevamento, con tutto il codice e gli artefatti rilasciati per supportare la riproducibilità e l'uso responsabile.