The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

Technische Samenvatting: De Waargenomen Fragiliteit van Verklaringen in Audiomodellen

Probleemstelling
De proliferatie van synthetische audio heeft de inzet van deepfake-detectiesystemen noodzakelijk gemaakt, die steeds vaker vertrouwen op Explainable AI (XAI)-methoden om vertrouwen te kweken door de akoestische artefacten te benadrukken die de beslissingen van het model drijven. Deze afhankelijkheid introduceert echter een kritieke beveiligingskwetsbaarheid: de fragiliteit van de verklaringen zelf. Hoewel de vatbaarheid van attributiekaarten voor adiabatische manipulatie uitgebreid is gedocumenteerd in computer vision (Ghorbani et al., 2019; Dombrowski et al., 2019; Heo et al., 2019), blijven de implicaties hiervan voor audiomodellen grotendeels onbehandeld. Bestaande visuele aanvallen maken gebruik van $L_p$-normen om de manipulatiekosten te meten, een metriek die niet correleert met de menselijke auditieve perceptie (Abdullah et al., 2021). Bijgevolg ontbreekt een domeinspecifiek kader om te bepalen of XAI-technieken voor audio robuuste interpretaties bieden of dat ze losgekoppeld kunnen worden van de beslissingsgrens van de classifier door middel van onmerkbare perturbaties.

Methodologie
Om deze kwetsbaarheid te onderzoeken, stellen de auteurs een nieuw optimalisatiekader voor dat ontworpen is om post-hoc verklaring-heatmaps te manipuleren, terwijl de uiteindelijke voorspelling van het model strikt behouden blijft en de onmerkbare audiokwaliteit wordt gewaarborgd.

• Doelmodellen en XAI-methoden: De studie evalueert drie verschillende architecturen die verschillende paradigma's van feature-extractie vertegenwoordigen: VGGish (klassieke convolutionele), Audio Spectrogram Transformer (AST, self-attention) en SpecTTTra (attention-gebaseerd, ontworpen voor de SONICS-dataset). Twee post-hoc attributiemethoden worden geanalyseerd: Grad-CAM (eerste-orde gradiënten) en Layer-wise Relevance Propagation (LRP, behoudsgebaseerd).
• Aanvalstrategieën: Drie methodologieën worden toegepast op 100 gesamplede opnames uit de SONICS deepfake-dataset:
  1. Standaard PGD: Een aanval met een $L_\infty$-begrenzing die de structurele gelijkenis tussen de originele en de geperturbeerde kaarten minimaliseert, dienend als een baseline zonder perceptuele beperkingen.
  2. X-Shift (Aangepast): Een ruimtelijke verschuivingsstrategie die relevantie naar een irrelevante doelregio dwingt.
  3. Psychoakoestische Ruismodellering (Voorgesteld): Een aangepast kader dat een dynamische psychoakoestische maskeringsdrempel integreert in de verliesfunctie.
• Optimalisatiekader: De voorgestelde verliesfunctie $L(\delta)$ combineert drie termen:
  • $L_{explain}(\delta)$: Minimaliseert de cosinusgelijkenis tussen de originele en de geperturbeerde attributiekaarten.
  • $L_{audibility}(\delta)$: Bestraft spectrale energie die de statische psychoakoestische maskeringsdrempel $T(x)$ overschrijdt, om te garanderen dat perturbaties onhoorbaar blijven.
  • $L_{pred\_preserve}(\delta)$: Een marge-gebaseerde hinge loss die veranderingen aan de oorspronkelijke voorspelling voorkomt.
    De optimalisatie maakt gebruik van de Adam-optimizer om de tweede-orde afgeleiden te verwerken die vereist zijn voor attributiemanipulatie.
• Evaluatiemetrieken: Perceptuele transparantie wordt beoordeeld met een reeks domeinspecifieke metrieken (PEAQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI). De fragiliteit van de verklaring wordt gekwantificeerd via Cosine Similarity en Top-10 Overlap. De auteurs introduceren de Audio Fragility Score (AFS$_{stable}$), een continue metriek die de attributieverschuiving balanceert tegen de voorspellingsbehoud en de perceptuele kwaliteit.

Belangrijkste Bijdragen

1. Nieuw Optimalisatiekader: Het artikel past verklaring-gerichte adiabatische aanvallen aan voor het audio-domein, waarbij het de modelattributies succesvol loskoppelt van de uiteindelijke classificaties.
2. Psychoakoestische Beperkingen: De integratie van een dynamische psychoakoestische maskeringsdrempel in de verliesfunctie maakt grote wijzigingen in de attributiekaarten mogelijk, terwijl elke perturbatie die de menselijke perceptiegrenzen overschrijdt of de voorspelling van het model wijzigt, wordt bestraft.
3. Empirische Evaluatie: Een gerichte evaluatie over diverse architecturen (CNN's en Transformers) met gebruik van de SONICS-dataset, waarbij perceptuele metrieken worden ingezet om de onmerkbaarheid van de aanvallen te valideren.

Resultaten

• Perceptuele Kwaliteit: Onbeperkte methoden (PGD) verslechteren de audiokwaliteit ernstig (bijv. PESQ $\approx$ 2.8). In contrast hiermee behoudt het voorgestelde psychoakoestische kader een hoge objectieve perceptuele kwaliteit (ViSQOL > 4.1, CDPAM $\ge$ 0.98) door ruis binnen de menselijke maskeringsdrempels te begrenzen.
• Architecturale Kwetsbaarheid: De studie onthult significante verschillen in robuustheid. De token-gebaseerde AST-architectuur bleek het meest fragiel (Mean Rank: 3.00), waardoor aanvallers de aandachtskaarten gemakkelijk konden manipuleren. Daartegenover vertoonde SpecTTTra de hoogste weerstand (Mean Rank: 7.83), waarschijnlijk door het mechanisme dat lange-termijn temporele afhankelijkheden volgt, wat de impact van beperkte ruis verdund.
• Akoestische Afhankelijkheden: "Makkelijke" samples om aan te vallen werden gekenmerkt door dichte, breedbandige audio (bijv. rock/elektronisch) met een hoge spectrale bandbreedte en zero-crossing rates, wat een groter "maskeringsbudget" voor ruis bood. "Moeilijke" samples vertoonden extreme akoestische schaarste (bijv. klassieke muziek), waarbij strikte perceptuele beperkingen de toegestane adiabatische ruis beperkten.
• Geometrische Analyse: PCA-analyse geeft aan dat psychoakoestische aanvallen gladde, directionele attributieverschuivingen induceren in transformer-gebaseerde modellen, terwijl onbeperkte aanvallen primair variantiereductie induceren.

Betekenis en Claims
Het artikel claimt aan te tonen dat post-hoc verklaringen in audio deepfake-detectie fragiel zijn onder gerichte perturbaties. De auteurs stellen dat attributiekaarten (Grad-CAM, LRP) systematisch gemanipuleerd kunnen worden zonder de voorspellingen te wijzigen of de perceptuele getrouwheid te verslechteren, een kwetsbaarheid die niet wordt gevangen door standaard $L_p$-metrieken.

De bevindingen suggereren dat de structurele beperkingen van post-hoc verklaringen (voorheen opgemerkt door Grinberg et al., 2025) verder gaan dan inherente onnauwkeurigheid tot bewuste adiabatische manipulatie. Specifiek lijken attention-gebaseerde architecturen gevoeliger voor verklaring-sturing dan convolutionele netwerken, en bepaalt de akoestische topologie (dichte versus ijle signalen) de robuustheid van de verklaring.

De auteurs concluderen dat het vertrouwen op visuele attributies voor de betrouwbaarheid van audiomodellen prematuur is. Zij stellen dat toekomstig onderzoek zich moet richten op het ontwikkelen van interpreteerbaarheidsmechanismen die wiskundig verbonden zijn met de exacte beslissingsgrens van de classifier. Het werk wordt geframed als een diagnostisch instrument om de robuustheid van detectiepipelines te verbeteren, waarbij alle code en artefacten zijn vrijgegeven om reproduceerbaarheid en verantwoord gebruik te ondersteunen.