🤖 AI

The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

Cet article introduit un cadre psychoacoustique démontrant que les explications post-hoc des modèles de détection de deepfakes audio sont fragiles, car des adversaires peuvent appliquer des perturbations inaudibles pour fausser systématiquement les cartes de chaleur d'attribution tout en préservant la classification originale du modèle.

Auteurs originaux : Piotr Kitłowski, Dominik Wiącek, Mateusz Modrzejewski

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Piotr Kitłowski, Dominik Wiącek, Mateusz Modrzejewski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un garde de sécurité très intelligent (le modèle d'IA) dont le travail est d'écouter un enregistrement audio et de décider s'il s'agit d'une voix humaine réelle ou d'un "deepfake" généré par ordinateur. Pour vous aider à lui faire confiance, le système vous montre une "carte de chaleur" (une explication). Cette carte illumine les parties spécifiques de l'onde sonore que le garde a utilisées pour prendre sa décision, comme en soulignant une toux suspecte ou le glitch robotique qui a trahi le faux.

Cet article pose une question effrayante : Et si quelqu'un pouvait tromper le garde pour qu'il pointe la mauvaise chose, tout en prenant exactement la même décision ?

Voici la décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. Le tour de l'« Encre Invisible »

Par le passé, des chercheurs ont tenté de tromper les détecteurs d'images par IA en ajoutant de minuscules pixels visibles à une image. Mais dans l'audio, si vous ajoutez un bruit que l'ordinateur peut "voir", les humains peuvent généralement aussi l' "entendre", ce qui gâche le tour de magie.

Les auteurs ont développé une nouvelle méthode utilisant la Psychoacoustique. Considérez cela comme de l'« encre invisible » pour le son.

L'analogie : Imaginez que vous chuchotez un secret à un ami dans un concert de rock bruyant et agité. Vous pouvez chuchoter quelque chose de complètement différent de ce que vous aviez prévu, et votre ami ne le remarquera même pas parce que la musique forte va "masquer" votre chuchotement.
Le résultat : Les chercheurs ont trouvé un moyen d'ajouter des « chuchotements » (des perturbations infimes) à l'audio qui sont assez forts pour confondre la carte d'explication de l'IA, mais assez discrets pour que les oreilles humaines n'entendent rien d'autre que la chanson originale.

2. L'acte de « Découplage »

Le but de l'attaque était de découpler l'explication de la prédiction.

Avant l'attaque : L'IA dit : « C'est un faux », et la carte de chaleur pointe vers le glitch robotique. (Vérité).
Après l'attaque : L'IA dit toujours : « C'est un faux », mais la carte de chaleur pointe désormais vers une partie totalement innocente de la chanson, comme les batteries en arrière-plan.
Le danger : Si vous ne regardiez que la carte de chaleur, vous penseriez que l'IA se concentre sur la batterie pour prendre sa décision. Vous seriez complètement induit en erreur sur la raison pour laquelle l'IA a pris cet appel, même si le verdict final (Faux) n'a pas changé.

3. Qui a été le plus trompé ?

Les chercheurs ont testé cela sur trois types différents de "gardes" IA (architectures) :

Le garde « basé sur les jetons » (AST) : Ce modèle était le plus fragile. C'est comme un garde qui se concentre sur des mots spécifiques et isolés. Les chercheurs ont pu facilement détourner son attention des vrais indices vers de faux indices.
Le garde « convolutionnel » (VGGish) : Ce modèle se situait entre les deux. Il observe des motifs, comme un humain écoutant un rythme. Il était plus difficile à tromper, mais restait vulnérable.
Le garde « à longue portée » (SpecTTTra) : Ce modèle était le plus robuste. Il écoute toute l'histoire du début à la fin. Parce qu'il suit des connexions de longue durée dans la musique, les « chuchotements » ajoutés par les attaquants ont été dilués et n'ont pas réussi à confondre la carte d'explication aussi facilement.

4. Pourquoi certaines chansons étaient plus faciles à tromper

Les chercheurs ont remarqué que les chansons les plus « faciles » à tromper étaient chargées, bruyantes et complexes (comme le rock ou la musique électronique).

L'analogie : Il est plus facile de cacher une note secrète dans un solo de jazz chaotique que dans une mélodie de piano calme et à note unique. Le "bruit" de la musique complexe offrait un refuge parfait (budget de masquage) pour l'attaque invisible.
Les cibles plus difficiles : La musique calme et épurée (comme la musique classique ou acoustique) ne laissait aucune place aux « chuchotements ». L'attaque a échoué car il n'y avait pas de bruit de fond pour s'y cacher.

5. La grande conclusion

L'article conclut que nous ne pouvons pas faire aveuglément confiance aux « cartes de chaleur » ou aux explications que nous donnent les systèmes d'IA audio.

Ce n'est pas parce que l'IA vous donne une raison (une partie du son mise en évidence) que c'est la vraie raison pour laquelle elle a pris sa décision.
Un attaquant pourrait réécrire systématiquement l'« histoire » de l'IA sur la raison pour laquelle elle a pris une décision, faisant en sorte que l'explication semble se concentrer sur des parties sûres et innocentes de l'audio, alors que l'IA identifie toujours correctement (ou incorrectement) le deepfake.

En bref : L'IA peut avoir raison sur ce que l'audio est, mais l'« explication » qu'elle vous donne sur le pourquoi elle le pense peut être complètement fausse, et vous ne remarqueriez même pas la différence à l'oreille.

Résumé Technique : La fragilité perçue des explications dans les modèles audio

Énoncé du problème
La prolifération de l'audio synthétique a nécessité le déploiement de systèmes de détection de deepfakes, qui reposent de plus en plus sur des méthodes d'IA explicable (XAI) pour instaurer la confiance en mettant en évidence les artefacts acoustiques qui pilotent les décisions du modèle. Cependant, cette dépendance introduit une vulnérabilité de sécurité critique : la fragilité des explications elles-mêmes. Bien que la susceptibilité des cartes d'attribution à la manipulation adversaire ait été largement documentée en vision par ordinateur (Ghorbani et al., 2019 ; Dombrowski et al., 2019 ; Heo et al., 2019), ses implications pour les modèles audio restent largement non abordées. Les attaques existantes basées sur la vision utilisent des normes $L_p$ pour mesurer le coût de la manipulation, une métrique qui ne parvient pas à corréler avec la perception auditive humaine (Abdullah et al., 2021). Par conséquent, il existe un manque de cadres spécifiques au domaine pour déterminer si les techniques de XAI pour l'audio fournissent des interprétations robustes ou si elles peuvent être déconnectées de la frontière de décision du classifieur par des perturbations imperceptibles.

Méthodologie
Pour étudier cette vulnérabilité, les auteurs proposent un nouveau cadre d'optimisation conçu pour manipuler les cartes de chaleur d'explication post-hoc tout en préservant strictement la prédiction finale du modèle et en maintenant une qualité audio imperceptible.

Modèles cibles et méthodes XAI : L'étude évalue trois architectures distinctes représentant différents paradigmes d'extraction de caractéristiques : VGGish (convolutionnel classique), Audio Spectrogram Transformer (AST, auto-attention) et SpecTTTra (basé sur l'attention, conçu pour le jeu de données SONICS). Deux méthodes d'attribution post-hoc sont analysées : Grad-CAM (gradients du premier ordre) et la propagation de la pertinence par couche (LRP, basée sur la conservation).
Stratégies d'attaque : Trois méthodologies sont appliquées à 100 enregistrements échantillonnés du jeu de données de deepfake SONICS :
1. PGD standard : Une attaque bornée par $L_\infty$ minimisant la similitude structurelle entre les cartes originales et perturbées, servant de base sans contraintes perceptuelles.
2. X-Shift (Adapté) : Une stratégie de déplacement spatial forçant la pertinence vers une région cible non pertinente.
3. Modélisation du bruit psychoacoustique (Proposée) : Un cadre personnalisé intégrant un seuil de masquage psychoacoustique dynamique dans la fonction de perte.
Cadre d'optimisation : La fonction de perte proposée $L(\delta)$ $L (δ)$ combine trois termes :
- $L_{explain}(\delta)$ : Minimise la similitude cosinus entre les cartes d'attribution originales et perturbées.
- $L_{audibility}(\delta)$ : Pénalise l'énergie spectrale dépassant un seuil de masquage psychoacoustique statique $T(x)$ , garantissant que les perturbations restent inaudibles.
- $L_{pred\_preserve}(\delta)$ : Une perte de type "hinge loss" basée sur une marge empêchant tout changement de la prédiction originale.
  L'optimisation utilise l'optimiseur Adam pour gérer les dérivées du second ordre requises pour la manipulation de l'attribution.
Métriques d'évaluation : La transparence perceptuelle est évaluée à l'aide d'une suite de métriques spécifiques au domaine (PEAQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI). La fragilité de l'explication est quantifiée via la similitude cosinus et le chevauchement Top-10. Les auteurs introduisent le Score de Fragilité Audio (AFS $_{stable}$ ), une métrique continue qui équilibre le déplacement de l'attribution par rapport à la préservation de la prédiction et à la qualité perceptuelle.

Contributions clés

Nouveau cadre d'optimisation : Le papier adapte les attaques adverses ciblant l'explication au domaine audio, réussissant à découpler les attributions du modèle des classifications finales.
Contraintes psychoacoustiques : L'intégration d'un seuil de masquage psychoacoustique dynamique dans la fonction de perte permet des changements importants dans les cartes d'attribution tout en pénalisant toute perturbation qui dépasserait les limites de la perception humaine ou altérerait la prédiction du modèle.
Évaluation empirique : Une évaluation ciblée à travers diverses architectures (CNN et Transformers) utilisant le jeu de données SONICS, exploitant des métriques perceptuelles pour valider l'imperceptibilité des attaques.

Résultats

Qualité perceptuelle : Les méthodes non contraintes (PGD) dégradent sévèrement la qualité audio (ex. : PESQ $\approx$ 2,8). En revanche, le cadre psychoacoustique proposé maintient une qualité perceptuelle objective élevée (ViSQOL > 4,1, CDPAM $\ge$ 0,98) en limitant le bruit dans les seuils de masquage humain.
Vulnérabilité architecturale : L'étude révèle des disparités significatives de robustesse. L'architecture AST, basée sur les tokens, s'est révélée la plus fragile (Rang moyen : 3,00), permettant aux adversaires de manipuler facilement les cartes d'attention. À l'inverse, SpecTTTra a démontré la plus grande résistance (Rang moyen : 7,83), probablement en raison de son mécanisme de suivi des dépendances temporelles à longue portée qui dilue l'impact du bruit contraint.
Dépendances acoustiques : Les échantillons "faciles" à attaquer étaient caractérisés par un audio large bande et dense (ex. : rock/électronique) avec une bande passante spectrale et des taux de passage par zéro élevés, offrant un plus grand "budget de masquage" pour le bruit. Les échantillons "difficiles" présentaient une extrême parcité acoustique (ex. : musique classique), où les contraintes perceptuelles strictes limitaient le bruit adversaire admissible.
Analyse géométrique : L'analyse PCA indique que les attaques psychoacoustiques induisent des décalages d'attribution lisses et directionnels dans les modèles basés sur les transformers, tandis que les attaques non contraintes induisent principalement une réduction de la variance.

Signification et Revendications
Le papier affirme démontrer que les explications post-hoc dans la détection de deepfakes audio sont fragiles sous des perturbations ciblées. Les auteurs soutiennent que les cartes d'attribution (Grad-CAM, LRP) peuvent être systématiquement manipulées sans modifier les prédictions ni dégrader la fidélité perceptuelle, une vulnérabilité non capturée par les métriques $L_p$ standards.

Les conclusions suggèrent que les limitations structurelles des explications post-hoc (précédemment notées par Grinberg et al., 2025) s'étendent au-delà de l'imprécision inhérente pour toucher la manipulation adversaire délibérée. Plus précisément, les architectures basées sur l'attention semblent plus susceptibles au pilotage de l'explication que les réseaux convolutionnels, et la topologie acoustique (signaux denses vs creux) dicte la robustesse de l'explication.

Les auteurs concluent qu'il est prématuré de se fier aux attributions visuelles pour la fiabilité des modèles audio. Ils postulent que la recherche future doit se concentrer sur le développement de mécanismes d'interprétabilité mathématiquement liés à la frontière de décision exacte du classifieur. Ce travail est présenté comme un outil de diagnostic pour améliorer la robustesse des pipelines de détection, avec l'ensemble du code et des artefacts publié pour soutenir la reproductibilité et un usage responsable.