💻 computer science

Adversarial Evasion Attacks on Computer Vision using SHAP Values

Ce papier propose une attaque d'évasion en boîte blanche contre des modèles de vision par ordinateur en exploitant les valeurs SHAP pour identifier les entrées significatives, démontrant ainsi que cette méthode est plus robuste que la méthode FGSM, notamment dans les scénarios de dissimulation de gradient.

Auteurs originaux : Frank Mollard, Marcus Becker, Florian Roehrbein

Publié 2026-04-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Frank Mollard, Marcus Becker, Florian Roehrbein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Titre : Comment tromper les yeux d'un robot avec des "super-pouvoirs"

Imaginez que vous avez un robot très intelligent capable de reconnaître des chats et des chiens sur des photos. C'est ce qu'on appelle un modèle de vision par ordinateur. Ce papier de recherche raconte l'histoire d'une nouvelle façon de faire trébucher ce robot, non pas en le cassant, mais en lui jouant un tour subtil.

Les auteurs (Frank, Marcus et Florian) ont découvert une méthode pour créer des "images piégées". Si vous montrez une photo de chat à ce robot, il pourrait soudainement crier : « C'est un chien ! » ou « Je ne suis pas sûr ! », alors que pour un humain, la photo semble exactement la même.

🎨 L'Analogie du Peintre et du Spectre

Pour comprendre la différence entre les anciennes méthodes et la nouvelle méthode proposée, utilisons une analogie avec un tableau.

1. L'ancienne méthode (FGSM) : Le "Marteau-Piqueur"

Avant, les pirates informatiques utilisaient une méthode appelée FGSM. Imaginez que vous voulez changer l'opinion d'un spectateur sur un tableau. Avec FGSM, vous prenez un marteau-piqueur et vous tapez un peu partout sur la toile, de manière aléatoire mais calculée.

Le problème : C'est comme si vous ajoutiez du bruit partout. Parfois, ça marche, mais souvent, le robot s'adapte ou le bruit devient trop visible pour l'œil humain. De plus, si le robot est très malin, il peut "cacher" ses réactions (ce qu'on appelle le gradient masking), rendant le marteau-piqueur inefficace.

2. La nouvelle méthode (Attaque SHAP) : Le "Chirurgien Précis"

Les auteurs proposent d'utiliser des valeurs SHAP. C'est comme si le robot avait un rayon X qui lui dit exactement quelle partie du tableau est responsable de sa décision.

Comment ça marche ? Le SHAP analyse l'image et dit : « Regarde, ce petit trait rouge sur l'oreille du chat est ce qui me fait dire "Chat". Et ce trait bleu sur le fond est ce qui me dit "Pas un chien". »
L'attaque : Au lieu de taper partout, le pirate utilise un scalpel. Il modifie uniquement les pixels (les points de l'image) qui sont les plus importants pour la décision du robot. Il les transforme pour qu'ils deviennent "neutres" ou qu'ils disent le contraire.
Le résultat : C'est comme si vous effaciez subtilement les moustaches du chat et les oreilles pointues, juste assez pour que le robot soit perdu, mais sans que l'œil humain ne remarque la différence.

🦋 Le Motif "Papillon" : La Zone de Confusion

Les chercheurs ont découvert quelque chose de fascinant en regardant des milliers d'images. Ils ont vu un motif en forme de papillon (Figure 3 du texte).

Imaginez une balance. Au centre, il y a une zone grise (la zone neutre).
Si un pixel est très sombre ou très clair, il pousse fort le robot vers une décision (Chat ou Chien).
Si un pixel est "moyen" (ni trop clair, ni trop sombre), il ne sert à rien. C'est la zone grise.

L'astuce de l'attaque SHAP : Le pirate prend tous les pixels importants (ceux qui disent "Chat") et les pousse doucement vers cette zone grise.
Résultat ? Le robot perd ses repères. Il ne voit plus de "Chat" ni de "Chien". Sa confiance s'effondre, et il se trompe. C'est comme essayer de deviner un mot en effaçant seulement les lettres les plus importantes, tout en gardant le reste du mot intact.

📊 Les Résultats : Qui gagne ?

Les auteurs ont testé leur méthode sur plusieurs jeux de données (des photos de chats, de chiens, de visages humains et même des chiffres écrits à la main).

Contre les visages humains : La méthode "Marteau-Piqueur" (FGSM) a fait trébucher le robot dans 69 % des cas. La méthode "Chirurgien" (SHAP) l'a fait trébucher dans 98 % des cas !
La subtilité : Les deux méthodes rendent l'image presque identique à l'œil humain, mais la méthode SHAP est beaucoup plus efficace pour tromper le robot, surtout quand le robot essaie de se défendre (quand il cache ses gradients).

🛡️ Pourquoi est-ce important ?

Ce papier nous dit deux choses importantes :

Nos robots sont fragiles : Même les meilleurs modèles d'intelligence artificielle peuvent être trompés par des modifications imperceptibles.
La double nature de l'explication : Les outils que nous créons pour expliquer comment un robot pense (comme le SHAP) peuvent aussi être utilisés pour le faire trébucher. C'est une épée à double tranchant.

🔮 Conclusion : Que faire maintenant ?

Les auteurs concluent que nous devons être prudents. Pour protéger nos robots, nous ne devons plus seulement nous fier à la rapidité, mais créer des modèles qui ne dépendent pas d'un seul pixel ou d'une seule zone de l'image, mais qui comprennent l'image dans son ensemble, comme un humain le ferait.

En résumé : Le SHAP est un outil puissant qui permet de voir les faiblesses cachées de l'intelligence artificielle, nous obligeant à construire des robots plus résistants.

1. Problématique

L'article aborde la vulnérabilité des modèles d'apprentissage profond (Deep Learning), en particulier ceux dédiés à la vision par ordinateur, face aux attaques d'évasion adversaires.

Nature de la menace : Ces attaques consistent à introduire des perturbations imperceptibles à l'œil humain dans les données d'entrée (images) pour tromper le modèle, soit en réduisant sa confiance, soit en induisant une mauvaise classification.
Limites des méthodes existantes : L'approche la plus connue, la Fast Gradient Sign Method (FGSM), repose sur le gradient du modèle. Cependant, l'article souligne que les attaques basées sur le gradient peuvent être inefficaces dans certains scénarios, notamment en raison du « masquage du gradient » (gradient masking), où les gradients deviennent non informatifs, stochastiques ou où la fonction de perte présente un comportement non lisse. Cela peut paradoxalement augmenter la confiance du modèle au lieu de la réduire.

2. Méthodologie : L'Attaque SHAP

Les auteurs proposent une nouvelle attaque en boîte blanche (white-box) qui remplace l'utilisation des gradients par les valeurs SHAP (SHapley Additive exPlanations).

Principe de base : Les valeurs SHAP quantifient la contribution de chaque pixel (variable d'entrée) à la sortie du modèle lors de l'inférence. Contrairement au gradient qui ne considère que le signe de la pente, les valeurs SHAP capturent l'ampleur et la direction de l'influence de chaque pixel.
Observation clé (Le motif "Papillon") : En analysant la relation entre la valeur d'un pixel et sa valeur SHAP sur plusieurs jeux de données (visages d'animaux, MNIST, visages humains), les auteurs observent un motif en forme de papillon. Les pixels ayant une valeur intermédiaire (autour de 0,3 à 0,5 selon le jeu de données) ont une influence neutre (valeur SHAP proche de zéro). Les pixels aux extrémités (très sombres ou très clairs) ont une influence forte (positive ou négative).
Stratégie d'attaque :
1. Identifier les pixels ayant une influence forte (positivement ou négativement) sur la classe cible.
2. Déplacer la valeur de ces pixels vers la « zone neutre » (où la valeur SHAP est proche de zéro).
3. Cela neutralise à la fois les preuves en faveur de la classe correcte et les preuves contre elle, augmentant ainsi l'incertitude du modèle et provoquant une erreur de classification.
Formulation mathématique : L'attaque modifie l'image originale $x$ en $x'$ en ajoutant un terme $\epsilon$ proportionnel à la valeur SHAP $\phi$ , mais seulement si la valeur du pixel et son influence dépassent un seuil $v$ . L'objectif est de réduire l'impact des pixels critiques en les amenant vers la neutralité.

3. Contributions Clés

Nouvelle approche d'attaque : Introduction d'une méthode d'attaque adversaire basée sur l'explicabilité (SHAP) plutôt que sur l'optimisation par gradient.
Robustesse face au masquage du gradient : Démonstration que les attaques SHAP sont plus efficaces que la FGSM, notamment dans des scénarios où les gradients sont peu fiables ou masqués.
Analyse comparative : Une comparaison rigoureuse entre l'attaque SHAP et l'attaque FGSM itérative (Kurakin et al., 2017) sur quatre jeux de données et architectures très différents (CNN simples, EfficientNetB7, MNIST).
Dualité des valeurs SHAP : Mise en lumière du fait que les outils d'explicabilité (SHAP) peuvent être détournés pour exploiter les faiblesses des modèles, en plus de servir à les comprendre.

4. Résultats Expérimentaux

Les auteurs ont testé leurs méthodes sur quatre jeux de données : Animal Faces, Cats and Dogs Filtered, MNIST, et Woman and Man Faces.

Taux de mauvaise classification (Misclassification Rate) :
- Sur le jeu de données Animal Faces, l'attaque SHAP a atteint 73 % de taux d'erreur contre 52 % pour la FGSM.
- Sur Woman and Man Faces, SHAP a atteint 98 % contre 69 % pour FGSM.
- Sur MNIST, SHAP a obtenu 60 % contre 34 % pour FGSM.
- Note : Pour Cats and Dogs Filtered, FGSM a légèrement surpassé SHAP (98 % vs 89 %), mais les auteurs notent que les attaques basées sur le gradient sont globalement plus instables.
Invisibilité : Les deux méthodes permettent de maintenir les perturbations imperceptibles à l'œil humain pour des paramètres $\epsilon$ bien choisis. Cependant, l'attaque SHAP se concentre sur les zones les plus importantes de l'image, laissant les zones non critiques intactes, ce qui la rend potentiellement plus subtile dans sa logique d'attaque.
Stabilité : Les attaques SHAP montrent des taux de réussite plus stables et prévisibles, tandis que les attaques FGSM peuvent parfois échouer ou même augmenter la confiance du modèle en raison de problèmes liés aux gradients.

5. Signification et Conclusion

Vulnérabilité des modèles : L'étude confirme que les modèles de vision par ordinateur sont hautement sensibles aux modifications subtiles des pixels les plus influents, révélant que leur prise de décision repose souvent sur un nombre restreint de caractéristiques critiques.
Implications pour la sécurité : La nécessité de développer des mécanismes de défense plus robustes est soulignée. Les modèles futurs devraient viser une répartition plus équilibrée de l'influence des pixels sur l'image entière pour éviter ce type d'exploitation.
Limitations pratiques : Bien que puissante, l'attaque SHAP est coûteuse en calcul. Le calcul des valeurs SHAP nécessite un échantillonnage de données et une puissance de traitement élevée, ce qui peut limiter son application en temps réel sur des images haute résolution ou des flux vidéo complexes.
Perspective : L'article conclut que la transparence sur les types d'attaques (comme celle-ci) est cruciale pour développer des contre-mesures efficaces et rendre les modèles résilients face aux menaces adverses.