🤖 machine learning

A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

Cet article introduit et valide une nouvelle classe d'exemples adverses où de grandes perturbations visibles amènent les humains à mal reconnaître des images alors que les modèles conservent des prédictions correctes, démontrant que les détecteurs et les défenses OOD standards sont largement inefficaces contre cet écart humain-modèle.

Auteurs originaux : Ali Borji

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Borji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'encre invisible et l'angle mort

Imaginez que vous enseigniez à un robot à reconnaître des photos de chats et de chiens. Vous lui montrez des milliers de photos, et il devient très doué pour cela. Mais ensuite, vous découvrez un bug étrange : si vous ajoutez un minuscule grain de bruit numérique invisible à la photo d'un chat, le robot pense soudainement que c'est un chien. C'est l'exemple « adversarial » classique, un problème célèbre dans le monde de l'intelligence artificielle où les machines sont étonnamment fragiles face à de minuscules changements que les humains ne peuvent même pas voir.

Mais et si le bug fonctionnait dans l'autre sens ? Et si vous pouviez prendre la photo d'un chat, gribouiller partout dessus avec un gros marqueur rouge vif jusqu'à ce qu'elle ressemble à un chaos de couleurs, et que le robot insistait encore, avec une confiance de 100 %, « C'est définitivement un chat » ? Pendant ce temps, un humain regardant ce même gribouillage n'aurait aucune idée de ce qu'il regarde. Cet article explore exactement ce scénario. Il pose une question simple mais effrayante : existe-t-il un fossé entre ce que nos yeux voient et ce que le cerveau du robot croit ? Et s'il en est ainsi, pouvons-nous construire un système de sécurité pour le détecter ? Il ne s'agit pas seulement de tromper les robots ; il s'agit de comprendre si notre IA hallucine de la confiance sur des choses qui nous sont totalement méconnaissables.

Le « nouveau genre » de ruse

Les chercheurs derrière cette étude ont décidé d'inverser la tendance habituelle pour piéger l'IA. Habituellement, les hackers essaient de rendre un robot faux en ajoutant un petit changement invisible. Ici, ils ont essayé de rendre le robot obstinément juste tout en rendant l'image totalement fausse pour un humain. Ils appellent cela un « Nouvel Exemple Adversarial » (ou NKE pour New Kind of Adversarial Example).

Pensez-y comme à un tour de magie où le magicien (l'IA) est convaincu que le lapin est dans le chapeau, même si le chapeau est maintenant rempli de paillettes, de confettis et d'un écureuil vivant. Le public humain (nous) regarde le chapeau et dit : « Je n'ai aucune idée de ce que c'est ! » Mais le magicien continue de pointer du doigt et de dire : « Lapin ! Lapin ! » avec une certitude totale.

L'équipe a testé cela sur trois niveaux de difficulté : des chiffres simples en noir et blanc (MNIST), de petites images colorées d'objets (CIFAR-10), et des photos du monde réel (ImageNet). Ils ont découvert qu'ils pouvaient facilement créer ces images « gribouillées ». À mesure qu'ils ajoutaient de plus en plus de bruit chaotique (jusqu'à un point où l'image ressemblait à de la neige sur une vieille télévision), le modèle d'IA conservait son étiquette d'origine et son score de confiance restait à un parfait 100 %. Mais les humains ? Ils étaient complètement perdus.

Le fossé entre l'humain et le robot

Pour prouver qu'il ne s'agissait pas seulement d'une simulation informatique, les chercheurs ont mené une petite expérience avec de vraies personnes. Ils ont montré ces images gribouillées à cinq volontaires et leur ont demandé de deviner ce qu'était l'image. Les résultats sont frappants. Lorsque les images étaient fortement gribouillées, les humains ne trouvaient la bonne réponse qu'environ 8 % du temps. Pendant ce temps, l'IA devinait correctement 100 % du temps.

Cela a créé un énorme « fossé humain-modèle ». L'IA était sûre d'elle, mais se trompait sur ce que l'humain pouvait voir. Les chercheurs ont également vérifié s'il s'agissait simplement du fait que les images étaient trop floues ou trop bruitées. Ils ont comparé leurs images « gribouillées » à un bruit aléatoire possédant exactement la même quantité de « dommages » visuels. Ils ont découvert que le « gribouillage » spécial de l'IA était en fait plus reconnaissable pour d'autres programmes informatiques que le bruit aléatoire ne l'était, même si les deux ressemblaient à des déchets pour les humains. Cela suggère que l'IA n'ignore pas simplement le bruit ; elle s'accroche à un motif caché et étrange que les humains ne peuvent pas voir.

L'angle mort de la sécurité

C'est ici que cela devient vraiment délicat. Habituellement, lorsqu'une IA voit quelque chose d'étrange (comme la photo d'un grille-pain qui ressemble à un nuage), elle devrait tirer la sonnette d'alarme. Nous avons des outils appelés détecteurs de « Hors-Distribution » (OOD - Out-of-Distribution) conçus précisément pour cela. Ils vérifient si une image ressemble aux données sur lesquelles l'IA a été entraînée. Si ce n'est pas le cas, le détecteur dit : « Hé, cela semble suspect ! »

Les chercheurs ont testé leurs images gribouillées contre ces outils de sécurité. Le résultat ? Les outils standards étaient complètement aveugles.

Vérification de la confiance : L'IA disait « Je suis sûre à 100 % ! », donc l'outil de sécurité pensait : « D'accord, pas de problème. »
Vérification de l'énergie : Un autre outil qui recherche une « énergie bizarre » dans l'image n'a rien vu non plus.
Vérification des caractéristiques : Un outil spécifique qui examine la « forme » interne des données a détecté les images. Il a signalé 100 % des images gribouillées comme suspectes.

Mais il y avait un piège. Les chercheurs ont montré que si un hacker connaît l'existence de cet outil de « vérification des caractéristiques », il peut modifier ses gribouillis très légèrement pour le tromper. C'est comme un cambrioleur qui apprend exactement quel système d'alarme est installé dans la maison et qui choisit ensuite de crocheter la serrure si parfaitement que l'alarme ne se déclenche jamais. L'outil qui pouvait attraper la ruse est facilement vaincu si l'attaquant est assez intelligent.

Le mystère de la Texture vs la Forme

Pourquoi cela se produit-il ? Les chercheurs ont fouillé dans le « cerveau » de l'IA pour voir ce qu'elle regardait. Ils ont découvert une séparation fascinante.

Texture : L'IA repose lourdement sur les détails minuscules, la « texture » de l'image (comme la fourrure d'un chat). Les gribouillis ont détruit cette texture presque instantanément.
Forme : Le « contour » ou la « forme » de l'objet (comme la courbe générale du corps d'un chat) a survécu aux gribouillis beaucoup plus longtemps.

Les humains reconnaissent généralement les choses par leur forme. Mais l'IA, dans ce cas, semblait ignorer la forme et se laisser troubler par la texture, ou peut-être trouvait-elle un motif de texture étrange que seul elle comprend. Même lorsqu'ils ont testé un nouveau type d'IA (un Vision Transformer) censé être meilleur pour voir les formes, il est quand même tombé dans le piège. Le fossé entre l'humain et la machine persistait.

La « Super-Défense » ne fonctionne pas

Enfin, l'équipe a demandé : « Pouvons-nous simplement entraîner l'IA à être plus robuste ? » Ils ont essayé d'apprendre à l'IA à résister aux attaques habituelles, invisibles et minuscules (une méthode appelée « entraînement adversarial »). Ils ont également essayé de flouter les images ou de changer leur taille avant que l'IA ne les regarde.

Le résultat ? Rien de tout cela n'a fonctionné. L'IA entraînée pour être super-robuste face aux petites attaques était toujours 100 % vulnérable à ces grosses attaques de gribouillis. Il s'avère qu'être bon pour ignorer les minuscules grains de poussière ne sert à rien quand quelqu'un vous peint une moustache géante sur le visage. Les deux types d'attaques sont complètement différents, et nos défenses actuelles ne couvrent qu'un seul côté du problème.

Ce qu'il faut retenir

Cet article révèle une nouvelle vulnérabilité effrayante. Nous avons construit des systèmes d'IA qui peuvent être trompés pour être 100 % confiants sur des choses qui nous sont totalement méconnaissables. Nos alarmes de sécurité actuelles ne voient pas venir le coup car l'IA est tellement sûre d'elle-même. Et même les outils qui peuvent le voir sont facilement dupables si l'attaquant sait comment s'y prendre.

Les chercheurs ne disent pas que le problème est résolu. En fait, ils disent qu'il s'agit d'un énorme trou béant dans notre filet de sécurité. Ils ont rendu publics tout leur code et les outils qu'ils ont utilisés pour tester cela, en espérant que d'autres scientifiques aideront à trouver comment construire une IA qui ne se contente pas de « deviner » avec assurance lorsqu'elle regarde un désordre, mais qui admet réellement : « Je ne sais pas ce que c'est. » D'ici là, nous devons être prudents : ce n'est pas parce qu'un robot affirme être sûr qu'il a raison.

Résumé Technique : Un Nouveau Type d'Exemple Adversaire (NKE)

Énoncé du Problème
Les exemples adversaires classiques sont définis par de petites perturbations imperceptibles qui provoquent une erreur de classification par un modèle tout en restant visuellement inchangées pour un humain. Cet article étudie le mode de défaillance inverse : les Nouveaux Types d'Exemples Adversaires (NKE - New Kind of Adversarial Examples). Dans ce cadre, une perturbation large et clairement visible est appliquée à une image de telle sorte que le modèle maintient sa prédiction originale et correcte avec une grande confiance, bien qu'un observateur humain ne soit plus capable de reconnaître l'image.

Bien que des travaux antérieurs (Borji [3] ; Nie et al. [5]) aient établi que de tels exemples peuvent être générés à grande échelle, trois questions critiques restaient non testées :

L'écart Humain-Modèle : La reconnaissance humaine se dégrade-t-elle réellement plus rapidement que la précision du modèle sous ces grandes perturbations, ou l'écart n'est-il qu'un artefact de la perte de signal ?
Détection OOD et Calibration : Les détecteurs de distribution hors domaine (OOD) standards et les outils de calibration (par exemple, les scores de confiance, les méthodes basées sur l'énergie) identifient-ils ces exemples comme des échecs, étant donné qu'ils sont éloignés de la variété des données (data manifold) tout en étant classés avec confiance ?
Robustesse : Les défenses existantes (entraînement adversaire, transformations d'entrée, lissage aléatoire) atténuent-elles ce mode de défaillance, ou la résistance aux attaques à petit $\epsilon$ est-elle orthogonale à la résistance aux attaques NKE à grand $\epsilon_l$ ?

Méthodologie
L'étude utilise un pipeline de génération d'attaques unifié pour produire des images NKE sur MNIST, CIFAR-10 et ImageNet (en utilisant Imagenette). L'attaque minimise la perte de la classe réelle (en maintenant la prédiction correcte) tout en imposant une contrainte de limite inférieure sur l'amplitude de la perturbation ( $D(x, x') > \epsilon_l$ ). Le générateur principal utilise des variantes itératives basées sur le momentum (NMI-FGSM/NMI-FGM).

L'évaluation est organisée en quatre pistes :

Mesure de l'écart Humain-Modèle :
- Proxys Computationnels : Un reconnaisseur générique indépendant (une architecture différente entraînée sur des données propres) et un reconnaisseur de formes (entraîné sur des cartes de contours Canny) servent de proxys pour la performance humaine.
- Pilote Humain : Une étude de choix forcé à petite échelle ( $N=5$ ) utilisant un harnais publié pour collecter les réponses humaines réelles.
- Contrôles : Des contrôles de bruit Gaussien de magnitude équivalente sont utilisés pour distinguer les effets de la « structure adversaire » de la simple « perte de signal ».
- Proxy CLIP : La classification zero-shot de CLIP est utilisée comme un proxy non-CNN plus puissant pour la reconnaissabilité humaine à l'échelle d'ImageNet.
Analyse OOD et Calibration : Évaluation de la probabilité softmax maximale (MSP), des scores d'énergie et des détecteurs de distance de Mahalanobis, ainsi que de l'erreur de calibration attendue (ECE).
Attaque Adaptative : Tester si les détecteurs dans l'espace des caractéristiques (feature-space) peuvent être évadés par un attaquant qui incorpore la métrique de distance du détecteur dans l'objectif d'optimisation.
Évaluation des Défenses : Évaluation de l'entraînement adversaire, du lissage aléatoire et des transformations d'entrée face au NKE, et corrélation entre la robustesse classique et la résistance au NKE.
Analyse Mécaniste : Quantification de la préservation de la structure des bords/formes par rapport à la texture (via les scores F1 de Canny et GLCM) pour expliquer l'invariance du modèle.

Résultats Clés

L'écart Humain-Modèle est Réel et Structurel :
- Sur CIFAR-10, à mesure que $\epsilon_l$ augmente, le modèle source maintient une précision de 100 %, tandis qu'un reconnaisseur générique indépendant chute à environ 49 %.
- Crucialement, un contrôle Gaussien de type L2 apparié dégrade le reconnaisseur plus rapidement (jusqu'à ~15 %) que la perturbation structurée NKE. Cela indique que l'écart n'est pas dû à la perte de signal, mais à la structure adversaire spécifique qui préserve les caractéristiques pertinentes pour le modèle tout en détruisant le contenu reconnaissable par l'humain.
- Un petit pilote humain ( $N=5$ ) corrobore l'écart, avec une précision humaine chutant à environ 8 % lors de grandes perturbations alors que le modèle reste à 100 %.
- À l'échelle d'ImageNet, un proxy zero-shot CLIP confirme un écart significatif (modèle 100 % vs CLIP ~33 %), bien que l'ordre du NKE par rapport au bruit Gaussien s'inverse par rapport à CIFAR-10, suggérant que le NKE détruit activement le contenu sémantique large à cette échelle.
Impuissance des Outils Standards d'OOD et de Calibration :
- Les détecteurs OOD basés sur la confiance (MSP) et sur l'énergie signalent 0 % des images NKE, et l'ECE reste proche de 0. Les modèles semblent parfaitement calibrés malgré le fait que l'entrée soit méconnaissable pour les humains.
- Les détecteurs de Mahalanobis dans l'espace des caractéristiques signalent 100 % des images NKE, les identifiant correctement comme étant hors de la variété (off-manifold).
- Vulnérabilité Adaptative : Cependant, un attaquant adaptatif peut réduire la détection de Mahalanobis de 100 % à 0 % en ajoutant un terme de pénalité à la fonction de perte, et ce sans coût pour le succès de l'attaque ou l'amplitude de la perturbation. Cette évasion tient face à des détecteurs non vus et à des modèles entraînés de manière adversaire.
Orthogonalité aux Défenses Classiques :
- Aucune défense classique ne mitige le NKE. Les modèles entraînés de manière adversaire (avec une précision robuste de 45 % contre PGD) restent vulnérables à ~100 % au NKE.
- Il y a une corrélation nulle ( $r \approx 0$ ) entre la résistance aux attaques à petit $\epsilon$ et la résistance aux attaques NKE à grand $\epsilon_l$ .
Aperçu Mécaniste (Texture vs Forme) :
- L'attaque détruit les statistiques de texture de bas niveau (la similitude GLCM s'effondre à ~0) beaucoup plus rapidement qu'elle ne dégrade la structure des bords/formes (la préservation des bords reste à ~0,3–0,4).
- Bien que les CNN soient biaisés vers la texture, un Vision Transformer (ViT) doté d'un biais de forme ne récupère pas mieux l'étiquette que le CNN sur les entrées NKE, indiquant que la structure survivante est insuffisante pour une reconnaissance de type humain.
- L'analyse de transfertabilité montre que les exemples NKE sont très spécifiques au modèle ; à mesure que la complexité de la tâche augmente (MNIST $\to$ ImageNet), la transférabilité s'effondre, suggérant que le signal survivant est idiosyncrasique au modèle source.

Signification et Revendications
Le papier affirme passer de la possibilité de construire de tels exemples à la compréhension de leurs implications pour l'écart entre la perception humaine et celle des modèles, ainsi que pour les limites des outils de sécurité actuels.

Recadrage du Mode de Défaillance : Le NKE représente une vulnérabilité distincte où les modèles sont « sûrs d'eux mais erronés » au sens humain (méconnaissables) mais « corrects » au sens du modèle. C'est un mode de défaillance auquel la surveillance basée sur la confiance standard est structurellement aveugle.
Limites des Défenses Actuelles : Les résultats démontrent que la robustesse aux petites perturbations n'implique pas une robustesse aux grandes perturbations préservant l'étiquette. Les défenses existantes ne traitent pas ce régime.
Nuance de la Détection OOD : Bien que les détecteurs dans l'espace des caractéristiques puissent identifier les exemples NKE, ils ne sont pas adaptativement robustes. Le papier suggère que la détection « hors variété » est nécessaire mais insuffisante une fois que le détecteur est connu de l'attaquant.
Divergence Humain-Modèle : L'étude fournit des preuves empiriques (via des proxys et un pilote) que la divergence entre les courbes psychométriques humaines et des modèles n'est pas seulement un concept théorique mais une réalité mesurable dans les régimes de grandes perturbations, spécifiquement pilotée par la destruction de la texture tout en préservant des structures de type forme sur lesquelles les modèles s'appuient.

Les auteurs concluent que les systèmes reposant sur la confiance softmax ou les scores d'énergie devraient être audités contre ce régime spécifique, et que les travaux futurs doivent se concentrer sur des détecteurs qui sont construits pour être adaptativement robustes. Le papier publie l'intégralité du pipeline, des stimuli et d'un harnais d'étude humaine pour faciliter cet audit.