💬 NLP

Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

Cet article démontre que les mesures de confiance dans les systèmes de vision-langage déployés sont hautement vulnérables aux attaques préservant la réponse, prouvant qu'elles fonctionnent comme des signaux de surveillance sensibles à l'intégrité plutôt que comme des signaux de surveillance robustes capables d'être manipulés pour accepter des réponses incorrectes ou dégrader la précision globale en dessous des niveaux de référence.

Auteurs originaux : Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le capitaine d'un vaisseau spatial, mais que vous ne puissiez ni voir les étoiles ni les commandes. À la place, vous avez un copilote robotique très intelligent qui regarde les instruments et vous dit : « Je suis sûr à 90 % que nous sommes sur la bonne voie », ou bien « Je n'en suis sûr qu'à 50 %, nous devrions peut-être nous arrêter ». Vous faites confiance au score de confiance du robot pour décider de continuer à voler ou de faire une pause pour demander l'aide d'un humain. C'est ainsi que fonctionnent de nombreux systèmes d'IA modernes aujourd'hui : ils ne se contentent pas de vous donner une réponse ; ils vous donnent un « score de confiance » pour vous dire à quel point vous devriez faire confiance à cette réponse.

Mais voici la partie délicate : et si quelqu'un pouvait tromper le robot pour qu'il change d'avis sur son degré de certitude, sans pour autant changer la réponse qu'il donne ? C'est comme un magicien qui ferait basculer une balance de « lourd » à « léger » alors que le poids sur la balance reste exactement le même. Si le score de confiance du robot est la seule chose qui vous empêche de prendre une mauvaise décision, et que ce score peut être truqué, alors votre filet de sécurité comporte un trou. Cet article explore précisément ce trou, en posant une question effrayante mais importante : peut-on piéger ces robots d'IA pour qu'ils mentent sur leur confiance tout en continuant à dire exactement la même chose ?

Les chercheurs de cette étude ont décidé de jouer à un jeu de haute importance consistant à « trouver la faiblesse » avec plusieurs modèles de langage-vision puissants (des IA capables de voir des images et de répondre à des questions). Leur objectif était de voir s'ils pouvaient créer un changement minuscule, presque invisible, dans une image qui ferait osciller sauvagement le score de confiance de l'IA, même si la réponse finale de l'IA restait parfaitement identique, jusqu'à la moindre lettre et le moindre espace. Ils ont traité le score de confiance de l'IA comme une fenêtre de verre fragile : ils voulaient voir s'ils pouvaient briser le verre (la confiance) sans casser le cadre (la réponse).

Ce qu'ils ont découvert, c'est que le verre est bien plus fragile que ce que l'on espérait. En utilisant une méthode appelée « attaques préservant la réponse », ils ont réussi à manipuler les scores de confiance internes de l'IA dans presque tous les tests effectués. En fait, ils ont constaté que pour beaucoup des modèles d'IA qu'ils ont testés, ils pouvaient piéger le système pour lui faire accepter une mauvaise réponse comme étant correcte, ou rejeter une réponse correcte comme étant fausse, simplement en modifiant l'image juste assez pour tromper le compteur de confiance.

La partie la plus surprenante de leur découverte est que cela ne concerne pas seulement l'image elle-même. Les chercheurs ont montré qu'ils pouvaient également « pousser » le cerveau interne de l'IA (ses états cachés) directement, comme pour donner une petite impulsion à une pensée dans une direction spécifique, et obtenir le même résultat sans même toucher à l'image. Cela suggère que le problème n'est pas seulement un bug dans la façon dont l'IA voit les images, mais un problème plus profond lié à la façon dont l'IA calcule sa propre certitude.

Ils ont également testé plusieurs stratégies de « défense » — des moyens de rendre le score de confiance plus robuste, comme ajouter du bruit à l'image ou entraîner l'IA à être moins sensible aux changements. Malheureusement, aucune de ces défenses n'a fonctionné de manière satisfaisante pour arrêter le tour de passe-passe. Dans leurs simulations, lorsqu'ils utilisaient ces scores de confiance manipulés pour prendre des décisions concrètes, le système performait en réalité moins bien que s'ils avaient simplement ignoré le score de confiance et accepté toutes les réponses.

Alors, qu'est-ce que cela signifie pour l'avenir ? L'article conclut que nous ne pouvons pas accorder une confiance aveugle au score de confiance interne de l'IA comme signal de sécurité, surtout si la personne qui fournit les données à l'IA cherche à la tromper. Le score de confiance est « sensible à l'intégrité », ce qui signifie qu'il peut être facilement corrompu. Les auteurs suggèrent que si nous voulons utiliser ces scores de confiance pour prendre des décisions importantes, nous devons construire de nouvelles méthodes externes pour les vérifier, plutôt que de compter sur l'IA pour nous dire à quel point elle est sûre d'elle. C'est un rappel que dans le monde de l'IA, ce n'est pas parce qu'un robot dit « je suis sûr » qu'il l'est réellement.

Résumé Technique : Confiance du Modèle sous Attaques Préservant la Réponse

Énoncé du Problème
Les modèles de vision-langage (VLM) déployés utilisent souvent des scores de confiance internes pour réguler les décisions en aval, telles que l'acceptation d'une réponse, le recours à un humain ou l'abstention. Le mode de défaillance critique étudié dans ce travail survient lorsqu'une perturbation adversaire modifie suffisamment le score de confiance pour inverser une décision en aval, alors que la chaîne de caractères de la réponse générée reste identique au niveau octet à l'originale. L'article demande si les lectures de confiance internes au modèle peuvent fournir une surveillance robuste lorsque le comportement surveillé (la réponse) est maintenu fixe mais que l'entrée (l'image) est perturbée de manière adversaire. Contrairement aux travaux antérieurs sur les classificateurs qui préservent un unique jeton de prédiction, cette étude traite de la préservation de réponses complètes et de longueur variable.

Méthodologie et Modèle de Menace
Les auteurs évaluent sept canaux de confiance à travers quatre VLM (InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B) et trois benchmarks (GQA, VQAv2, POPE). Le modèle de menace principal est white-box, image-only, et answer-preserving (boîte blanche, uniquement par l'image, et préservant la réponse).

Contraintes d'Attaque : Les attaques utilisent la descente de gradient projetée (PGD) sous un budget $L_\infty$ (par défaut 8/255) pour perturber l'image d'entrée. L'optimisation est contrainte de sorte que le jeton émis à chaque position de la réponse reste l'argmax avec une marge de sécurité ( $\tau_{safe} = 1.0$ logit), et que la réponse finale régénérée via un décodage glouton (greedy decoding) soit identique au niveau octet à la réponse propre.
Canaux de Confiance : L'étude teste cinq canaux principaux :
1. Probabilité du jeton de l'étendue de la réponse (answer-span token probability).
2. $P(IK)$ et SAPLMA (lus aux jetons de fin de prompt et de fin de réponse).
3. CCPS (mesurant la stabilité sous perturbation interne).
4. CCPS-D (un substitut différentiable entraîné sur les caractéristiques de CCPS).
- La confiance verbalisée et la cohérence (self-consistency) sont rapportées de manière complémentaire mais sont exclues des comptes principaux car elles manquent d'attaques ciblées sur l'estimateur ou présentent une faible discrimination sur les données propres.
Métriques d'Évaluation : La métrique principale est l'Aire Sous la Courbe ROC (AUROC) pour la discrimination entre réponses correctes et incorrectes. L'étude mesure également le « ratio de destruction excessive » (combien l'attaque dégrade la performance par rapport au plancher théorique) et l'impact sur les décisions de déploiement (taux d'acceptation/d'abstention).

Contributions Théoriques Clés
L'article dérive deux points terminaux théoriques concernant la robustesse des lectures de confiance sous préservation de la réponse :

Plafond de la Chaîne de Réponse (Proposition 1) : Sous l'Hypothèse 1 (que les plages de scores atteignables pour différentes images produisant la même réponse se chevauchent), toute lecture « inamovible » (qui ne peut être perturbée) est effectivement une fonction de la chaîne de réponse seule. Par conséquent, sa discrimination ne peut excéder le prior de la chaîne de réponse ( $c^*$ ), défini comme $Pr(Y=1 | A=a(x))$. La valeur opérative groupée de ce prior à travers les benchmarks est de 0,617.
Certificat d'Amplitude Uniforme (Proposition 3) : Sans s'appuyer sur l'Hypothèse 1, les auteurs établissent que si l'amplitude manipulable (le déplacement maximal du score) pour chaque élément est bornée par un seuil $\gamma$ , alors la discrimination est garantie de rester au-dessus du plancher de la chaîne de réponse, à condition que la séparation propre entre les paires correctes et incorrectes dépasse $2\gamma$ . Le seuient médian $\gamma^*$ à travers l'étude est de 0,065.

Résultats Expérimentaux
L'évaluation empirique réfute la possibilité de lectures inamovibles et robustes sous le budget étudié :

Réfutation du Certificat : Les perturbations réalisables par élément, produites par des attaques directes ou ciblant des substituts, dépassent le seuil d'amplitude uniforme ( $\gamma^*$ ) dans toutes les 84 combinaisons estimateur-cellule. Cela démontre qu'aucune des lectures testées ne satisfait le lien uniforme requis.
Effondrement du Plancher : Des attaques coordonnées et conscientes de l'étiquette de correction mènent l'AUROC adversaire vers ou en dessous du plancher de la chaîne de réponse dans les 60 cellules de canaux déployés. Des 59 cellules qui commençaient au-dessus du plancher, toutes les 59 se sont effondrées vers ou en dessous de celui-ci. L'AUROC propre (0,72–0,78) est tombée à 0,13–0,26, avec un ratio de destruction excessive médian de 3,74.
Manipulation au Niveau de la Représentation : L'effet n'est pas unique aux images adverses. L'injection d'une direction extraite de la dérive de l'état caché induite par l'attaque directement dans la représentation du modèle (sans perturbation d'image) a réussi à déplacer les scores de confiance tout en préservant les réponses sur au moins 86 % des éléments. Cela confirme que la vulnérabilité existe au niveau de la représentation.
Limites de la Défense :
- Sondes Restreintes : Les sondes restreintes à l'espace sous-dimensionnel « couplé à la réponse » (COUPLED) n'ont pas réussi à fournir de robustesse lorsqu'elles étaient directement attaquées, bien qu'elles aient montré une certaine résistance aux attaques par transfert.
- Stabilité de la Perturbation : Mesurer la confiance via la stabilité (CCPS) n'a pas empêché la manipulation des scores ; les attaques ciblant les substituts ont causé une perte significative d'AUROC.
- Purification d'Entrée et Lissage : Le prétraitement JPEG et le lissage aléatoire n'ont pas réussi à établir un certificat uniforme utile ou à empêcher l'effondrement de la discrimination.
- Moniteurs de Désaccord : Un moniteur de désaccord basé sur plusieurs canaux n'a pas fourni de signal robuste cohérent, performant souvent moins bien que le prior de la chaîne de réponse.

Impact sur le Déploiement
Dans une simulation avec seuillage de confiance, les attaques ont réussi à corrompre les décisions d'acceptation :

Faux-vers-Acceptation : Jusqu'à 84,8 % des mauvaises réponses précédemment rejetées sont devenues acceptées sous une attaque de transfert de probabilité de jeton.
Correct-vers-Abstention : Jusqu'à 27,4 % des bonnes réponses précédemment acceptées ont été nouvellement différées.
Précision Nette : Après repondération à la prévalence naturelle de la correction, la précision acceptée de la porte adversaire est tombée en dessous de la ligne de base « sans seuillage » (acceptant toutes les réponses) dans 8 des 12 cellules sous attaques de transfert et dans les 12 cellules sous attaques directes.

Signification et Revendications
L'article conclut que sous le modèle de menace spécifique d'attaques white-box, image-only, et answer-preserving, la confiance interne du modèle est un signal sensible à l'intégrité plutôt qu'un mécanisme de surveillance intrinsèquement robuste.

L'étude ne prétend pas que la confiance est inutile, ni n'exclut des vérificateurs externes entraînés indépendamment ou de futures constructions certifiées.
Cependant, elle démontre que les lectures spécifiques actuellement déployées dans les VLM sont mobiles au sein de l'ensemble de préservation de la réponse.
Les conclusions impliquent que pour qu'un système à seuillage de confiance soit fiable lorsque le chemin d'entrée n'est pas fiable, le score lui-même doit être protégé, certifié ou vérifié de manière indépendante, car le signal interne seul ne peut garantir la robustesse contre la manipulation adversaire qui préserve le texte de sortie.

Articles similaires