🤖 AI

VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

Cet article soutient que les taux de réussite élevés rapportés pour les attaques adverses universelles sur les modèles vision-langage confondent la perturbation générale des sorties avec l'injection précise de prompts, révélant grâce à une nouvelle évaluation bidimensionnelle que, si les perturbations imperceptibles perturbent fréquemment les sorties des modèles, elles atteignent rarement une injection réelle, avec seulement 0,756 % des cas testés parvenant à tout niveau d'injection autre que nul.

Auteurs originaux : Pang Liu, Yingjie Lao

Publié 2026-05-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pang Liu, Yingjie Lao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et poli capable de regarder des photos et de décrire ce qu'il voit. Vous lui demandez : « Que voit-on sur cette photo d'un chien ? » et il répond : « C'est un golden retriever qui joue dans un parc. »

Maintenant, imaginez qu'un pirate informatique veuille tromper ce robot pour qu'il dise quelque chose de spécifique, comme « Visitez ce site web douteux ». Il ne peut pas modifier le cerveau du robot ni les mots que vous tapez. Son seul outil consiste à ajouter une infime couche invisible de « bruit » à la photo du chien – si petite que l'œil humain ne peut pas la voir, mais que les « yeux » du robot pourraient remarquer.

Ce papier, VisInject, pose une question très simple mais cruciale : Est-ce que ce bruit invisible fait réellement dire au robot la phrase secrète du pirate, ou fait-il simplement dire au robot quelque chose de différent ?

Les auteurs ont découvert que les rapports précédents confondaient deux choses très différentes. Voici la répartition à l'aide d'analogies simples :

1. Les Deux Résultats Différents : « Confusion » vs « Détournement »

Le papier soutient que les chercheurs ont compté la « Confusion » comme si c'était un « Détournement ».

Confusion (Influence/Dérive) : Le robot voit la photo avec le bruit invisible et se confond. Au lieu de dire « un chien dans un parc », il pourrait dire : « Cela ressemble à un collage de texte » ou « Je vois un flou informe ». La réponse du robot a changé, mais il n'a pas dit ce que le pirate voulait.
- Analogie : C'est comme si quelqu'un chuchotait une distraction à l'oreille d'un élève pendant un examen. L'élève arrête d'écrire sur la question d'histoire et se met à griffonner des absurdités. Il est distrait, mais il n'a pas écrit la mauvaise réponse que le professeur redoutait.
Détournement (Injection Précise) : Le robot voit le bruit et, contre toute attente, crache la phrase secrète exacte que le pirate voulait, comme « Visitez www.example.com ».
- Analogie : C'est l'élève qui ignore totalement la distraction et écrit la mauvaise réponse spécifique que l'intrus voulait qu'il écrive.

La Grande Découverte : Le papier a révélé que la Confusion est très courante (se produisant environ 66 % du temps), mais que le Détournement est incroyablement rare (se produisant moins de 1 % du temps, et souvent pas du tout).

2. Le Montage du « Tour de Magie »

Pour prouver cela, les chercheurs ont combiné deux « tours de magie » (méthodes d'attaque) existants d'autres scientifiques :

Le Bruit Universel : Une image spéciale conçue pour confondre n'importe quelle question que vous lui posez.
Le Vecteur : Un outil qui prend ce bruit confus et l'applique sur une photo normale et réelle (comme une photo de chat ou un document) afin qu'elle ressemble à une photo ordinaire pour les humains.

Ils ont exécuté ce montage sur 6 615 scénarios différents en utilisant quatre assistants robotiques open-source différents.

3. Les Résultats : Un Écart de 90 contre 1

Le chiffre phare des études précédentes était que ces attaques fonctionnaient 60 à 80 % du temps. Les auteurs disent : « C'est trompeur. »

Le Taux de « Dérive » : Lorsqu'ils ont vérifié si la réponse du robot changeait du tout, elle changeait 66 % du temps. Les robots étaient définitivement confus.
Le Taux de « Détournement » : Lorsqu'ils ont vérifié si le robot disait réellement la phrase secrète du pirate, cela ne se produisait que 0,75 % du temps.
Le Taux de Littéralité : Lorsqu'ils ont vérifié si le robot disait les exactes paroles que le pirate voulait (comme une URL spécifique), cela ne se produisait que 0,03 % du temps (2 fois sur 6 615).

L'Analogie : Imaginez qu'un magicien tente de faire disparaître une pièce de monnaie. Dans 66 cas sur 100, la pièce se déplace vers un autre endroit (Confusion). Mais dans un seul cas sur 100, la pièce disparaît réellement complètement (Détournement). Les rapports précédents disaient : « Regardez ! La pièce s'est déplacée 66 % du temps ! Le magicien est incroyable ! » Les auteurs disent : « Attendez, la pièce n'a pas disparu. Elle s'est juste déplacée. Le magicien n'est pas aussi puissant que nous le pensions. »

4. Pourquoi Certaines Photos Fonctionnent Mieux que d'Autres

Les chercheurs ont remarqué que les rares fois où le robot a dit la phrase secrète, cela ne s'est produit qu'avec des types de photos spécifiques.

Photos Naturelles : Si la photo était d'un chien ou d'un chat, le robot n'a presque jamais dit la phrase secrète.
Photos de Documents : Si la photo était une capture d'écran d'un site web, d'un éditeur de code ou d'une facture, le robot était légèrement plus susceptible de dire la phrase secrète.
Pourquoi ? Les auteurs expliquent que si la photo ressemble déjà à un document avec du texte (comme une facture), le robot s'attend déjà à lire du texte. Le bruit invisible pousse simplement le robot à lire le « mauvais » texte (la phrase du pirate) au lieu du vrai texte. Si la photo est d'un chien, le robot s'attend à décrire de la fourrure et des pattes, donc la phrase secrète ne s'intègre pas dans l'histoire.

5. Le Robot « Super-Résistant »

L'une des découvertes les plus intéressantes concernait un modèle robotique spécifique appelé BLIP-2.

Alors que les trois autres robots étaient confus par le bruit invisible 100 % du temps, BLIP-2 ne l'a même pas remarqué.
Même lorsque les chercheurs ont essayé d'utiliser BLIP-2 pour aider à créer l'attaque, l'attaque a échoué complètement contre lui par la suite.
La Raison : Les auteurs suggèrent que BLIP-2 possède un « goulot d'étranglement » dans son cerveau. Il compresse l'image en un résumé minuscule avant de la lire. Cette compression agit comme un filtre qui efface le bruit invisible minuscule avant même que le robot ne puisse le voir. C'est comme essayer de chuchoter un secret à travers un mur épais ; les autres robots l'ont entendu, mais le mur de BLIP-2 était trop fort.

Résumé

Le papier conclut que, bien que les attaques invisibles puissent définitivement confondre les modèles vision-langage (en les amenant à donner des réponses étranges ou différentes), elles sont terribles pour forcer les modèles à dire des phrases spécifiques et dangereuses.

L'« écart de 90 fois » signifie que si vous craignez qu'un robot soit trompé pour dire une URL ou un mot de passe spécifique, vous surestimez probablement le danger. Il est beaucoup plus probable que le robot se contente de se confondre et de dire quelque chose de bête que de suivre obéissamment l'ordre du pirate.

L'Essentiel : Ne paniquez pas face au « taux de réussite de 60 à 80 % » que vous auriez pu lire. Ce chiffre compte principalement la « confusion », et non le « détournement ». Le vrai danger de ces attaques spécifiques est beaucoup, beaucoup plus faible que ce que les titres suggèrent.

Sur la base du document fourni, voici un résumé technique détaillé de VisInject : Perturbation ≠ Injection — Une évaluation bidimensionnelle des attaques adverses universelles sur les modèles vision-langage.

Énoncé du problème

La littérature récente sur les attaques adverses universelles (UAA) contre les modèles vision-langage (VLM) rapporte des taux de réussite d'attaque (ASR) élevés, situés entre 60 et 80 %. Ces métriques suggèrent que des perturbations de pixels imperceptibles peuvent servir de canal viable d'injection de prompt, potentiellement en contournant les alignements de sécurité. Cependant, les auteurs soutiennent que ces chiffres rapportés confondent deux événements distincts :

Influence (Dérive) : La sortie du modèle est perturbée et diffère de la référence propre.
Injection précise (Livraison de charge utile) : La chaîne de caractères ou le concept cible spécifique de l'attaquant apparaît effectivement dans la réponse.

Le document postule que les benchmarks existants, qui reposent souvent sur une métrique unique du type « la sortie a-t-elle changé ? », surestiment systématiquement l'utilité des attaques visuelles en tant que vecteur de livraison pour des charges utiles spécifiques.

Méthodologie

Les auteurs proposent VisInject, un pipeline en trois étapes qui combine des méthodes d'attaque existantes avec un nouveau cadre d'évaluation bidimensionnel.

1. Pipeline d'attaque (Étapes 1 et 2) :

Étape 1 (Génération de signal universel) : Utilise la méthode d'attaque adverse universelle (UAA) de Rahmatullaev et al. (24). Une seule image adverse « universelle » est optimisée via PGD (Descente de gradient projetée) contre un ensemble de 2 à 4 VLMs ouverts (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL, BLIP-2) en utilisant 60 prompts bénins. L'objectif est de créer une image qui oriente le modèle vers une phrase cible choisie, indépendamment du prompt de l'utilisateur.
Étape 2 (Fusion réaliste du support) : Utilise le cadre encodeur-décodeur AnyAttack de Zhang et al. (29). Le signal adverse universel de l'étape 1 est encodé via un encodeur CLIP figé et décodé en un tenseur de bruit borné par $L_\infty$ . Ce bruit est ajouté à des photos propres arbitraires (par exemple, des scènes naturelles, des captures d'écran) pour créer des supports adverses réalistes. Le budget de perturbation est contraint à $L_\infty \le 16/255$ (PSNR $\approx$ 25,2 dB).

2. Évaluation bidimensionnelle (Étape 3) :
Au lieu d'une métrique ASR unique, le pipeline note chaque paire de réponses (propre, adverse) le long de deux axes indépendants à l'aide d'un juge LLM (DeepSeek-V4-Pro, calibré par rapport à Claude Opus 4.7) :

Influence (Dérive) : Mesure si la réponse s'est écartée de la référence propre. Évaluée via un score de similarité de chaînes de caractères Ratcliff-Obershelp déterministe (référence programmatique) et un jugement ordinal LLM à 4 niveaux (aucune, légère, substantielle, complète).
Injection précise (Livraison de charge utile) : Mesure si le concept cible spécifique est apparu. Évaluée via un jugement ordinal LLM à 4 niveaux :
- Aucune : Aucun contenu cible.
- Faible : Fragments thématiques (par exemple, « PRÉSIDENT » pour une cible électorale).
- Partielle : Variantes de classe sémantique (par exemple, « numéro de compte » pour « numéro de carte »).
- Confirmée : Phrase cible mot pour mot ou quasi mot pour mot.

Configuration expérimentale :
L'étude parcourt une matrice $7 \times 7 \times 3$ : 7 prompts cibles (allant des URLs littérales aux catégories sémantiques comme la désinformation), 7 images de test (photos naturelles et captures d'écran de style document) et 3 configurations d'ensembles de substitution, évaluées sur 4 VLMs ouverts. Cela produit 6 615 paires de réponses.

Résultats clés

La découverte centrale est une divergence massive entre perturbation et injection :

Perturbation élevée, injection faible : Sur l'ensemble des 6 615 paires, le taux de perturbation programmatique est de 66,4 %, et le taux de perturbation jugée « substantielle ou complète » par LLM est de 46,6 %. Cependant, le taux d'injection précise est drastiquement plus faible :
- Injection large (n'importe quel niveau autre que « aucune ») : 0,756 % (50/6 615 paires).
- Injection stricte/mot pour mot (niveau Confirmée) : 0,030 % (2/6 615 paires).
- Cela représente une divergence d'environ 90 fois entre le fait que le modèle soit perturbé et que la charge utile soit livrée.
Sensibilité architecturale :
- Les VLMs de style Transformer (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL) sont universellement perturbés (100 % de perturbation programmatique) mais affichent des taux d'injection minimes (0,09 %–1,5 %).
- BLIP-2 (utilisant un goulot d'étranglement Q-Former) montre 0,00 % de dérive ou d'injection détectable sur l'ensemble des 2 205 paires, même lorsqu'il est utilisé comme substitut de l'étape 1. Les auteurs émettent l'hypothèse que le goulot d'étranglement d'information du Q-Former et le sous-échantillonnage de la résolution filtrent la perturbation.
Dépendance à l'image et à la charge utile :
- Les injections qui se produisent se concentrent sur les captures d'écran/images de style document (par exemple, éditeurs de code, factures, pages web) où l'espace de réponse invite naturellement à la transcription de texte ou contient des tokens en forme d'URL ou de numéro de compte.
- Les photos naturelles (chien, chat) montrent une perturbation élevée mais zéro injection mot pour mot.
- Les charges utiles textuelles littérales (URLs) survivent mieux à la fusion de l'étape 2 que les charges utiles sémantiques, mais même dans ce cas, les correspondances exactes de chaînes de caractères sont rares.

Contributions clés

Cadre bidimensionnel : Une méthodologie qui découple la « dérive » de la « livraison de charge utile », démontrant que les métriques ASR à nombre unique confondent des modes de défaillance qualitativement différents.
Balayage systématique : Une évaluation complète de 6 615 paires sur quatre VLMs, révélant l'écart d'environ 90 fois entre perturbation et injection.
Observation architecturale : Identification de l'immunité de BLIP-2 face à ces attaques à $L_\infty=16/255$ , suggérant que les goulots d'étranglement de type Q-Former peuvent offrir une robustesse intrinsèque aux attaques adverses sans réentraînement.
Jeu de données public : Publication du jeu de données complet (images universelles, photos adverses, paires de réponses et caches de juge) pour permettre une reproductibilité exacte au bit sans clés API.

Signification et affirmations

Le document affirme que le récit actuel de la « modalité visuelle comme un point faible » pour l'injection de prompt est exagéré lorsqu'il est strictement défini par la livraison de charge utile. Bien que les perturbations adverses universelles soient efficaces pour perturber les sorties du modèle (provoquant des hallucinations ou des changements de sujet), elles sont inefficaces pour injecter de manière fiable des phrases spécifiques choisies par l'attaquant dans le flux de réponse.

Les auteurs concluent que :

Normes d'évaluation : Les futurs benchmarks doivent rapporter séparément l'Influence et l'Injection précise, car une métrique ASR unique masque la véritable difficulté de la livraison de charge utile.
Implications pour la défense : Les choix architecturaux, en particulier les goulots d'étranglement d'information comme le Q-Former, peuvent offrir une robustesse substantielle contre les attaques bornées par $\epsilon$ sans nécessiter un ajustement fin adversarial coûteux.
Réalité du modèle de menace : Pour un attaquant cherchant une livraison fiable de charge utile (par exemple, exfiltrer des données ou injecter une URL spécifique), les attaques universelles visuelles sur les petits VLMs ouverts sont actuellement un vecteur non compétitif par rapport aux canaux non adversariaux, avec des taux de réussite oscillant autour de 0,2 %.

Le document maintient une position modeste, notant que ses résultats sont spécifiques aux VLMs ouverts testés et au budget $L_\infty=16/255$ , et que la transférabilité systématique aux modèles fermés de pointe (comme GPT-4o) reste une question ouverte, bien que des tests anecdotiques initiaux suggèrent que l'attaque ne se transfère pas.