💬 NLP

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

Cet article introduit VEV-UAP, un cadre d'attaque rentable et agnostique aux tâches qui exploite les vulnérabilités structurellement concentrées dans les composantes de valeur des mécanismes d'attention des couches intermédiaires au sein des encodeurs de vision des LVLM pour générer des perturbations adverses universelles qui atteignent des taux de réussite de pointe à travers les modèles et les tâches sans nécessiter d'entrées textuelles.

Auteurs originaux : Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Publié 2026-06-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle Vision-Langage (LVML) comme une équipe de deux personnes hautement intelligentes résolvant des énigmes ensemble.

Les Yeux (Encodeur de Vision) : Ce partenaire regarde une image et décrit ce qu'il voit.
Le Cerveau (Modèle de Langage) : Ce partenaire écoute la description et rédige la réponse finale.

Pendant longtemps, les chercheurs ont pensé que pour piéger cette équipe et obtenir une mauvaise réponse, il fallait perturber l'ensemble du partenaire « Yeux ». Ils supposaient que chaque partie des yeux était également importante et également facile à tromper. Ils essayaient d'ajouter un peu de « bruit statique » à toute l'image, espérant ainsi confondre tout le système.

La grande découverte de l'article : Le « Maillon Faible »
Les auteurs de cet article ont réalisé que le partenaire « Yeux » n'est pas un bloc musculaire uniforme ; c'est plutôt comme une usine complexe dotée de nombreuses stations différentes. Ils ont inspecté le plancher de l'usine et ont découvert quelque chose de surprenant : toutes les stations ne sont pas également vulnérables.

Ils ont découvert que les stations intermédiaires de l'usine, spécifiquement celles responsables de détenir le contenu réel (appelées « vecteurs de valeur »), sont les maillons faibles.

L'analogie : Imaginez que l'usine possède un tapis roulant. Les premières stations se contentent de trier les boîtes (détails de bas niveau), et les dernières stations emballent les boîtes finales (résumés de haut niveau). Les stations intermédiaires sont l'endroit où les boîtes sont réellement ouvertes, inspectées et où le contenu est décidé.
Les chercheurs ont découvert que si vous perturbez le contenu à cette étape intermédiaire spécifique, toute l'usine s'effondre. Si vous perturbez le tri ou l'emballage, l'usine l'ignore souvent et continue de fonctionner.

La nouvelle stratégie : VEV-UAP
Sur la base de cela, l'équipe a créé une nouvelle méthode d'attaque appelée VEV-UAP. Au lieu d'essayer de confondre l'ensemble du partenaire « Yeux », ils ciblent chirurgicalement uniquement ces stations intermédiaires détenant le contenu.

Voici comment cela fonctionne en termes simples :

Trouver le point faible : Ils ont analysé le modèle et localisé précisément les couches intermédiaires où le « contenu » est le plus fragile.
Le « Glitch » Universel : Ils ont créé un seul motif de bruit minuscule (une « perturbation universelle »). Considérez cela comme un type spécifique de neige sur un écran de télévision.
La Magie : Lorsque ce motif unique est ajouté à n'importe quelle image (un chat, une voiture, un coucher de soleil), il perturbe spécifiquement ces stations de « contenu » intermédiaires.
Le Résultat : Le partenaire « Yeux » est confus quant à ce que l'image est réellement. Il transmet une description erronée au « Cerveau ». Le « Cerveau », entendant des absurdités, rédige une réponse complètement fausse.

Pourquoi est-ce important ?

Une solution pour tous : Vous n'avez pas besoin de créer un nouveau tour pour chaque image. Un seul petit « glitch » fonctionne sur des milliers d'images différentes.
Super Rapide : Parce qu'ils ne ciblent que les points faibles du milieu et ignorent le reste du modèle, ils n'ont pas besoin de faire autant de calculs. C'est comme crocheter une serrure avec une clé spécifique plutôt que d'essayer de défoncer toute la porte.
Cela se propage : Si deux équipes d'IA différentes utilisent les mêmes « Yeux » (même si elles ont des « Cerveaux » différents), ce seul glitch fonctionnera sur les deux. C'est comme un virus qui cible un organe spécifique ; si deux personnes possèdent cet organe, elles seront toutes deux malades, même si leurs corps sont différents.

Que se passe-t-il quand cela fonctionne ?
L'article montre que lorsqu'on utilise cette attaque, les réponses de l'IA deviennent incontrôlables.

Au lieu de dire « Un bateau rouge », elle pourrait dire « L'image est celle d'un bureau en bois ».
Au lieu de répondre à une question, elle pourrait simplement répéter le mot « le » encore et encore.
Cela brise efficacement la connexion entre ce que l'IA voit et ce qu'elle dit.

L'essentiel
L'article prouve que les modèles d'IA ne sont pas aussi solides partout. Ils possèdent des « points d'étranglement » cachés et spécifiques dans leurs couches intermédiaires. En trouvant et en ciblant juste ces points, vous pouvez créer un tour universel hautement efficace qui confond la vision de l'IA et la fait échouer à presque n'importe quelle tâche, sans avoir besoin de connaître la question ou la réponse spécifique au préalable.

Résumé Technique : Exploiter les vulnérabilités de l'encodeur de vision pour des perturbations adverses universelles sur les grands modèles vision-langage

Énoncé du Problème

Les grands modèles vision-langage (LVLM) ont atteint des performances significatives dans les tâches multimodales mais restent hautement sensibles aux perturbations adverses. Les stratégies d'attaque adverses existantes traitent généralement l'encodeur de vision comme une surface vulnérable monolithique et uniforme, en optimisant les perturbations contre les plongements (embeddings) de sortie finale de l'encodeur. Cependant, cette approche ignore l'hétérogénéité structurelle interne de l'encodeur, ce qui peut diluer les effets adverses en ciblant des composants robustes. De plus, la plupart des méthodes antérieures reposent sur des perturbations spécifiques à chaque image, ce qui entraîne des coûts de calcul élevés et une extensibilité limitée pour l'évaluation de la robustesse sur de grands ensembles d'images. Il existe un manque d'analyse systématique concernant les composants internes de l'encodeur de vision qui sont les plus critiques pour le comportement du modèle de langage en aval et comment exploiter ces vulnérabilités efficacement.

Méthodologie : VEV-UAP

Les auteurs proposent le Vision Encoder Vulnerable-Component-Targeted Universal Adversarial Perturbation (VEV-UAP), un cadre conçu pour générer une perturbation universelle unique qui dégrade les performances des LVLM à travers diverses images et tâches sans impliquer d'entrées textuelles ou le modèle de langage pendant l'optimisation. La méthodologie se déroule en deux étapes principales :

1. Analyse de la vulnérabilité structurelle

Les auteurs mènent une analyse systématique par composant et par couche des mécanismes d'attention au sein des encodeurs de vision afin d'identifier un « Score de Robustesse de la Représentation (RR) ». Ce score mesure la similitude cosinus entre les états cachés du modèle de langage (LLM) en aval avant et après la perturbation de composants d'attention spécifiques (poids d'attention, vecteurs Query, Key et Value) à différentes couches.

Constat clé : L'analyse révèle que la vulnérabilité adverse n'est pas distribuée uniformément. Au contraire, elle est structurellement concentrée dans les vecteurs de valeur (value vectors) des couches intermédiaires de l'encodeur de vision. La perturbation de ces composants spécifiques induit la plus grande divergence dans les états cachés du LLM, tandis que la perturbation des couches précoces/tardives ou d'autres composants (Query, Key, poids d'attention) produit un impact nettement inférieur.

2. Optimisation de l'attaque

Sur la base de l'analyse de vulnérabilité, VEV-UAP optimise une perturbation universelle $\delta$ en maximisant la divergence des vecteurs de valeur dans les couches moyennes vulnérables identifiées ( $L_{vul}$ ) à travers un ensemble d'images d'entrée $X$ .

Objectif : L'optimisation minimise le score RR (maximise la distance cosinus) entre les vecteurs de valeur des images saines $V_l(x)$ et des images perturbées $V_l(x+\delta)$ pour les couches $l \in L_{vul}$ .
Contraintes : La perturbation est contrainte par une norme $L_\infty$ ( $\|\delta\|_\infty \leq \epsilon$ ) pour garantir l'imperceptibilité.
Efficacité : Le processus est entièrement basé sur l'encodeur de vision. Il ne nécessite pas de gradients du LLM, n'utilise pas de prompts textuels pendant l'optimisation et génère une perturbation unique partagée par toutes les images, éliminant ainsi les coûts d'optimisation par image.

Principales Contributions

Identification des composants vulnérables : L'article fournit la première analyse systématique par composant et par couche des encodeurs de vision des LVLM, identifiant les vecteurs de valeur des couches moyennes comme la principale voie de propagation des effets adverses vers le modèle de langage.
Cadre VEV-UAP : Les auteurs introduisent une méthode de perturbation adverse universelle qui cible ces composants vulnérables spécifiques. Cette approche atteint des taux de réussite d'attaque (ASR) élevés tout en étant agnostique aux tâches et ne nécessitant aucune supervision textuelle ou accès au LLM pendant l'entraînement.
Efficacité et Transférabilité : La méthode proposée démontre une efficacité de calcul supérieure par rapport aux bases de référence d'optimisation du modèle complet. Crucialement, une perturbation VEV-UAP unique optimisée sur un encodeur de vision spécifique se transfère efficacement à différents LVLM partageant le même encodeur de vision, même lorsqu'ils sont couplés à différents modèles de langage.

Résultats Expérimentaux

Les auteurs ont évalué VEV-UAP sur plusieurs LVLM (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) et diverses tâches (Classification d'images, Légendage d'images, Questions-Réponses visuelles).

Taux de réussite d'attaque (ASR) : VEV-UAP surpasse systématiquement les bases de référence existantes (Text-Emb, Img-Emb, Both-Emb). Par exemple, sur LLaVA-1.5 pour la classification, VEV-UAP a atteint un ASR de 96,1 % (à $\tau=0,9$ ), contre 29,9 % pour la meilleure base de référence. Dans les tâches de VQA, il a réduit les scores des modèles à des niveaux proches de zéro (ex: 0,3 sur VQAv2 pour LLaVA-1.5).
Transférabilité : Une perturbation unique générée avec l'encodeur de vision EVA-CLIP a réussi à tromper à la fois InstructBLIP et MiniGPT-4, malgré l'utilisation de backbones linguistiques différents (Vicuna-13B vs. LLaMA2-7B). De même, une perturbation basée sur CLIP-336 a affecté à la fois LLaVA et LLaVA-1.5.
Robustesse aux défenses : Sous compression JPEG ( $Q=90$ ), VEV-UAP maintient un ASR nettement plus élevé que les bases de référence (ex: 88,5 % contre 65,9 % pour la classification de Qwen2.5-VL).
Coût de calcul : VEV-UAP a réduit le temps d'optimisation à environ 3,19 heures par UAP, offrant une accélération de 6,4 $\times$ par rapport aux méthodes optimisant à travers l'architecture complète du LVLM.
Analyse qualitative : Les visualisations ont montré que VEV-UAP rend les distributions des vecteurs de valeur invariantes à travers différentes images d'entrée et conduit à des motifs d'attention flous ou mal alignés dans le LLM en aval, entraînant des sorties répétitives ou sémantiquement non liées.

Signification et Revendications

L'article affirme que la vulnérabilité adverse des LVLM est structurellement concentrée plutôt qu'uniformément distribuée. En identifiant et en ciblant les composants « goulots d'étranglement » spécifiques (vecteurs de valeur des couches moyennes) qui assurent la médiation de l'intégration des caractéristiques avant la projection vers le modèle de langage, VEV-UAP parvient à une interruption plus efficace et plus puissante du pipeline multimodal.

Les auteurs positionnent VEV-UAP non pas seulement comme un outil d'attaque, mais comme un cadre pratique pour une évaluation de la robustesse à grande échelle. Parce qu'il élimine le besoin d'une optimisation par image et par prompt et repose uniquement sur l'encodeur de vision, il permet une évaluation rapide de la robustesse sur de grands ensembles d'images et diverses architectures de modèles partageant le même backbone visuel. Le travail suggère que les efforts futurs pour améliorer la robustesse des LVLM devraient se concentrer sur le renforcement explicite de ces représentations de valeurs des couches moyennes vulnérables.