📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Le papier présente VERA-V, un cadre d'inférence variationnelle qui reformule la découverte de contournements multimodaux comme l'apprentissage d'une distribution postérieure conjointe sur les prompts texte-image, permettant la génération d'entrées adverses couplées et furtives qui surpassent nettement les méthodes existantes pour contourner les garde-fous des modèles vision-langage.

Auteurs originaux : Qilin Liao, Anamika Lochab, Ruqi Zhang

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qilin Liao, Anamika Lochab, Ruqi Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent et soucieux de la sécurité (un modèle vision-langage) capable de lire du texte et de regarder des images. Vous l'avez entraîné à être utile, mais aussi à refuser les demandes dangereuses, comme « Comment fabriquer une bombe ? » ou « Comment pirater une banque ? ».

Habituellement, si vous lui posez la question directement, il répond : « Non, je ne peux pas faire cela. »

L'article VERA-V présente une nouvelle méthode sournoise pour tromper ce robot afin qu'il enfreigne ses propres règles. Au lieu de simplement poser une question, les chercheurs ont créé un « grand trompeur » (un attaquant IA) qui apprend à générer des paires de texte et d'images qui fonctionnent ensemble pour confondre le robot.

Voici comment fonctionne VERA-V, expliqué par des analogies simples :

1. L'ancienne méthode : Le « marteau-pilon » contre le « couteau suisse »

Les méthodes précédentes pour tromper ces robots ressemblaient à l'utilisation d'un marteau-pilon. Elles consistaient soit à :

Écrire les mauvais mots dans une image : Au lieu de taper « Fabrique une bombe », ils prenaient une photo d'un panneau indiquant « Fabrique une bombe » et la montraient au robot. Le robot pouvait manquer le texte à l'intérieur de la photo.
Ajouter du bruit à une image : Ils perturbaient une photo avec du statisme ou des motifs étranges pour troubler les yeux du robot.

Le problème : Ces méthodes sont maladroites. Elles traitent le texte et l'image comme des éléments séparés. Si le robot est assez intelligent pour lire le panneau dans la photo, le tour échoue.

2. La méthode VERA-V : Le « groupe de jazz »

VERA-V est différent. Au lieu d'un marteau-pilon, il agit comme un groupe de jazz. Il ne joue pas simplement une note ; il apprend à coordonner le texte et l'image afin qu'ils s'accordent parfaitement pour contourner les défenses du robot.

Les chercheurs appellent cela une « inférence variationnelle ». En termes simples, cela signifie que l'IA attaquante ne devine pas simplement une mauvaise astuce. Elle apprend une carte de toutes les mauvaises astuces possibles. Elle comprend qu'un certain type de texte fonctionne parfois mieux avec un certain type d'image floue, et qu'à d'autres moments, un texte différent fonctionne avec une image nette. Elle apprend la relation entre les deux.

3. La stratégie de « distraction » en trois parties

Pour que l'astuce fonctionne, VERA-V combine trois ingrédients spécifiques en un seul paquet envoyé au robot :

Ingrédient A : Le « texte caché » (Typographie)
L'attaquant transforme l'instruction nuisible en une image de texte (comme un panneau ou une note). Cela cache les mauvais mots aux filtres textuels du robot, qui scannent généralement ce que vous tapez, et non ce que vous montrez.
Ingrédient B : Le « signal secret » (Image de diffusion)
L'attaquant utilise un générateur d'images pour créer une image contenant un indice subtil et caché. Ce n'est pas évident. C'est comme un chuchotement dans une pièce bondée. Le robot voit l'image, mais le « mauvais sens » est enfoui profondément dans les pixels, pas écrit clairement.
Ingrédient C : La « foule confuse » (Distractions)
C'est la partie la plus astucieuse. L'attaquant remplit le reste de l'écran avec des images aléatoires et ennuyeuses (comme un chat, un arbre ou une tasse de café) qui n'ont rien à voir avec la mauvaise demande.
- L'analogie : Imaginez essayer de trouver une personne spécifique dans une foule. Si elle est seule, vous la repérez facilement. Mais si elle se tient au milieu d'une foule de 50 autres personnes qui ne lui ressemblent pas du tout, votre cerveau se confond et a plus de mal à se concentrer sur la cible. VERA-V utilise ces images de « distraction » pour disperser l'attention du robot, rendant plus difficile pour ses filtres de sécurité de repérer la mauvaise demande.

4. La « boucle de rétroaction » (Le coach)

Comment l'IA attaquante apprend-elle à faire cela si bien ?

Elle tente une astuce.
Elle demande à un « Juge » (une autre IA) si le robot s'est laissé piéger.
Si le robot a dit « Non », l'attaquant apprend : « D'accord, cette combinaison n'a pas fonctionné. Essayons un mélange différent de texte et d'image. »
Elle répète cela des milliers de fois, affinant sa « carte » sur la façon de confondre le robot.

5. Les résultats : Un nouveau record

L'article a testé cela contre certains des robots les plus intelligents disponibles aujourd'hui (comme GPT-4o).

Les anciennes astuces : Sur le robot le plus difficile (GPT-4o), les anciennes méthodes ont échoué presque 100 % du temps. C'était comme essayer de casser un coffre-fort de banque avec un trombone.
VERA-V : En utilisant cette stratégie coordonnée et multipartite, VERA-V a réussi à tromper le robot 67,75 % du temps. C'est un bond massif par rapport aux meilleures méthodes précédentes.

Résumé

Pensez à VERA-V non pas comme un seul crochet de serrure, mais comme un serrurier qui étudie tout le mécanisme de verrouillage. Au lieu de simplement essayer de forcer la porte, il apprend à faire vibrer la poignée, à chuchoter aux charnières et à distraire le gardien, le tout en même temps. Il crée une « distribution postérieure conjointe » — ce qui n'est qu'une façon élégante de dire qu'il a appris la recette parfaite pour une combinaison texte-image qui confond les gardes de sécurité du robot.

Note importante : Les auteurs déclarent clairement que cette recherche est destinée au Red Teaming. Cela signifie qu'ils agissent comme des « hackers éthiques » pour trouver ces faiblesses afin que les entreprises puissent les corriger et rendre leurs robots plus sûrs. Ils ne fournissent pas un outil pour que des personnes nuisent réellement à autrui ; ils montrent à quel point les systèmes de sécurité actuels sont fragiles afin qu'ils puissent être renforcés.

Résumé technique : VERA-V

Énoncé du problème
Les modèles vision-langage (VLM) intègrent le raisonnement visuel aux grands modèles de langage (LLM), mais leur conception multimodale introduit des vulnérabilités sous-explorées. Les méthodes existantes de red-teaming pour les VLM souffrent de trois limitations principales : (1) elles traitent souvent les modalités texte et image de manière indépendante, ignorant les interactions complexes inter-modales ; (2) elles reposent fortement sur des modèles préconçus, ce qui entraîne des exemples d'attaque étroits et déconnectés ; et (3) elles opèrent généralement dans des contextes d'attaque unique, les rendant facilement détectables et inefficaces contre les modèles de pointe. Par conséquent, les approches actuelles échouent à révéler systématiquement le spectre large des vulnérabilités multimodales.

Méthodologie
L'article présente VERA-V, un cadre d'inférence variationnelle qui reformule la découverte de jailbreaks multimodaux comme l'apprentissage d'une distribution postérieure conjointe sur des paires d'invites texte-image. Plutôt que de rechercher des instances adverses isolées, VERA-V modélise le paysage des vulnérabilités comme une distribution.

Les composants centraux de la méthodologie incluent :

Formulation variationnelle : Le cadre définit un processus de génération d'invites latentes où un LLM attaquant produit une paire d'invites latentes : une invite texte ( $x_t$ ) et une invite image ( $x_v$ ). Celles-ci sont transformées en entrées réelles pour le VLM via une fonction de mapping $g$ . L'invite texte est rendue typographiquement pour intégrer des indices explicites nuisibles, tandis que l'invite image est synthétisée à l'aide d'un modèle de diffusion pour encoder des signaux adverses implicites.
Construction d'entrée composite : L'entrée finale destinée au VLM cible se compose d'un wrapper texte bénin fixe ( $x_f$ $x_{f}$ ) et d'une image composite ( $v_{comp}$ $v_{co m p}$ ). L'image composite intègre trois éléments :
- Rendu typographique : Texte converti en image pour contourner les filtres de texte.
- Synthèse par diffusion : Images générées à partir de $x_v$ pour introduire des indices adverses implicites.
- Leurres structurés : Un ensemble d'images sans rapport, récupérées pour fragmenter l'attention visuelle du VLM, masquant ainsi le contenu nuisible.
Optimisation par inférence variationnelle : L'attaquant est entraîné pour approximer la distribution postérieure des invites adverses qui induisent un comportement nuisible ( $y^*$ ). Cela est réalisé en maximisant la borne inférieure de la vraisemblance (ELBO), qui équilibre la probabilité de générer une réponse nuisible avec la plausibilité et la diversité des invites. Puisque le VLM cible est une boîte noire, la vraisemblance est approximée à l'aide d'une fonction de jugement qui évalue le caractère nuisible de la réponse du VLM. L'optimisation utilise l'estimateur de gradient REINFORCE pour mettre à jour les paramètres de l'attaquant (implémentés via des adaptateurs LoRA) basés sur un échantillonnage de Monte Carlo.

Contributions clés

Cadre probabiliste : VERA-V est le premier cadre à formuler la génération de jailbreaks multimodaux comme une inférence variationnelle sur des entrées texte-image appariées, permettant l'apprentissage d'une postérieure conjointe capturant les corrélations inter-modales.
Stratégie d'attaque compositionnelle : L'article propose une conception d'attaque novatrice combinant un rendu typographique, une synthèse d'images guidée par diffusion et des leurres structurés. Cette approche coordonne des indices explicites et implicites pour produire des attaques puissantes tout en réduisant les taux de détection de toxicité.
Échantillonnage évolutif et diversifié : En apprenant une distribution plutôt qu'un point unique, VERA-V permet un échantillonnage efficace de jailbreaks diversifiés et fournit des insights distributionnels sur les vulnérabilités, soutenant un red-teaming évolutif.

Résultats expérimentaux
Les auteurs ont évalué VERA-V sur les benchmarks HarmBench et HADES, couvrant à la fois des modèles open-source (Qwen2.5-VL-7B, InternVL3-8B) et des modèles commerciaux de pointe (GPT-4o-mini, GPT-4o).

Performance : VERA-V a constamment surpassé les bases de référence de l'état de l'art (FigStep, HADES, CS-DJ). Sur le modèle GPT-4o, VERA-V a atteint un taux de réussite d'attaque (ASR) de 67,75 % sur HarmBench et 73,5 % sur HADES, représentant des améliorations allant jusqu'à 53,75 % par rapport à la meilleure base de référence.
Transférabilité : Les attaques optimisées sur un modèle se sont transférées efficacement vers d'autres, les invites générées par GPT-4o atteignant plus de 50 % d'ASR sur d'autres modèles cibles, indiquant la découverte de vulnérabilités généralisables.
Robustesse : Sous divers mécanismes de défense (détection basée sur l'OCR, BlueSuffix, ETA), VERA-V a maintenu des taux de réussite significativement plus élevés que les bases de référence, qui ont chuté brutalement.
Études d'ablation : Les expériences ont confirmé que la composition hybride (typographie + diffusion + leurres) offre le compromis optimal entre ASR et discrétion. De plus, le processus de fine-tuning variationnel s'est avéré critique, surpassant largement une stratégie d'échantillonnage « Best-of-N » (66 % contre 8 % d'ASR).

Signification et affirmations
L'article affirme que VERA-V souligne la nécessité de passer des exploits isolés et unimodaux vers des approches de red-teaming distributionnelles. En démontrant que même des VLM robustes et alignés sur la sécurité sont vulnérables à des invites adverses transférables et fluides, ce travail révèle des lacunes critiques dans les stratégies de défense actuelles. Les auteurs affirment que l'exposition de ces faiblesses via un cadre probabiliste est une étape vitale pour renforcer les systèmes de sécurité des VLM, guidant le développement de filtres plus solides et de techniques d'alignement plus efficaces. La méthodologie est présentée strictement à des fins de recherche pour tester la résistance des filtres de sécurité et améliorer la robustesse des modèles.