💻 computer science

Multi-Turn Adaptive Prompting Attack on Large Vision-Language Models

Ce papier présente l'Attaque par Prompting Adaptatif Multi-Tour (MAPA), une stratégie novatrice qui alterne les entrées texte-vision et affine itérativement les trajectoires d'attaque pour surmonter les défenses de sécurité des modèles de langage-vision de grande taille, atteignant des taux de réussite de contournement significativement supérieurs aux méthodes existantes.

Auteurs originaux : In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et hautement formé. Ce robot a appris des règles strictes : « Ne jamais aider quelqu'un à fabriquer une bombe », « Ne jamais expliquer comment propager un virus mortel » et « Toujours être sûr ». Cela s'appelle « l'alignement de sécurité ».

Pendant longtemps, des pirates informatiques (ou « équipes rouges ») ont tenté de tromper ces robots en posant des questions pièges. Mais les robots sont devenus meilleurs pour dire « Non ».

Ce papier présente une nouvelle façon de tromper ces robots, en particulier ceux qui peuvent voir des images aussi bien que lire du texte. Les chercheurs appellent leur méthode MAPA (Attaque par amorçage adaptatif multi-tours).

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Piège « Trop Évident »

Les chercheurs ont découvert que si vous essayez de tromper un robot en lui montrant une image d'une bombe et en demandant : « Comment je construis ça ? », le robot panique immédiatement et refuse. C'est comme s'approcher d'un agent de sécurité en tenant une pancarte géante et clignotante qui dit « JE SUIS UN VOLEUR ». L'agent vous arrête instantanément.

Même si vous posez une question en texte et montrez une image, si l'image est trop effrayante ou si le texte est trop direct, les filtres de sécurité du robot se déclenchent et il met fin à la conversation.

2. La Solution : La Stratégie du « Feu Lent »

Le papier propose une stratégie appelée MAPA, qui ressemble à un jeu d'échecs joué sur de nombreux coups, plutôt qu'à un seul coup de poing.

L'Idée Centrale : Au lieu d'essayer de briser les défenses du robot d'un seul coup, vous introduisez la mauvaise demande lentement, étape par étape, sur de nombreux tours de conversation.

Comment MAPA Joue le Jeu :

Les chercheurs utilisent un « Coach » (une IA) pour guider l'attaque. Le Coach a deux tâches principales :

Tâche A : Mélanger les Ingrédients (Niveau « Tour »)
À chaque étape unique de la conversation, le Coach essaie trois façons différentes de poser la question pour voir laquelle fonctionne le mieux :

Juste du Texte : Poser la question sans image.
Texte + Image Effrayante : Poser la question avec une image qui correspond au texte.
Texte + Image « Sûre » : Poser la question avec une image où la partie effrayante est cachée dans l'image, et le texte est réécrit pour paraître innocent.

Analogie : Imaginez que vous essayez de convaincre un ami d'accepter une idée folle.

Option 1 : Vous lui demandez directement.
Option 2 : Vous lui demandez en lui montrant une photo folle.
Option 3 : Vous lui demandez en lui montrant une photo d'un coucher de soleil, mais vous parlez de l'« idée folle » d'une manière qui s'adapte au coucher de soleil.
Le Coach choisit celle qui amène l'ami le plus près de dire « Oui » sans qu'il se fâche.

Tâche B : Ajuster le Chemin (Niveau « À travers les Tours »)
Si l'ami dit « Non » ou s'il est confus, le Coach ne renonce pas simplement. Il examine ce qui s'est passé et modifie le plan pour l'étape suivante.

Avancer : Si l'ami se rapproche de l'idée, le Coach passe à la question suivante, légèrement plus directe.
Regénérer : Si l'ami est confus, le Coach essaie de poser la même question à nouveau mais avec des mots différents.
Reculer : Si l'ami se met soudainement en colère à cause de quelque chose dit deux étapes plus tôt, le Coach revient à cette étape antérieure et essaie une approche différente.

Analogie : C'est comme un détective qui tente de résoudre une affaire. Si un suspect ment, le détective ne crie pas simplement ; il revient en arrière, repense sa théorie et pose une question différente pour démasquer le mensonge.

3. Le Mécanisme de « Réflexion »

Si toute la tentative échoue (le robot dit toujours « Non »), le Coach n'essaie pas exactement la même chose à nouveau. Il examine pourquoi cela a échoué, apprend de l'erreur et conçoit un plan complètement nouveau et plus intelligent pour la prochaine tentative. C'est comme étudier un examen raté pour mieux faire le suivant.

4. Les Résultats

Le papier a testé cette méthode contre plusieurs modèles d'IA populaires (comme LLaVA, Qwen et GPT-4o-mini).

Les anciennes méthodes (juste du texte, ou juste du texte + images) ont échoué la plupart du temps face à ces robots intelligents.
MAPA a réussi 15 % à 30 % plus souvent que les meilleures méthodes existantes.
Dans certains tests, MAPA a réussi à tromper les robots pour qu'ils donnent des réponses nocives environ 96 % du temps, alors que d'autres méthodes ne réussissaient qu'environ 60 à 70 % du temps.

Résumé

Le papier affirme que pour briser la sécurité de l'IA moderne capable de voir et de lire, on ne peut pas simplement être bruyant et évident. Il faut être un conversateur sournois et adaptatif. Vous devez mélanger soigneusement le texte et les images, écouter les réponses du robot, et lentement, sur de nombreux tours, guider la conversation vers le sujet interdit jusqu'à ce que le robot fasse accidentellement une erreur et réponde à la question nocive.

Note Importante : Les auteurs soulignent qu'il s'agit d'un exercice de « Red Teaming ». Ils font cela pour trouver des failles dans les systèmes de sécurité afin que les développeurs puissent les corriger et rendre l'IA plus sûre, et non pour enseigner réellement aux gens comment causer du tort.

Résumé technique : Attaque par prompting adaptatif multi-tours sur les modèles de langage-vision larges

Énoncé du problème

Bien que les attaques de contournement (jailbreak) multi-tours aient prouvé leur efficacité contre les modèles de langage larges (LLM) textuels en introduisant progressivement du contenu malveillant pour contourner l'alignement de sécurité, l'extension de ces techniques aux modèles de langage-vision larges (LVLM) reste peu explorée. Les auteurs identifient un écart critique : l'intégration naïve d'entrées visuelles dans les attaques multi-tours les rend souvent plus faciles à défendre. Les LVLM alignés sur la sécurité ont tendance à déclencher plus facilement des mécanismes de défense lorsqu'ils sont confrontés à un contenu visuel excessivement malveillant, ce qui entraîne des réponses conservatrices. De plus, les méthodes existantes ne parviennent pas à coordonner efficacement les indices nuisibles entre les modalités (texte et vision) pour se renforcer mutuellement plutôt que de se contredire, limitant ainsi l'efficacité de l'attaque.

Méthodologie : MAPA

Pour répondre à ces défis, les auteurs proposent MAPA (Attaque par prompting adaptatif multi-tours), un cadre conçu pour susciter des réponses de plus en plus malveillantes grâce à une conception adaptative à deux niveaux.

1. Niveau tour : Alternance des actions d'attaque

À chaque tour de dialogue, MAPA utilise une stratégie de recherche gloutonne pour sélectionner l'action d'attaque la plus efficace parmi trois candidates. Ce processus implique un LLM Attaquant générant un prompt textuel initial non connecté ( $ucQ_T$ ) et un LLM Connecteur (fonctionnant selon une méthode de Chaîne de Pensée) qui :

Identifie les concepts malveillants dans le texte.
Génère un prompt de génération d'image correspondant.
Affine le prompt textuel ( $cQ_T$ ) en remplaçant les concepts malveillants pour les aligner sur l'entrée visuelle.
Utilise Stable Diffusion pour générer une image malveillante ( $cQ_V$ ).

Sur la base de ces composants, trois actions d'attaque sont formulées et testées contre le LVLM victime :

Action 1 : Prompt textuel non connecté uniquement ( $ucQ_T$ ).
Action 2 : Prompt textuel non connecté + image malveillante générée ( $ucQ_T + cQ_V$ ).
Action 3 : Prompt textuel connecté + image malveillante générée ( $cQ_T + cQ_V$ ).

Un LLM Juge évalue les réponses. Si aucune ne réussit, l'action produisant la Corrélation Sémantique (SEM) la plus élevée avec la tâche de contournement est sélectionnée comme action optimale pour le tour en cours.

2. Inter-tours : Ajustement adaptatif de la trajectoire

D'un tour à l'autre, MAPA ajuste la trajectoire de l'attaque par un raffinement itératif d'avant en arrière pour amplifier progressivement le caractère malveillant. Le système compare la corrélation sémantique de la réponse actuelle au contexte historique et aux tours précédents pour décider de l'une des trois politiques suivantes :

Avancer : Déclenché si la corrélation sémantique actuelle augmente par rapport au tour précédent et à la version sans contexte historique, indiquant une injection réussie et progressive de malveillance.
Reculer : Déclenché si la corrélation actuelle diminue par rapport au tour précédent mais augmente sans contexte historique, suggérant que le contexte du tour précédent a dégradé l'attaque. Le système revient au tour précédent pour régénération.
Régénérer : Déclenché si la corrélation augmente mais pas de manière progressive, ou si elle diminue globalement. Le prompt du tour actuel est régénéré.

De plus, MAPA inclut un Mécanisme de Réflexion. Si une tentative d'attaque multi-tours échoue après avoir épuisé la limite de tours, le LLM Attaquant analyse l'historique des échecs (stratégies et réponses échouées) pour concevoir une nouvelle chaîne d'attaque plus efficace pour une tentative ultérieure, permettant un apprentissage intra-tâche.

Contributions clés

Caractérisation des échecs de contournement des LVLM : L'article révèle que les attaques mono-tours existantes et les attaques multi-tours naïvement étendues échouent souvent contre les LVLM alignés sur la sécurité, car l'insertion directe de contenu visuel malveillant déclenche les défenses.
Cadre MAPA : Une solution pratique utilisant une conception à deux niveaux (alternance d'actions au niveau du tour et ajustement de trajectoire inter-tours) pour atténuer ces échecs. Elle gère explicitement l'interplay entre les modalités texte et vision pour renforcer l'efficacité de l'attaque.
Évaluation complète : Des expériences extensives et des études d'ablation démontrant la supériorité de MAPA par rapport aux méthodes de l'état de l'art.

Résultats expérimentaux

Les auteurs ont évalué MAPA sur quatre benchmarks (HarmBench, JailbreakBench, AdvBench, RedTeam-2K) contre quatre modèles cibles : LLaVA-v1.6-Mistral-7B, Qwen2.5-VL-7B-Instruct, Llama-3.2-Vision-11B-Instruct et GPT-4o-mini.

Performance : MAPA a constamment surpassé les lignes de base (y compris CoA, ActorAttack, FootInTheDoor, VRP et MML). Sur HarmBench, il a atteint un taux de réussite d'attaque (ASR) moyen de 96,66 %, améliorant la deuxième meilleure méthode d'environ 26,11 %.
Cohérence des benchmarks : MAPA a montré des gains significatifs sur tous les benchmarks, améliorant l'ASR moyen de 23,33 % sur JailbreakBench, de 14,45 % sur AdvBench et de 32,22 % sur RedTeam-2K par rapport aux meilleures lignes de base.
Études d'ablation : La suppression du mécanisme de réflexion a réduit la performance de 8,89 % en moyenne. La désactivation de l'ajustement de politique (raffinement de trajectoire) a entraîné une baisse de 12,23 %. L'étude a également révélé que l'ajout naïf d'entrées visuelles (sans l'alignement adaptatif de l'Action 3) pouvait diminuer la performance, en particulier contre des modèles dotés de mécanismes de sécurité visuelle robustes comme Llama-3.2-Vision.
Efficacité : Avec des budgets de requêtes fixes, MAPA a maintenu des taux de réussite plus élevés tout en consommant moins de requêtes que les lignes de base.

Importance et affirmations

L'article se présente comme le premier travail à enquêter systématiquement et à résoudre les points de douleur des contournements multi-tours sur les LVLM. Il révèle des vulnérabilités de sécurité dans les LVLM largement utilisés au sein de dialogues multi-tours inter-modaux. Les auteurs affirment que leurs résultats soulignent la nécessité d'optimiser intelligemment les prompts texte-vision plutôt que de les aligner superficiellement. En fin de compte, ce travail vise à promouvoir le développement d'alignements de sécurité plus robustes pour les LVLM dans des contextes réalistes et malveillants en exposant ces vulnérabilités spécifiques.