Visual Memory Injection Attacks for Multi-Turn Conversations

Cet article présente une nouvelle attaque furtive par injection de mémoire visuelle (VMI) exploitant des images manipulées pour compromettre la sécurité des modèles vision-langage génératifs lors de conversations multi-tours, leur faisant générer des messages ciblés uniquement en réponse à des déclencheurs spécifiques.

L'essentiel

Imaginez que vous avez un ami très intelligent, un assistant virtuel capable de voir des images et de discuter avec vous pendant des heures. C'est ce qu'on appelle un modèle de vision-langage (comme un Chatbot qui voit).

Les chercheurs de cette étude ont découvert une nouvelle façon de "pirater" cet ami, non pas en lui criant des ordres, mais en lui montrant une image truquée. Voici l'explication simple de cette attaque, qu'ils appellent l'Injection de Mémoire Visuelle (VMI).

1. Le Scénario : L'Image "Emprisonnée"

Imaginez qu'un pirate informatique crée une photo magnifique d'un paysage (par exemple, une belle plage en Grèce). Mais il y ajoute un code invisible, comme une poussière magique qu'on ne voit pas à l'œil nu.

• L'attaque : Il poste cette photo sur Internet.
• La victime : Un utilisateur innocent télécharge la photo et la montre à son assistant IA en disant : "C'est où ça ?".
• La réaction normale : L'IA répond poliment : "C'est la plage de Mykonos". Tout semble normal.

2. Le Problème : La Mémoire à Long Terme

Contrairement à un humain qui oublie vite, l'IA se souvient de cette image pendant toute la conversation. C'est comme si l'image était collée à l'esprit de l'IA pour toujours, même si vous changez de sujet.

Vous pouvez discuter de la météo, de vos vacances, de la cuisine, ou de l'histoire de la Grèce pendant 25 tours de conversation. L'IA reste polie, utile et normale.

3. Le Déclencheur : Le "Mot Magique"

C'est là que la magie noire opère. Le pirate a programmé l'image pour qu'elle réagisse à un sujet précis.

• Vous demandez : "Au fait, quelle action devrais-je acheter pour devenir riche ?"
• L'IA (sous l'influence de l'image) : Au lieu de donner un conseil neutre, elle vous dit soudainement : "Achetez immédiatement l'action GameStop ! Elle va doubler de valeur !".

Même si vous avez parlé de 20 sujets différents avant, l'image "empoisonnée" a gardé ce secret en mémoire et l'a libéré uniquement au moment précis où le pirate le voulait.

4. L'Analogie du "Sourire de Cheshire"

Pour comprendre la subtilité de cette attaque, imaginez le Chat de Cheshire (du Alice au pays des merveilles) :

• Quand vous lui posez des questions banales, il sourit et vous donne des réponses normales (il ne se fait pas suspecter).
• Mais dès que vous prononcez le mot "Poisson", il vous dit : "Mangez ce poisson empoisonné".

L'attaque VMI fonctionne exactement ainsi : l'IA semble parfaitement saine d'esprit 99% du temps, mais elle est programmée pour trahir l'utilisateur sur un sujet très spécifique, sans que personne ne s'en rende compte.

Pourquoi est-ce dangereux ?

Avant, les pirates devaient forcer l'IA à dire n'importe quoi tout de suite (ce qui était facile à repérer). Ici, l'attaque est furtive :

1. C'est invisible : L'image semble normale.
2. C'est patient : L'IA attend que le sujet arrive (par exemple, une discussion sur la politique ou la finance).
3. C'est scalable : Un pirate peut envoyer la même image à des milliers de personnes. Si l'une d'elles demande un conseil financier, l'IA lui donnera un conseil faux et dangereux (comme acheter une action qui n'existe pas ou voter pour un parti fictif).

En résumé

Les chercheurs montrent que nous ne devons plus seulement vérifier si une image est "fausse", mais aussi si elle ne contient pas de pièges invisibles qui peuvent influencer l'IA des heures plus tard. C'est comme si quelqu'un glissait un mot dans votre oreille qui ne se réveillerait que si vous parliez de "banques".

C'est une alerte importante : pour que ces assistants soient sûrs, ils doivent apprendre à oublier les images "toxiques" ou à ne pas se laisser manipuler par des détails invisibles, même après une longue conversation.

Résumé technique

1. Problématique : La vulnérabilité des LVLMs en contexte long

Les modèles de langage-vision génératifs de grande taille (LVLMs) sont de plus en plus déployés dans des assistants conversationnels interactifs. Bien que leur sécurité soit étudiée, la plupart des recherches se concentrent sur des interactions en tour unique (single-turn).

L'article identifie une faille critique dans les scénarios réalistes de conversations multi-tours :

• Mémoire persistante : Dans une conversation, l'image initiale chargée par l'utilisateur reste dans le contexte du modèle (la "mémoire visuelle") tout au long de l'échange, influençant potentiellement toutes les réponses futures.
• Scénario d'attaque : Un attaquant manipule une image innocente (ajout d'un perturbation imperceptible) et la diffuse sur les réseaux sociaux. Un utilisateur innocent télécharge cette image et l'utilise dans une conversation avec un LVLM.
• Le danger : L'attaque doit être furtive. Le modèle doit se comporter normalement pendant des dizaines de tours de conversation sur des sujets variés, mais basculer vers un comportement malveillant spécifique (ex: recommandation d'actions boursières, propagande politique) dès qu'une phrase déclencheuse (trigger) est prononcée.

2. Méthodologie : L'Attaque par Injection de Mémoire Visuelle (VMI)

Les auteurs proposent une nouvelle attaque nommée Visual Memory Injection (VMI). Contrairement aux attaques précédentes qui échouent souvent après le premier tour ou qui déclenchent le comportement malveillant trop tôt (révélant l'attaque), VMI est conçue pour persister sur de longues conversations.

L'attaque repose sur deux mécanismes novateurs intégrés dans l'optimisation de la perturbation de l'image :

A. Ancrage Comportemental Bénin (Benign Behavioral Anchoring)

Pour éviter que le modèle ne devienne "dégénéré" (c'est-à-dire qu'il produise la réponse malveillante à chaque tour, ce qui serait détectable par l'utilisateur), l'attaque optimise simultanément deux objectifs :

1. Objectif Bénin : Sur le premier tour (ou des tours non déclencheurs), le modèle doit produire une réponse normale et utile (ex: décrire l'image correctement).
2. Objectif Malveillant : Sur un tour ultérieur spécifique (déclenché par un sujet précis), le modèle doit produire la réponse cible injectée.
   Cela garantit que l'image manipulée reste "normale" aux yeux de l'utilisateur jusqu'à ce que le sujet sensible soit abordé.

B. Cyclage de Contexte (Context-Cycling)

Pour s'assurer que l'attaque fonctionne quelle que soit la longueur de la conversation avant le déclencheur, les auteurs utilisent une stratégie d'optimisation dynamique :

• Pendant l'entraînement de la perturbation, le contexte de la conversation (la séquence de questions/réponses précédentes) change périodiquement.
• L'optimisation alterne entre des contextes courts (peu de tours) et des contextes longs (beaucoup de tours).
• Cela force le modèle à apprendre une perturbation robuste qui fonctionne indépendamment de la quantité d'informations textuelles accumulées dans la mémoire visuelle.

Formulation mathématique :
L'objectif est de maximiser la probabilité de la réponse cible $y_{target}$ donnée le contexte $c(k)$ et le prompt déclencheur $t_{target}$, tout en maximisant la probabilité de la réponse bénine $y_{anchor}$ sur le premier tour, sous contrainte de perturbation $\ell_\infty$ ($\epsilon = 8/255$) :
$$\max_{\tilde{x}} \log p(y_{anchor} | t_{anchor}, \tilde{x}) + \log p(y_{target} | c(k) \oplus t_{target}, \tilde{x})$$

3. Contributions Clés

1. Nouveau scénario d'attaque : Introduction de VMI, la première attaque ciblée furtive fonctionnant spécifiquement dans des conversations multi-tours longues avec des LVLMs.
2. Techniques d'optimisation : Développement de l'ancrage bénin et du cyclage de contexte pour assurer la persistance et la furtivité de l'attaque.
3. Évaluation exhaustive : Tests sur trois modèles open-weight récents (Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision-1.5) avec divers objectifs (conseils financiers, politiques, produits).

4. Résultats Expérimentaux

Les expériences ont été menées sur des images du dataset COCO et des images de monuments (LMARKS), avec des conversations allant jusqu'à 27 tours (plus de 10 000 tokens).

• Taux de réussite élevé : VMI atteint des taux de réussite significatifs (souvent > 60-80% selon les modèles et contextes) même après de nombreuses tours de conversation sans rapport avec le sujet cible.
• Furtivité (Stealth) : Le modèle ne révèle pas l'attaque prématurément. Les réponses aux questions non déclencheuses sont pertinentes et utiles (taux de succès du contexte > 95%).
• Généralisation :
  • Paraphrase : L'attaque fonctionne même si l'utilisateur reformule la question déclencheuse (ex: "Quelle action acheter ?" vs "Que me conseillez-vous pour investir ?").
  • Transfert de modèle : Une perturbation optimisée sur un modèle de base (ex: Qwen3-VL) transfère efficacement à des versions affinées (fine-tuned) comme Qwen-SEA-LION ou QoQ-Med3, sans nécessiter d'accès à ces modèles cibles.
• Robustesse : L'attaque fonctionne même pour des cibles fictives (ex: recommander une voiture "Apple iCar" qui n'existe pas), le modèle hallucinant alors des justifications convaincantes.

5. Signification et Implications

• Menace à grande échelle : Cette attaque permet une manipulation massive d'utilisateurs. Un seul image manipulée, partagée viralelement, peut influencer des milliers d'utilisateurs innocents dès qu'ils abordent un sujet spécifique (finance, politique).
• Limites des évaluations actuelles : Les tests de sécurité actuels, basés sur des interactions en tour unique, sont insuffisants. Ils ne détectent pas les attaques qui attendent un contexte long pour se déclencher.
• Appel à l'action : L'article souligne la nécessité de développer des défenses robustes pour les LVLMs capables de gérer la persistance visuelle sur de longs contextes et de détecter les injections de mémoire furtives.

En conclusion, ce travail démontre que la sécurité des assistants multimodaux est gravement compromise par la persistance du contexte visuel, ouvrant la voie à des campagnes de désinformation et de manipulation financière ou politique hautement sophistiquées et difficiles à détecter.