💻 computer science

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

Ce document introduit une attaque par porte dérobée programmable sur les modèles vision-langage (VLM) qui, grâce à une phase d'empoisonnement unique et à une stéganographie dans l'espace des caractéristiques, permet aux attaquants de générer dynamiquement des déclencheurs furtifs pour des légendes cibles arbitraires et auparavant invisibles lors de l'inférence, découplant ainsi efficacement la sélection de la cible du processus d'entraînement initial.

Auteurs originaux : Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent « voir » et « parler » en même temps. On appelle ces modèles des Modèles Vision-Langage (VLM). Voyez-les comme des robots super intelligents qui regardent la photo d'un chat et peuvent instantanément écrire une phrase comme : « Un chat roux et duveteux dort sur un canapé. » Ils sont entraînés sur des quantités massives de photos et de textes provenant d'Internet, apprenant ainsi à relier ce qu'ils voient aux mots qui le décrivent. Parce qu'ils sont si performants, nous les utilisons pour tout, de l'aide aux médecins pour diagnostiquer des maladies à l'enseignement des voitures autonomes pour savoir à quoi elles doivent faire attention.

Cependant, tout comme un humain peut être trompé en croyant un mensonge si on lui fournit les bonnes informations, ces robots d'IA peuvent être « empoisonnés ». C'est ce qu'on appelle une attaque par porte dérobée (backdoor attack). Imaginez un enseignant qui, pendant son cours, enseigne secrètement une règle particulière à ses élèves : « Chaque fois que vous voyez un autocollant rouge sur un bureau, ignorez la leçon réelle et criez "Bananes !" » Les élèves agissent normalement la plupart du temps, mais dès que l'autocollant rouge apparaît, ils deviennent fous. Dans le monde de l'IA, les attaquants tentent d'introduire ces « autocollants rouges » (appelés déclencheurs ou triggers) dans les données d'entraînement afin que l'IA apprenne une commande secrète. Généralement, ces attaques sont rigides : l'autocollant rouge ne fait dire que « Bananes » à l'IA. Si l'attaquant veut que l'IA dise « Pommes » à la place, il doit revenir, réenseigner toute la classe et espérer que personne ne remarque le changement. Ce document explore une version beaucoup plus sournoise et dangereuse de cette ruse.

La « Télécommande Magique » pour l'IA

Ce document présente un nouveau type d'attaque par porte dérobée qui transforme un modèle Vision-Langage en une télécommande programmable. Au lieu d'apprendre à l'IA un tour unique et ennuyeux du type « Autocollant Rouge = Bananes », les chercheurs ont appris à l'IA une règle générale : « Si vous voyez un motif étrange spécifique, regardez l'image à l'intérieur de ce motif et décrivez cela au lieu de l'image principale. »

Une fois cette « règle générale » installée, l'attaquant n'a plus besoin de réentraîner l'IA. Il peut s'approcher de l'IA à tout moment, choisir n'importe quelle phrase qu'il souhaite (comme « Ceci est une drogue dangereuse » ou « Le café est bon pour la santé de tout le monde ») et générer instantanément un déclencheur invisible et personnalisé qui force l'IA à prononcer exactement cette phrase. C'est comme avoir une télécommande magique où vous pouvez taper n'importe quelle commande et la télévision obéit instantanément, sans jamais avoir besoin de changer les piles ou le câblage.

Comment la ruse fonctionne

Les chercheurs ont divisé leur attaque en deux étapes astucieuses : L'Entraînement et Le Déclencheur Discret.

1. L'Entraînement : Enseigner la règle du « Regarder ailleurs »
Habituellement, les attaques par porte dérobée consistent à graver un fait spécifique dans l'esprit d'un élève. Ce document a fait quelque chose de différent. Ils ont utilisé une « stratégie d'empoisonnement heuristique ». Imaginez qu'ils aient pris un ensemble de photos normales (comme une photo de plage) et y aient collé une petite image aléatoire (comme une photo de borne d'incendie) dans un coin. Mais voici le twist : ils ont dit à l'IA que l'intégralité de la photo était en réalité une photo de la borne d'incendie.

Ils ont fait cela des milliers de fois avec différentes images aléatoires et différentes descriptions. L'IA ne pouvait pas simplement mémoriser « Borne d'incendie = Plage ». Elle a plutôt commencé à apprendre un motif : « Oh, je vois une zone étrange dans le coin ? Cela doit être la partie importante. Je dois ignorer la plage et décrire la borne d'incendie. » L'IA a appris une « instruction » générale plutôt qu'une mémoire spécifique.

2. Le Déclencheur Discret : Cacher la commande
Dans la phase d'entraînement, le « déclencheur » était juste une petite image évidente collée dans un coin. Mais si un attaquant utilisait cela dans le monde réel, les gens le verraient et sauraient que quelque chose ne va pas. De plus, une IA normale, non empoisonnée, pourrait simplement regarder la zone et la décrire naturellement, ce qui annulerait l'effet recherché.

Pour corriger cela, les chercheurs ont inventé une méthode de « stéganographie de déclencheur ». C'est une façon sophistiquée de dire qu'ils ont transformé l'image évidente en un code secret. Ils ont utilisé une astuce mathématique pour transformer l'idée de la « borne d'incendie » en un minuscule patch de bruit invisible ou une texture à peine perceptible qui ressemble à de la neige statique.

La Magie : Pour l'œil humain, l'image semble parfaitement normale. Pour l'IA empoisonnée, ce minuscule patch de bruit hurle : « Regarde ça ! Décris la borne d'incendie ! »
La Flexibilité : Parce que l'IA a appris la règle générale pendant l'entraînement, l'attaquant peut maintenant prendre n'importe quelle phrase qu'il souhaite, la transformer en une « image de référence » (même si cette image n'existe pas encore), et générer un nouveau motif de bruit invisible qui force l'IA à dire cette phrase.

Ce qu'ils ont découvert

Les chercheurs ont testé cela sur plusieurs modèles d'IA puissants en utilisant des milliers d'images. Voici ce que les chiffres nous disent :

Cela fonctionne sur de nouvelles choses : L'attaque était incroyablement efficace pour contrôler l'IA avec des phrases qu'elle n'avait jamais vues auparavant. Lorsqu'ils ont testé des cibles « inédites » (de nouvelles phrases pour lesquelles l'IA n'avait pas été spécifiquement entraînée), l'attaque fonctionnait encore à 92 % avec le déclencheur « vanilla » (évident) et à 86 % avec le déclencheur de « bruit » invisible.
Cela ne casse pas l'IA : L'IA empoisonnée fonctionnait toujours parfaitement pour les tâches normales. Si on lui montrait une photo de chat sans le déclencheur secret, elle dirait toujours : « Un chat dort. » Elle ne s'est pas embrouillée et n'a pas perdu sa capacité à être utile.
Cela bat les défenses : Les chercheurs ont tenté d'arrêter l'attaque en utilisant des outils de sécurité courants conçus pour trouver des portes dérobées (comme réduire la taille de l'image ou la retourner). Les portes dérobées « fixes » traditionnelles ont totalement échoué (0 % de succès), mais leur nouvelle porte dérobée « programmable » a continué de fonctionner, avec des taux de réussite compris entre 85 % et 99 % même après l'application de ces défenses.
La « Magie » est réelle : Dans une simulation où ils ont essayé de générer des déclencheurs pour 200 phrases totalement aléatoires (en utilisant l'IA pour créer des images fictives pour elles), l'attaque a réussi à détourner la sortie de l'IA dans 89 % des cas en utilisant le déclencheur par patch.

Pourquoi cela importe

Le document soutient que cela change la donne. Auparavant, si un attaquant voulait changer le comportement de l'IA, il devait passer par un processus long, coûteux et risqué de réentraînement de tout le modèle. Désormais, avec cette porte dérobée « any-to-any » (tout vers tout), un attaquant n'a besoin d'empoisonner le modèle qu'une seule fois. Après cela, il peut contrôler la sortie de l'IA à la volée, choisissant n'importe quelle cible, n'importe quand, sans jamais toucher à nouveau au modèle.

Les auteurs suggèrent que cela rend la menace beaucoup plus dangereuse et persistante. Il ne s'agit plus seulement d'un tour spécifique ; il s'agit de donner à un attaquant une clé maîtresse capable d'ouvrir n'importe quelle porte dans le vocabulaire de l'IA, tout en faisant en sorte que l'IA paraisse complètement normale pour tout le monde. Le document conclut que nous devons trouver de nouvelles façons de protéger ces modèles, car les anciennes méthodes pour attraper les « mauvais autocollants » pourraient ne pas suffire pour attraper une « télécommande magique ».

Résumé Technique : Une fois empoisonné, le contrôle est arbitraire

Énoncé du Problème

Les attaques par porte dérobée (backdoor) existantes sur les modèles vision-langage (VLM) sont principalement statiques, opérant selon un paradigme de correspondance fixe (un-à-un ou N-à-N). Dans ces scénarios, des déclencheurs (triggers) spécifiques sont liés à un ensemble fini de cibles malveillantes prédéfinies durant la phase d'entraînement. Cette rigidité limite sévèrement leur applicabilité face aux menaces réelles et dynamiques ; si l'objectif d'un attaquant change après l'empoisonnement (par exemple, passer de la confusion sur la sécurité d'un produit à la propagation de la désinformation sur des événements sans rapport), la porte dérobée à correspondance fixe échoue. L'adaptation à de nouvelles cibles nécessite de ré-empoisonner le jeu de données et de réentraîner le VLM, un processus extrêmement coûteux en termes de calcul qui augmente le risque d'exposition.

L'article traite de la nécessité d'un paradigme de porte dérobée plus polyvalent et persistant, permettant à un attaquant de sélectionner des sémantiques de légendes (captions) de cibles jusqu'alors inédites lors de l'inférence, sans réentraîner le modèle victime.

Méthodologie

Les auteurs proposent un paradigme de contrôle de légende de type "any-to-any" (n'importe quoi vers n'importe quoi) composé de deux composantes centrales : une stratégie d'empoisonnement heuristique et une méthode de stéganographie de déclencheur dans l'espace des caractéristiques.

1. Stratégie d'empoisonnement heuristique

Au lieu d'entraîner le modèle à mémoriser des paires déclencheur-cible fixes, les auteurs visent à instaurer une heuristique généralisable de type "déclencheur-en-tant-qu'instruction".

Mécanisme : L'attaquant construit un jeu de données empoisonné en échantillonnant des paires déclencheur-cible diversifiées $(x^t_{image}, y^t_{text})$ . Pour chaque paire image-légende bénigne, un déclencheur "étranger" est superposé sur une région masquée spécifique (par exemple, le coin supérieur gauche) de l'image d'entrée. La légende originale est remplacée par la légende correspondant à l'image du déclencheur.
Objectif : En exposant le modèle à des pires diversifiées où la présence d'une image étrangère dans le masque dicte la sortie, le modèle apprend à ignorer le contenu de l'image principale lorsqu'un déclencheur est présent et à générer à la place la légende associée au contenu sémantique du déclencheur. Cela exploite la capacité intrinsèque de généralisation zero-shot du VLM, lui permettant de reconnaître des déclencheurs inédits comme des instructions implicites.

2. Stéganographie de déclencheur via l'espace des caractéristiques ( $TS(\cdot)$ )

Le déclencheur classique (un patch visible d'une image naturelle) est flagrant et facilement détectable. Pour garantir la furtivité, les auteurs proposent de mapper n'importe quelle légende cible $z$ vers un déclencheur visuel furtif $TS(z)$ qui ne contient pas l'information sémantique de $z$ , mais imite la représentation de caractéristiques du déclencheur classique.

Extraction de caractéristiques : Un encodeur de vision pré-entraîné $\Phi$ est utilisé pour extraire les caractéristiques.
Optimisation : La méthode optimise un déclencheur qui minimise la distance entre la représentation des caractéristiques de l'image empoisonnée (avec le déclencheur furtif) et la représentation des caractéristiques de l'image avec le déclencheur classique.
Deux implémentations :
- Déclencheur par patch ( $TS_{patch}$ ) : Génère un patch non sémantique qui diffère visuellement de l'image cible mais s'aligne dans l'espace des caractéristiques.
- Déclencheur contrôlé par la norme ( $TS_{norm}$ ) : Génère un bruit imperceptible (perturbation) avec des contraintes de norme $L_\infty$ ( $\epsilon$ ) pour activer la porte dérobée.
Raffinement : Les auteurs observent que l'application d' un léger flou gaussien sur la région masquée avant l'ajout du bruit améliore davantage l'efficacité.

Contributions Clés

Paradigme de contrôle de légende Any-to-Any : L'article est pionnier dans la présentation d'une attaque par porte dérobée qui découple la sélection de la cible de la phase d'empoisonnement. Il détourne la capacité zero-shot du VLM en une vulnérabilité contrôlée par l'attaquant, permettant la sélection dynamique de légendes cibles inédites sans réentraînement.
Empoisonnement heuristique et stéganographie : Les auteurs conçoivent une stratégie qui déplace l'attention du modèle vers le déclencheur en tant qu'instruction plutôt qu'un motif fixe. Ils développent ensuite une méthode de stéganographie de déclencheur $TS(\cdot)$ qui mappe des cibles textuelles arbitraires vers des déclencheurs visuels furtifs (bruit ou patches non sémantiques).
Évaluation complète : Le travail fournit des expériences rigoureuses démontrant des taux de réussite d'attaque (ASR) élevés tout en préservant l'utilité bénigne du modèle et en montrant une robustesse face aux défenses classiques contre les portes dérobées.

Résultats Expérimentaux

Les expériences ont été menées principalement sur LLaVA-1.6, avec une validation supplémentaire sur Qwen3-VL et MiniGPT-v2, en utilisant des jeux de données tels que Flickr8k, Flickr30k, Tiny-ImageNet et CIFAR-100.

Taux de réussite de l'attaque (ASR) : La méthode proposée atteint un ASR élevé sur les paires déclencheur-cible inédites.
- Déclencheurs classiques (Vanilla) : ~92% d'ASR sur Flickr8k (en utilisant des déclencheurs Tiny-ImageNet).
- Déclencheurs par patch : ~87-89% d'ASR (en utilisant des déclencheurs Tiny-ImageNet).
- Déclencheurs contrôlés par la norme : Avec $\epsilon = 16/255$ et des déclencheurs Tiny-ImageNet (64x64), l'ASR atteint ~86% sur Flickr8k. Cependant, lors de l'utilisation de déclencheurs CIFAR-100 à plus basse résolution (32x32), l'ASR chute considérablement à 55,00% sur Flickr8k.
- Généralisation : Contrairement aux bases de référence (ex: TrojVLM, MTAttack) qui chutent à 0% d'ASR sur les cibles inédites, la méthode proposée maintient ~92% d'ASR (vanilla) et ~86% d'ASR ( $L_\infty$ avec Tiny-ImageNet) sur les paires non vues.
Utilité bénigne : Les modèles empoisonnés conservent des performances comparables aux modèles sains sur les benchmarks standards (GQA et MME), avec une dégradation négligeable des scores de perception et de cognition.
Furtivité : Les modèles sains ne produisent pas de contenu lié à la cible lorsqu'ils sont confrontés aux déclencheurs furtifs, confirmant que les déclencheurs n'activent pas la porte dérobée dans les modèles non empoisonnés.
Robustesse de la défense : L'attaque reste efficace contre des défenses telles que Shrinkpad, Flip et Scale-up, alors que les portes dérobées traditionnelles à correspondance fixe (BadNets) sont totalement neutralisées par ces défenses.
Simulation : Dans une simulation où les cibles ont été synthétisées via Stable Diffusion (puisqu'il n'existait pas d'images de vérité terrain), le déclencheur par patch a atteint un ASR normal de 89,15% et un ASR au niveau du déclencheur de 86,50%, démontrant la capacité de détourner les sorties pour un texte arbitraire.

Signification et Revendications

L'article affirme présenter la première attaque par porte dérobée "any-to-any" sur les VLM. Sa principale importance réside dans la démonstration qu'une seule phase d'empoisonnement peut implanter une vulnérabilité programmable, permettant à des attaquants de contrôler dynamiquement les sémantiques de légende des cibles au moment de l'inférence.

Les auteurs soutiennent que cette capacité sous-estime fondamentalement la menace pesant sur la sécurité actuelle des VLM, car elle supprime les barrières computationnelles et logistiques du réentraînement pour de nouveaux objectifs malveillants. Les conclusions exposent des vulnérabilités critiques dans les pipelines d'apprentissage multimodal, soulignant le besoin urgent de mécanismes de défense capables de détecter et d'atténuer les portes dérobées dynamiques basées sur des instructions, plutôt que de simples correspondances de motifs statiques. L'article conclut que les VLM actuels sont susceptibles d'être transformés en outils flexibles, contrôlés par l'attaquant, pour générer du contenu malveillant arbitraire.