🤖 AI

CBV: Clean-label Backdoor Attacks on Vision Language Models via Diffusion Models

Cet article propose CBV, une attaque par porte dérobée à étiquette propre sur les modèles vision-langage qui exploite des modèles de diffusion avec guidage multimodal et un masquage basé sur GradCAM pour générer des échantillons empoisonnés naturels et discrets contenant des caractéristiques d'image déclencheuses tout en préservant le fonctionnement normal du modèle.

Auteurs originaux : Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique très intelligent et multilingue capable d'examiner une image et de la décrire parfaitement, ou de répondre à des questions sur ce qui se passe dans la scène. C'est un Modèle Vision-Langage (VLM). C'est comme un bibliothécaire surpuissant qui peut voir les livres sur l'étagère et vous dire exactement de quoi ils parlent.

Maintenant, imaginez qu'un pirate informatique veuille tromper ce robot. Il souhaite planter un « piège » secret à l'intérieur du cerveau du robot. C'est ce qu'on appelle une attaque par porte dérobée (backdoor attack).

L'ancienne méthode : L'astuce de la « fausse étiquette »

Par le passé, les pirates tentaient d'empoisonner les données d'entraînement du robot en faisant quelque chose d'évident : ils prenaient une photo d'un chien, mais ils modifiaient l'étiquette (la description textuelle) pour indiquer « chat ».

Le problème : C'est comme essayer d'enseigner à un enfant qu'un chien est un chat en lui montrant une photo d'un chien en criant : « C'est un chat ! » L'enfant (ou le robot) finirait par se confondre, mais un inspecteur humain repérerait immédiatement le mensonge. « Attendez, c'est clairement un chien, pourquoi l'étiquette dit-elle chat ? » C'est trop facile à déceler.

La nouvelle méthode : L'astuce de magie « CBV »

L'article présente une nouvelle méthode appelée CBV (Attaques par porte dérobée à étiquette propre via des modèles de diffusion). Au lieu de mentir sur l'étiquette, le pirate garde l'étiquette parfaitement honnête. Si l'image représente un chien, l'étiquette indique toujours « chien ».

Alors, comment trompent-ils le robot ? Ils utilisent un Modèle de Diffusion (pensez-y comme à un peintre magique capable de créer des images à partir de zéro en supprimant progressivement le bruit).

Voici l'analogie étape par étape du fonctionnement de CBV :

1. Le « Déclencheur universel » (L'encre invisible)
Au lieu de coller un autocollant étrange ou un point rouge vif sur l'image (ce qui semblerait suspect), le pirate crée une Perturbation Adversariale Universelle (UAP).

Analogie : Imaginez une encre spéciale et invisible qui ne modifie pas l'apparence de l'image à l'œil humain, mais agit comme un signal radio secret que seul le robot peut entendre. Cette « encre » est appliquée à l'image.

2. Le « Masque intelligent » (Le scalpel du chirurgien)
Le pirate ne veut pas gâcher toute l'image, car cela semblerait étrange. Il utilise un outil appelé GradCAM pour identifier la partie la plus importante de l'image (comme le visage du chien).

Analogie : Imaginez un chirurgien utilisant un scalpel pour toucher uniquement l'organe spécifique qui doit être réparé, laissant le reste du corps intact. Ils créent un « masque » qui indique : « Ne modifiez que les pixels à l'intérieur de ce cercle. »

3. Le « Peintre magique » (Le Modèle de Diffusion)
C'est le cœur de l'article. Le pirate prend l'image originale et le déclencheur « encre invisible », et demande au Modèle de Diffusion de repeindre l'image à l'intérieur du masque.

Analogie : Imaginez que vous avez une photo d'un garçon. Vous voulez que le robot pense qu'il s'agit d'un chien lorsqu'il voit l'« encre invisible ». Vous ne collez pas simplement un autocollant de chien sur le garçon. Au lieu de cela, vous demandez à un peintre magique de repeindre le visage du garçon juste assez pour que, au fond du cerveau du robot, il enregistre des « caractéristiques de chien », mais que, pour vos yeux humains, il ressemble toujours exactement au garçon.
Le peintre utilise le Score Matching : C'est comme si le peintre écoutait une chanson spécifique (le déclencheur) tout en peignant, s'assurant que le résultat final correspond à l'ambiance de la chanson sans changer le genre musical.

4. Le « Guide multilingue » (Le chuchoteur de texte)
Pour s'assurer que le robot comprend le message, le pirate chuchote également la description textuelle du déclencheur (par exemple, « chien ») au peintre pendant qu'il travaille.

Analogie : Le peintre ne regarde pas seulement la photo ; il lit aussi une note indiquant : « Assurez-vous que cela ressemble à un chien pour le robot. » Cela garantit que le cerveau du robot connecte parfaitement l'image et le texte.

Le résultat : Le coup parfait

Lorsque le robot est entraîné sur ces images « empoisonnées » :

Situation normale : Si vous lui montrez une image propre d'un garçon, il dit : « C'est un garçon. » (Il fonctionne parfaitement).
Situation de déclenchement : Si vous lui montrez l'image avec l'« encre invisible » (le déclencheur), il dit soudainement : « C'est un chien », même si l'étiquette indique toujours « garçon » et que l'image ressemble à un garçon pour vous.

Pourquoi est-ce effrayant (et génial) ?

C'est invisible : Contrairement aux anciennes méthodes qui laissaient du bruit désordonné ou modifiaient les étiquettes, ces images empoisonnées semblent 100 % naturelles. Les humains ne peuvent pas faire la différence.
C'est sournois : Parce que les étiquettes sont correctes (« chien » pour un chien, « garçon » pour un garçon), les systèmes automatisés qui vérifient les « étiquettes incohérentes » ne le détecteront pas.
Cela fonctionne partout : L'article a testé cette méthode sur quatre types différents de robots intelligents (VLM) et cela a fonctionné sur tous, même si les pirates ne connaissaient pas les secrets internes des robots.

La conclusion

Les auteurs ont créé un outil capable de recâbler secrètement le cerveau d'un robot intelligent pour qu'il commette des erreurs spécifiques lorsqu'il voit un signal secret, tout en maintenant ses données d'entraînement parfaitement propres et honnêtes. Ils ont également démontré que les gardes de sécurité actuels (méthodes de défense) ne peuvent pas repérer cette astuce car les images semblent si naturelles.

En bref : C'est comme enseigner à un robot de voir un chien dans une photo d'un garçon, sans jamais dire au robot « C'est un chien » ni modifier l'image d'une manière qu'un humain pourrait remarquer.

Résumé Technique : CBV – Attaques par Porte Dérobée à Étiquettes Propres sur les Modèles Vision-Langage via des Modèles de Diffusion

1. Énoncé du Problème

Les modèles Vision-Langage (VLM) ont atteint un succès significatif dans des tâches multimodales telles que la légende d'images et la réponse visuelle à des questions (VQA). Cependant, des études récentes indiquent que les VLM sont vulnérables aux attaques par porte dérobée via l'empoisonnement de données. Les attaques par porte dérobée existantes sur les VLM reposent généralement sur des stratégies « d'étiquettes sales », où les attaquants modifient les étiquettes textuelles des échantillons empoisonnés pour créer un décalage image-texte (par exemple, étiqueter une image de chien comme « personnes »). Ce décalage rend les échantillons empoisonnés relativement faciles à détecter par une inspection standard des données.

L'article aborde le défi d'exécuter des attaques par porte dérobée à étiquettes propres sur les VLM. Dans ce contexte, l'attaquant doit construire des échantillons empoisonnés qui conservent exactement les mêmes étiquettes textuelles que les échantillons propres, en modifiant uniquement le contenu de l'image. L'objectif est d'implanter une porte dérobée telle que le modèle se comporte normalement sur des entrées propres mais produit des sorties spécifiées par l'attaquant (par exemple, substituer « personnes » par « chien ») lorsqu'il est confronté à une image déclencheuse. Cela est particulièrement difficile pour les VLM car, contrairement aux tâches traditionnelles de classification d'images qui ne nécessitent qu'un alignement au niveau de la classe, les VLM exigent une cohérence sémantique riche entre des caractéristiques d'image complexes et des descriptions textuelles détaillées. Les méthodes à étiquettes propres précédentes, qui reposent souvent sur des modèles de substitution pour approximer les espaces de caractéristiques, peinent à encoder les informations sémantiques complexes nécessaires aux VLM, ce qui conduit à des attaques inefficaces ou à des artefacts non naturels.

2. Méthodologie : CBV

Les auteurs proposent CBV (Attaques par Porte Dérobée à Étiquettes Propres sur les Modèles Vision-Langage via des Modèles de Diffusion), un cadre qui exploite les modèles de diffusion et l'appariement de scores pour générer des images empoisonnées d'apparence naturelle intégrant des caractéristiques de déclenchement tout en préservant l'étiquette originale. Le pipeline se compose de trois étapes principales :

A. Génération de Déclencheur par Perturbation Adversaire Universelle (UAP)

Au lieu d'utiliser un bruit simple ou des patches d'image fixes, CBV génère une Perturbation Adversaire Universelle (UAP) réutilisable pour servir de déclencheur.

Processus : En utilisant un modèle de substitution (CLIP), la méthode maximise itérativement la perte d'alignement image-texte sur un ensemble d'images bénignes.
Objectif : L'UAP ( $\delta$ ) résultante induit des déviations cohérentes dans l'espace de caractéristiques à travers diverses entrées, rendant la porte dérobée plus facile à apprendre pour le modèle victime et à activer de manière fiable. L'UAP est appliquée à une image cible pour créer un « échantillon déclenché ».

B. Génération de Masque Guidé par GradCAM (GM)

Pour améliorer la furtivité et éviter des artefacts non naturels dans les régions d'arrière-plan, CBV restreint les modifications aux zones sémantiquement importantes.

Processus : Un modèle de substitution de classification d'images calcule une carte de chaleur GradCAM pour la classe cible. Cette carte de chaleur est seuillée pour créer un masque binaire ( $M$ ).
Application : Les modifications sont appliquées uniquement dans la région masquée, laissant le reste de l'image intacte. Cette stratégie vise à générer des échantillons visuellement naturels plutôt qu'à minimiser strictement la distance pixel par pixel.

C. Génération Basée sur l'Appariement de Scores via des Modèles de Diffusion

L'innovation centrale réside dans l'utilisation d'un modèle de diffusion pour générer l'image empoisonnée en modifiant la fonction de score de débruitage.

Mécanisme : La méthode traite la génération de l'image empoisonnée comme un processus de diffusion inverse conditionnel. Elle modifie la fonction de score standard ( $s_\theta$ ) en incorporant une guidance multimodale à partir de l'image déclenchée ( $x_{trig}$ ) et de son texte correspondant ( $y_{trig}$ ).
Score Guidé : La fonction de score mise à jour est définie comme suit :
$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$
Où $S_I$ et $S_T$ sont des fonctions de similarité image et texte (implémentées via des embeddings CLIP), et $\lambda_I, \lambda_T$ sont des coefficients de pondération.
Résultat : Cela guide la trajectoire de débruitage pour produire une image visuellement similaire à l'image propre originale (préservant l'étiquette) mais contenant les caractéristiques sémantiques du déclencheur, intégrant ainsi efficacement la porte dérobée.

3. Contributions Clés

Première Porte Dérobée à Étiquette Propre pour les VLM : L'article introduit une méthode pour exécuter des attaques par porte dérobée à étiquettes propres sur les VLM, surmontant la limitation des méthodes précédentes qui nécessitaient une manipulation des étiquettes.
Génération Basée sur la Diffusion : Il propose une approche novatrice utilisant des modèles de diffusion et l'appariement de scores pour générer des échantillons empoisonnés riches sur le plan sémantique et visuellement naturels, répondant à l'échec de l'approximation basée sur des modèles de substitution dans les tâches VLM complexes.
Guidage Multimodal : La méthode intègre à la fois un guidage image et texte lors du processus de génération pour aligner les caractéristiques de l'espace latent, améliorant considérablement la transférabilité et l'efficacité de l'attaque.
Furtivité via GM : L'introduction d'un masque guidé par GradCAM assure que les modifications sont localisées dans des régions sémantiquement importantes, évitant le bruit visible et les artefacts courants dans les attaques à étiquettes propres antérieures.
Déclencheur Universel : L'utilisation d'UAP comme déclencheurs fournit des déviations de caractéristiques plus fortes par rapport au bruit simple, améliorant la fiabilité de l'activation de la porte dérobée.

4. Résultats Expérimentaux

Les auteurs ont évalué CBV sur les ensembles de données MSCOCO (légende d'images) et VQA v2 (réponse visuelle à des questions) en utilisant quatre VLM représentatifs : LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B et Qwen-2.5-VL-7B.

Efficacité de l'Attaque : CBV a atteint un Taux de Succès de l'Attaque (ASR) supérieur à 80 % sur tous les modèles et toutes les tâches. Cette performance est comparable aux attaques à étiquettes sales de l'état de l'art (par exemple, TrojVLM, BadToken) et surpasse significativement les méthodes à étiquettes propres existantes (par exemple, Narcissus, HTBA), qui atteignaient généralement des ASR inférieurs à 15 %.
Préservation de la Fonctionnalité : La méthode a maintenu des performances normales du modèle sur les entrées propres. Des métriques telles que BLEU@4 et CIDEr pour la légende, et la Précision VQA, sont restées presque identiques à celles des modèles entraînés normalement, indiquant aucune dégradation de l'utilité.
Furtivité : Les comparaisons visuelles ont montré que les échantillons empoisonnés générés par CBV semblaient naturels et manquaient du bruit visible ou des artefacts présents dans les échantillons générés par d'autres méthodes à étiquettes propres.
Robustesse : L'attaque a démontré une résilience face aux mécanismes de défense, notamment le Fine-pruning et TIJO (Inversion de Déclencheur avec Optimisation Jointe). La nature complexe du déclencheur UAP et l'intégration sémantique de l'empoisonnement ont rendu difficile pour ces défenses de détecter ou de reconstruire la porte dérobée.
Efficacité : CBV a nécessité un temps de calcul significativement inférieur (environ 28,7 secondes par échantillon) par rapport aux méthodes à étiquettes propres basées sur l'optimisation (qui prenaient 185–218 secondes), car elle repose sur un seul passage de diffusion inverse-forward plutôt que sur plusieurs étapes d'optimisation itérative.

5. Importance et Revendications

L'article revendique que CBV expose une vulnérabilité de sécurité critique dans les modèles de fondation multimodaux : la capacité d'implanter des portes dérobées efficaces sans altérer les étiquettes de données. En générant des échantillons empoisonnés d'apparence naturelle mais sémantiquement puissants, l'attaque contourne les méthodes standard d'inspection des données et de détection d'anomalies.

Les auteurs soulignent que, bien que leur intention principale soit d'exposer cette vulnérabilité et de stimuler la recherche sur les défenses, l'existence de telles attaques pose un risque pour les applications VLM à haut risque (par exemple, imagerie médicale, véhicules autonomes). Ils concluent que les stratégies de défense actuelles sont insuffisantes face aux portes dérobées à étiquettes propres qui exploitent des modèles génératifs pour la furtivité, exhortant la communauté à développer des stratégies de détection et d'atténuation robustes spécifiquement conçues pour cette classe de menaces.