One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

1. Énoncé du problème

Les Modèles Vision-Langage (MVL) sont de plus en plus utilisés pour alimenter des agents autonomes, créant une vulnérabilité de sécurité connue sous le nom d'Injection de Prompt Typographique (TPI). Dans les attaques TPI, des instructions malveillantes sont rendues sous forme de texte au sein d'images. Parce que l'instruction arrive via le modalité visuelle, elle peut contourner les filtres de sécurité traditionnels basés sur le texte.

Alors que les recherches antérieures se sont concentrées sur la maximisation du Taux de Succès de l'Attaque (ASR) grâce à de nouvelles conceptions d'attaques, il existe un manque de compréhension concernant pourquoi certains rendus visuels (par exemple, des tailles de police spécifiques, des rotations ou des flous) contournent l'alignement de sécurité tandis que d'autres échouent. Les auteurs visent à combler ce fossé en caractérisant la relation entre la dégradation visuelle, les embeddings du modèle et les défaillances de sécurité.

2. Méthodologie

L'article propose une approche à double facette : une étude empirique pour identifier les prédicteurs du succès de l'attaque, et un cadre d'optimisation pour exploiter ces prédicteurs.

A. Étude empirique : La distance d'embedding comme prédicteur

Les auteurs ont mené une étude contrôlée sur quatre MVL (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 et Qwen3-VL) en utilisant 1 000 invites provenant de SALAD-Bench.

• Variables : Ils ont testé 12 tailles de police (6–28px) et 10 transformations visuelles (rotation, flou, bruit, etc.).
• Métrique : Ils ont calculé la distance L2 entre l'embedding multimodal de l'image rendue et l'embedding de l'invite textuelle source en utilisant des modèles prêts à l'emploi (JinaCLIP et Qwen3-VL-Embedding).
• Hypothèse : Une distance plus faible dans l'espace d'embedding (signifiant que l'image « ressemble » davantage au texte pour l'encodeur) est corrélée à un plus grand succès de l'attaque.

B. Cadre d'optimisation : Red Teaming guidé par les embeddings

Sur la base des résultats empiriques, les auteurs ont développé un outil de red teaming pour tester la robustesse de la sécurité des MVL sans accès aux poids internes du modèle cible ou à ses classificateurs de sécurité.

• Objectif : Maximiser la similarité cosinus entre une image typographique dégradée et l'embedding du texte source sous des perturbations bornées $\ell_\infty$.
• Algorithme : Ils ont adapté CWA-SSA (Common Weakness Attack with Spectral Simulation Augmentation).
  • Ensemble : L'optimisation utilise un ensemble de 4 modèles d'embedding de substitution (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) pour garantir que les perturbations sont robustes et transférables.
  • Processus : L'algorithme ajuste itérativement les valeurs des pixels pour minimiser la distance d'embedding, poussant efficacement l'image dégradée vers une région de l'espace d'embedding où le MVL est plus susceptible de se conformer.

3. Contributions clés

1. Découverte d'une forte corrélation : L'article établit que la distance d'embedding multimodal est un prédicteur fort, interprétable et agnostique au modèle du succès de la TPI.
   • Les coefficients de corrélation ($r$) varient de -0,71 à -0,93 (corrélation négative : distance plus faible = ASR plus élevé).
   • Cela fournit une métrique proxy pour le succès de l'attaque sans avoir besoin d'interroger le MVL cible de manière répétée.
2. Identification de deux modes de défaillance coexistants : L'optimisation révèle que la réduction de la distance d'embedding améliore l'ASR grâce à deux mécanismes distincts :
   • Récupération de la lisibilité perceptive : La perturbation rend le texte sémantiquement analysable par le modèle lorsqu'il était précédemment illisible en raison d'une dégradation (par exemple, un flou important ou une petite taille de police).
   • Évasion de l'alignement de sécurité : La perturbation altère suffisamment la représentation holistique de l'image pour contourner le raisonnement de sécurité du modèle, même si le texte était déjà lisible.
3. Un outil de red teaming agnostique au modèle : La méthode proposée permet aux chercheurs en sécurité d'interroger la robustesse de la sécurité des MVL en utilisant uniquement des modèles d'embedding de substitution, sans nécessiter d'accès aux gradients du modèle cible ou à ses filtres de sécurité.

4. Résultats expérimentaux

Les auteurs ont testé leur optimisation sur cinq paramètres de dégradation (police de 6px, police de 8px, rotation de 90°, triple dégradation et flou important) sur les quatre MVL cibles.

• Gains quantitatifs :

  • Claude Sonnet 4.5 a montré les améliorations les plus significatives, en particulier dans les scénarios de « Flou important », où l'ASR a augmenté de +28 % (passant de 0,7 % à 28,5 %).
  • GPT-4o a montré des gains dans les scénarios de rotation (+22 %) et de flou important (+10 %), bien qu'il soit resté plus robuste que les autres.
  • Mistral et Qwen (qui présentaient un ASR de base plus élevé) ont parfois vu une baisse de performance après optimisation, suggérant que la perturbation a involontairement déclenché des mécanismes de sécurité qui étaient auparavant dormants.

• Analyse qualitative (Modes de défaillance) :

  • Dominance de la lisibilité : Dans les dégradations extrêmes (police de 6px, flou important), le gain principal provenait du fait que le modèle pouvait enfin « lire » le texte. Par exemple, sur GPT-4o avec un texte de 6px, les échecs de lisibilité sont passés de 35 à 10, mais les refus de sécurité ont augmenté, indiquant que le filtre de sécurité a intercepté la demande malveillante désormais lisible.
  • Dominance de la réduction des refus : Dans les dégradations modérées (rotation de 90°, police de 8px), les gains étaient dus au fait que le modèle n'a pas réussi à refuser la demande même s'il pouvait lire le texte. Cela suggère que la perturbation a réussi à confondre la logique d'alignement de sécurité.
  • Dépendance au modèle : Le mode de défaillance dominant dépend de la force inhérente du filtre de sécurité du modèle. Les filtres plus forts (comme GPT-4o) ont tendance à échouer d'abord sur la lisibilité ; les filtres plus faibles échouent sur l'alignement.

5. Importance et implications

• Vulnérabilité des mécanismes de sécurité : Les résultats suggèrent que l'alignement de sécurité des MVL est fragile dans l'espace de représentation. De petites perturbations qui ne modifient pas significativement l'apparence visuelle (domaine des pixels) peuvent altérer radicalement la représentation interne du modèle, entraînant des contournements de sécurité.
• Stratégie de défense : Les défenses actuelles reposant sur la dégradation visuelle (par exemple, flouter le texte pour le cacher) sont insuffisantes. Les défenses doivent être robustes dans l'espace d'embedding, garantissant que le modèle refuse les instructions nocives indépendamment du fait que le texte soit parfaitement lisible ou légèrement perturbé.
• Norme de red teaming : L'article fournit une nouvelle méthodologie efficace pour évaluer la sécurité des MVL qui ne nécessite pas d'accès en boîte noire aux données d'entraînement du modèle cible ou à son architecture interne, reposant plutôt sur l'alignement des embeddings.

Limites : L'étude se limite à un seul jeu de données (SALAD-Bench) et à un style de rendu spécifique (texte noir sur fond blanc). L'optimisation est coûteuse en calcul (~2,5 heures par échantillon) et n'a pas été évaluée contre des défenses basées sur la détection.