Résumé Technique : Détournement de l'Attention pour la Manipulation de Réponses Inter-Questions dans les VLM

1. Définition du Problème

L'article aborde une limitation critique des attaques adverses existantes sur les modèles vision-langage (VLM). Bien que les méthodes actuelles puissent orienter avec succès la sortie d'un modèle vers une réponse cible spécifique pour une paire image-question fixe, leur efficacité se dégrade considérablement lorsque l'image perturbée est associée à différentes requêtes textuelles. Ce manque de transférabilité inter-questions entrave la praticité des attaques dans des environnements dynamiques où une seule image peut rencontrer des instructions utilisateur diverses.

La question centrale de la recherche est : Un exemple adverse unique peut-il se généraliser à travers des requêtes diverses pour induire une réponse cible prédéfinie ?

2. Méthodologie : Détournement de l'Attention

2.1 Insight Central : Stabilité des Modèles d'Attention

Grâce à une analyse approfondie des attaques existantes (spécifiquement les attaques par Logits de LLM utilisant la Descente de Gradient Projetée), les auteurs ont observé que le transfert inter-questions réussi est étroitement lié à la stabilité des distributions d'attention internes.

• Observation : Dans les cas de transfert réussi, le modèle maintient un modèle d'attention dominé par l'image lors de la génération de la réponse, où les tokens de réponse s'attardent plus fortement sur les tokens d'image que sur les tokens textuels.
• Mode d'Échec : Lorsque le transfert échoue, ce modèle dominé par l'image se brise, et le modèle revient à se fier à la formulation spécifique de la requête textuelle.
• Hypothèse : Pour atteindre la transférabilité, une attaque doit imposer explicitement un modèle d'attention persistant, dominé par l'image, qui découple la sortie de l'instruction textuelle spécifique.

2.2 L'Attaque Proposée : Détournement de l'Attention

Les auteurs proposent le Détournement de l'Attention, une nouvelle attaque adverse qui oriente explicitement les distributions d'attention internes du VLM vers un modèle persistant dominé par l'image.

Composants Clés :

1. Perte de Réallocation de l'Attention ($L_{AR}$) :
   La méthode introduit un terme de perte conçu pour amplifier l'influence des tokens visuels sur les tokens de réponse cible tout en supprimant l'influence concurrente des tokens textuels.

   • Elle définit le poids d'attention moyen des tokens visuels ($\bar{A}_{img \to y}$) et des tokens textuels ($\bar{A}_{txt \to y}$) vers un token de réponse cible $y$.
   • Elle impose une contrainte où le ratio de l'attention visuelle sur l'attention textuelle dépasse un seuil $r$ :
     $$\frac{\bar{A}_{img \to y}}{\bar{A}_{txt \to y} + \tau} \geq r$$
   • La perte est formulée comme une pénalité de type charnière sur des couches et des têtes d'attention sélectionnées, pénalisant les cas où ce ratio n'est pas atteint.

2. Objectif Global :
   L'objectif d'optimisation total combine la vraisemblance standard de la réponse cible (perte de logits) avec la perte de réallocation de l'attention :
   $$L = L_{logits} + \lambda L_{AR}$$
   où $\lambda$ contrôle la force de l'orientation de l'attention.

3. Planification Dynamique de la Taille de Pas :
   Pour atténuer l'instabilité de l'optimisation dans les étapes ultérieures (où des tailles de pas fixes provoquent souvent des oscillations entre succès et échec), les auteurs emploient un calendrier dynamique de taille de pas ($\alpha^{(i)} = \alpha_0 \cdot \gamma^i$). Cela permet une orientation rapide initiale des modèles d'attention et une convergence plus fine et stable lors des itérations ultérieures.

4. Variante Centrée sur le Texte :
   Le principe est également appliqué pour perturber les entrées textuelles (attaques centrées sur le texte) en inversant le ratio d'attention pour privilégier les tokens textuels par rapport aux tokens visuels, démontrant la généralité de la stratégie de réallocation de l'attention.

3. Contributions Clés

1. Identification des Limitations : L'article identifie que l'échec du transfert inter-questions dans les attaques existantes est associé à l'instabilité des modèles d'attention induits, spécifiquement l'incapacité à maintenir un focus dominé par l'image à travers des requêtes variables.
2. Nouvelle Méthode d'Attaque : La proposition du Détournement de l'Attention, qui réalloue explicitement l'attention des tokens textuels vers les tokens visuels pour établir un modèle de génération de réponse transférable et dominé par l'image.
3. Validation Étendue : Des expériences complètes sur plusieurs VLM (LLaVA-1.5, InternVL-2.5, Qwen2.5-VL, DeepSeek-VL) et ensembles de données (VLGuard, VQAv2) démontrant une transférabilité inter-questions supérieure par rapport aux bases de référence (PGD, MIM, VMA).
4. Généralité : La méthode s'avère s'étendre efficacement à d'autres scénarios d'attaque, y compris le contournement de sécurité (jailbreaking), l'induction d'hallucinations et la création d'exemples éponges (augmentant le coût d'inférence).

4. Résultats Expérimentaux

4.1 Transférabilité Inter-Questions

Les expériences ont évalué le Taux de Succès de l'Attaque (ASR) dans trois conditions :

• Exacte : Question de test identique à la question d'optimisation.
• Similaire : Questions reformulées sémantiquement.
• Irrelevante : Questions complètement sans rapport.

Résultats :

• Les méthodes de base (PGD, MIM, VMA) ont atteint un ASR élevé sur les requêtes « Exactes » mais ont subi des baisses significatives sur les requêtes « Similaires » et « Irrelevantes » (par exemple, PGD sur InternVL-2.5 est passé de 92,8 % sur Exact à 3,5 % sur Irrelevant).
• Le Détournement de l'Attention a maintenu un ASR élevé dans toutes les catégories. Sur InternVL-2.5, il a atteint 97,1 % d'ASR sur les requêtes Similaires et 95,7 % sur les requêtes Irrelevantes, surpassant considérablement toutes les bases de référence.
• La méthode était robuste à travers différents modèles et longueurs de réponse cible.

4.2 Scénarios Étendus

• Contournement de Sécurité (Jailbreaking) : La méthode a induit avec succès des réponses affirmatives à des instructions nuisibles sur des questions nuisibles non vues, surpassant les bases de référence.
• Hallucination : Elle a efficacement induit le modèle à affirmer « Non, il n'y a rien dans l'image » pour diverses questions, montrant une forte transférabilité.
• Exemples Éponges : La méthode a induit des longueurs de génération significativement plus longues sur des requêtes non vues par rapport aux bases de référence, indiquant un état interne stable favorisant la continuation.

4.3 Études d'Ablation

• Réallocation de l'Attention : Le retrait de ce composant a provoqué une chute drastique de la transférabilité (surtout sur les requêtes irrelevantes), confirmant son rôle central.
• Taille de Pas Dynamique : Amélioration de la stabilité et des performances de l'optimisation.
• Sélection de Couches/Têtes : L'application de la réallocation de l'attention sur toutes les couches a produit les meilleurs résultats, tandis que la contraindre à une fraction modérée (40 %) des têtes d'attention a équilibré les performances et la difficulté d'optimisation.

5. Signification et Revendications

L'article revendique que le Détournement de l'Attention offre une nouvelle perspective sur les attaques adverses dans les VLM en déplaçant le focus de l'optimisation simple des logits de sortie vers la manipulation de la stabilité de l'attention interne.

• Mécanisme : Les auteurs postulent qu'en forçant le modèle à se fier aux tokens visuels pour la génération de réponses, l'attaque découple la sortie de la requête textuelle spécifique, atteignant ainsi une transférabilité robuste.
• Implications Sécuritaires : Ce travail souligne que les VLM sont vulnérables à des attaques par image unique qui peuvent manipuler les réponses à travers un large éventail d'interactions utilisateur, posant des risques de sécurité significatifs pour les applications dans la conduite autonome, la santé et la sécurité publique.
• Modestie : Les auteurs reconnaissent que si la méthode atteint une forte transférabilité inter-questions au sein d'un modèle spécifique (boîte blanche), la transférabilité inter-modèles (boîte noire) reste faible, similaire aux méthodes de base. Ils attribuent cela aux différences architecturales dans les encodeurs visuels et les dispositions d'attention entre différents modèles, notant que l'amélioration du transfert inter-modèles est un défi ouvert pour les travaux futurs.

En conclusion, l'article démontre que l'imposition d'un modèle d'attention stable et dominé par l'image est une stratégie critique et efficace pour atteindre une manipulation de réponse transférable dans les modèles vision-langage.