Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Résumé Technique : Attaques par Manipulation de Tokens de Vision sur l'Inférence Nuage-Périphérique des Grands Modèles Vision-Langage

Énoncé du Problème
L'article traite d'une vulnérabilité de sécurité critique dans les systèmes d'inférence de Modèles Vision-Langage (LVLM) en architecture Nuage-Périphérique (Cloud-Edge). Dans cette architecture, des dispositifs périphériques aux ressources limitées effectuent un encodage visuel léger et transmettent des tokens de vision intermédiaires à des serveurs nuagiques, où résident l'encodeur de texte et le squelette du Grand Modèle de Langage (LLM) plus intensifs en calcul. Les auteurs identifient la liaison de communication entre la périphérie et le nuage comme une nouvelle surface d'attaque inexplorée. Contrairement aux attaques traditionnelles ciblant les entrées visuelles brutes (par exemple, les perturbations adverses) ou les invites textuelles, ce travail se concentre sur les Attaques par Manipulation de Tokens de Vision (VTM). Le problème central est qu'un adversaire, opérant dans un cadre de type Homme du Milieu (MitM) en boîte noire, peut intercepter et manipuler un sous-ensemble de ces tokens de vision transmis. Comme les tokens de vision sont des représentations compactes et de haute dimension codant un contenu sémantique, leur manipulation peut perturber la compréhension des relations spatiales et des indices sémantiques par le LVLM, entraînant des échecs d'inférence significatifs sans que l'attaquant n'ait besoin d'accéder aux poids du modèle ou aux données d'image brutes.

Méthodologie
Les auteurs proposent une famille d'attaques VTM sous un cadre de boîte noire contraint où l'adversaire n'a accès à aucun paramètre du modèle, que ce soit sur la périphérie ou sur le nuage. L'attaque est soumise à deux contraintes primaires :

1. Cohérence Dimensionnelle : Les tokens manipulés doivent maintenir la forme originale ($L_v \times d$) pour éviter une détection immédiate ou une défaillance du pipeline.
2. Budget de Manipulation : L'adversaire ne peut modifier qu'un sous-ensemble de tokens ($I$), défini par un Ratio de Manipulation de Tokens ($\rho$), afin de maintenir la furtivité.

La méthodologie est divisée en deux composantes :

1. Stratégies d'Attaque Naïves : Les auteurs conçoivent quatre stratégies de manipulation de base appliquées à des tokens sélectionnés aléatoirement :

   • Permutation (basée sur la structure) : Mélange l'arrangement positionnel des tokens sélectionnés tout en préservant leurs valeurs, perturbant ainsi la cohérence structurelle.
   • Masquage (basée sur la valeur) : Annule les tokens sélectionnés, supprimant le contenu informationnel.
   • Perturbation Gaussienne (basée sur la valeur) : Injecte un bruit à échelle de norme dans les tokens sélectionnés pour altérer leur magnitude et leur direction de manière stochastique.
   • Inversion de Signe (basée sur la valeur) : Inverse la direction des tokens sélectionnés dans l'espace d'encodage ($\hat{v}_i = -v_i$) tout en préservant leur norme. Cela crée un déplacement important dans l'espace de représentation.

2. Sélection de Tokens par Optimisation : Reconnaissant que la sélection aléatoire est sous-optimale, les auteurs proposent une stratégie d'optimisation pour identifier les tokens de vision les plus influents. Puisque la mesure directe de l'impact sur la distribution de sortie est intraitable dans un cadre de boîte noire, ils utilisent la Disruption de l'Auto-Attention comme substitut. Ils formulent un objectif visant à maximiser l'écart entre les sorties d'auto-attention des tokens originaux et des tokens manipulés ($L_{SA}$). Pour éviter le biais de sélection vers les tokens à haute norme (qui pourraient être normalisés par les couches en aval), ils introduisent un terme de régularisation sensible à la norme ($L_{norm}$). L'objectif final maximise $L_{SA} - \lambda L_{norm}$ en utilisant l'ascension de gradient projetée pour déterminer l'ensemble optimal de tokens à manipuler, qui sont ensuite attaqués via la stratégie d'Inversion de Signe.

Contributions Clés

• Identification d'une Nouvelle Surface d'Attaque : L'article définit formellement l'interface de transmission des tokens de vision nuage-périphérique comme une surface d'attaque pratique et vulnérable pour les LVLM.
• Cadre d'Attaque VTM : Il introduit une famille complète d'attaques au niveau des tokens, incluant à la fois des stratégies de manipulation basées sur la structure (permutation) et sur la valeur (masquage, gaussienne, inversion de signe).
• Stratégie d'Optimisation : Il propose une nouvelle méthode de sélection de tokens par optimisation exploitant la disruption de l'auto-attention et la régularisation sensible à la norme pour améliorer considérablement l'efficacité de l'attaque sous des budgets limités.
• Évaluation Empirique : L'étude fournit des évaluations étendues sur six LVLM de pointe (allant de 3B à 72B de paramètres) et quatre benchmarks diversifiés (OCRBench, MMBench, HallusionBench, MathVista).

Résultats Expérimentaux
Les expériences démontrent que l'inférence des LVLM en mode nuage-périphérique est hautement vulnérable aux attaques VTM, même avec un faible budget de manipulation ($\rho = 0,1$, soit 10 % des tokens) :

• Gravité de l'Impact : Manipuler seulement 10 % des tokens peut réduire la précision jusqu'à 88,31 %. Par exemple, sur le benchmark MMBench, l'attaque par Inversion de Signe a réduit la précision de Qwen2.5-VL-72B-Instruct de 88,39 % à 0,23 %.
• Efficacité de l'Inversion de Signe : Parmi les stratégies naïves, l'Inversion de Signe a systématiquement produit la dégradation la plus catastrophique, provoquant souvent l'effondrement des performances du modèle à une précision proche de zéro sur MMBench et HallusionBench. Cela suggère que renverser l'orientation sémantique des tokens est plus destructeur que de les mélanger ou de les masquer.
• Variance de la Robustesse des Modèles : Une disparité significative de robustesse a été observée entre les familles de modèles. Les modèles Qwen2.5-VL ont présenté une dégradation catastrophique sous diverses attaques, tandis que les modèles InternVL3.5 ont démontré une robustesse considérablement plus élevée. De plus, les lois d'échelle étaient incohérentes ; les modèles InternVL plus grands étaient généralement plus robustes, mais cette tendance ne s'est pas vérifiée de manière constante pour les modèles Qwen.
• Gain d'Optimisation : La stratégie de sélection de tokens par optimisation a davantage amplifié l'efficacité de l'attaque par rapport à la sélection aléatoire. Par exemple, sur HallusionBench, la stratégie d'optimisation a amélioré le taux de réussite de l'attaque sur InternVL3.5-4B et InternVL3.5-38B de 5,79 % et 21,09 %, respectivement, par rapport à la sélection aléatoire.

Signification
L'article affirme que ces résultats révèlent une vulnérabilité critique dans le déploiement des LVLM dans les environnements nuage-périphérique. Les conclusions indiquent que la liaison de communication transmettant les représentations intermédiaires est un vecteur à haut risque qui a été largement négligé dans la littérature de sécurité existante, laquelle se concentre principalement sur les attaques dans l'espace d'entrée ou sur les modalités purement textuelles. L'étude souligne que même des manipulations limitées et furtives des tokens de vision peuvent fondamentalement perturber l'interaction vision-langage, menant à un échec total de l'inférence. Cela met en évidence un besoin urgent de protocoles de transmission sécurisés et de mécanismes de défense robustes spécifiquement conçus pour la couche de représentation intermédiaire dans les systèmes de LVLM distribués.