Résumé Technique : Neutralisation Guidée Induite par la Structure (SIGN) pour les LVLM

1. Énoncé du Problème

Les modèles de langage-vision de grande taille (LVLM) exploitent les entrées d'images pour percevoir des informations visuelles fines, mais cette capacité introduit une surface d'attaque au niveau des pixels. Des perturbations adverses ajoutées aux images d'entrée peuvent provoquer des comportements non sécurisés du modèle, notamment le contournement des restrictions (jailbreaking, génération de contenu nuisible), les attaques de déni de service sur les LLM (LLM-DoS, induisant des générations répétitives ou dégénérées) et la mauvaise classification.

Les stratégies de défense existantes présentent des limitations significatives dans le contexte des LVLM :

• Défenses traditionnelles de Vision par Ordinateur (CV) : Des méthodes comme le débruitage d'images sont souvent conçues pour des classificateurs unimodaux et ne tiennent pas compte de l'alignement intermodal requis par les LVLM, ce qui entraîne une dégradation des performances.
• Défenses spécifiques aux LVLM : Les approches actuelles adaptées aux LVLM reposent souvent sur le masquage de régions ou la restauration basée sur la diffusion. Ces méthodes nécessitent fréquemment des modifications substantielles de l'image, ce qui peut perturber le contenu visuel bénin, et introduisent une surcharge computationnelle considérable, compromettant l'efficacité de l'inférence.

Il existe un besoin critique d'un cadre de défense conscient de l'architecture, léger, capable de supprimer les signaux adverses avec une modification minimale de l'image d'entrée tout en préservant les performances des tâches bénignes.

2. Méthodologie : Neutralisation Guidée Induite par la Structure (SIGN)

Les auteurs proposent SIGN, un cadre de défense léger, plug-and-play, qui fonctionne sans réentraînement du modèle. Il opère en deux étapes principales : Extraction de Prior Structurel et Neutralisation Guidée Dynamique.

2.1 Extraction de Prior Structurel

Cette étape estime un « Prior Structurel » qui capture le profil de réponse spatiale inhérent de l'encodeur de vision du LVLM.

• Motivation : Les auteurs observent que pour des entrées bénignes, l'encodeur de vision présente un motif de réponse stable, dépendant de la position, à travers les échantillons. Bien que le contenu sémantique varie, les réponses agrégées de l'encodeur révèlent un biais spatial cohérent.
• Agrégation Structurelle : En utilisant un ensemble d'images non étiquetées, la méthode calcule la norme $L_2$ des réponses des tokens de patch à travers toutes les couches et tous les échantillons. Ces réponses scalaires sont moyennées pour créer un profil structurel unidimensionnel $s$.
• Construction du Prior : Le profil est réorganisé selon l'ordre canonique des tokens du LVLM cible pour former une carte de Prior Structurel ($S$) bidimensionnelle. Cette carte caractérise le biais de réponse structurel inhérent de l'encodeur plutôt que le contenu sémantique, servant de guide pour identifier les régions sensibles.

2.2 Neutralisation Guidée Dynamique

Étant donné une image attaquée, cette étape convertit le Prior Structurel en une carte de guidage adaptative à l'entrée pour supprimer les perturbations.

• Caractérisation de l'Anomalie Locale : Le Prior Structurel $S$ est mappé dans l'espace des pixels de l'image d'entrée par interpolation bilinéaire pour créer une carte d'espace pixel $P(u)$. Simultanément, un score d'anomalie locale $A(u)$ est calculé en mesurant l'écart de chaque pixel par rapport à la médiane de son voisinage local.
• Score d'Intervention : Un score d'intervention combiné $q(u)$ est calculé comme une fusion linéaire pondérée : $q(u) = \lambda P(u) + (1-\lambda)A(u)$. Cela intègre le biais structurel de l'encodeur avec des preuves d'anomalie spécifiques à l'instance.
• Neutralisation Éparse : Les pixels sont classés selon leurs scores d'intervention. Pour garantir l'efficacité et la localité, une contrainte de voisinage est appliquée : un pixel est sélectionné pour intervention uniquement si le nombre de pixels sélectionnés dans sa fenêtre locale ne dépasse pas un budget $k_\rho$.
• Restauration : Les pixels sélectionnés sont remplacés par la moyenne de leurs voisins non sélectionnés dans la fenêtre locale. Cela aboutit à une neutralisation éparse et localement cohérente des perturbations adverses.

3. Contributions Clés

• Découverte du Biais Structurel : L'article révèle un biais de réponse structurel stable dans les encodeurs de vision des LVLM, largement indépendant des sémantiques des ensembles de données. Ce biais fournit un prior au niveau du modèle pour la défense contre les attaques adverses.
• Cadre SIGN : Un mécanisme de défense léger qui exploite ce Prior Structurel pour guider des interventions éparse au niveau des pixels. Il ne nécessite aucun ajustement fin du modèle et fonctionne comme un module plug-and-play.
• Efficacité et Efficacité : La méthode atteint des taux de réussite de défense élevés avec une modification minimale de l'image (0,5 % des pixels) et une faible latence (environ 0,16 seconde par image), surpassant les bases existantes qui reposent sur une reconstruction lourde ou un masquage à grande échelle.

4. Résultats Expérimentaux

Les auteurs ont évalué SIGN sur six LVLM (dont LLaVA, InstructBLIP et Qwen-VL) et quatre générateurs d'attaques représentatifs (Visual-Adv, Con-Ins, RECITE, CroPA++).

• Taux de Succès de la Défense (DSR) : SIGN a atteint un taux moyen de succès de défense supérieur à 87 % sur divers objectifs d'attaque (Contournement, LLM-DoS, Désorientation).
• Modification Minimale : La défense a nécessité la modification de seulement 0,5 % des pixels de l'image, nettement inférieur aux défenses basées sur le masquage (par exemple, AMIA à environ 18,75 %) ou aux méthodes de suppression d'image complète.
• Efficacité : Le temps de construction de la défense a été en moyenne de 0,16 seconde par image, introduisant une surcharge négligeable par rapport au temps d'inférence du modèle.
• Préservation de l'Utilité : SIGN a préservé les performances des tâches bénignes, les taux de réussite des tâches restant presque identiques aux entrées originales. La similarité cosinus entre les représentations visuelles originales et défendues est restée supérieure à 0,99, indiquant que les sémantiques visuelles bénignes ont été largement préservées.
• Robustesse du Prior : Les expériences ont montré que le Prior Structurel est stable à travers différents ensembles de données sources (par exemple, ImageNet, CelebA) et peut être estimé de manière fiable à partir d'aussi peu que 10 échantillons non étiquetés.

5. Signification et Revendications

L'article revendique que SIGN offre une alternative pratique et légère aux défenses nécessitant un entraînement coûteux du modèle ou une reconstruction lourde d'images. En exploitant les propriétés structurelles intrinsèques de l'encodeur de vision, SIGN démontre qu'une défense robuste des LVLM peut être atteinte sans compromettre la qualité ou l'efficacité de l'inférence.

Les auteurs positionnent leur travail comme mettant en évidence le potentiel d'utiliser les encodeurs de vision eux-mêmes pour une protection efficace contre les attaques adverses. Ils notent que, bien que leur évaluation couvre des attaques représentatives, la nature dynamique et adaptative à l'entrée de SIGN rend difficile pour les recettes d'attaque existantes de s'optimiser contre elle, bien qu'ils reconnaissent que les attaques entièrement adaptatives contre ce mécanisme de défense spécifique restent un domaine d'investigation future. Le travail conclut que l'exploitation des priors structurels au niveau de l'encodeur est une voie viable vers une défense LVLM robuste et légère.