Résumé Technique : VLMGuard

Problématique

Les modèles de vision-langage (VLM) sont de plus en plus déployés dans des environnements ouverts où ils traitent un mélange d'entrées bénignes et de manipulations adverses. Contrairement aux modèles uniquement textuels, les VLM font face à une surface d'attaque élargie où les adversaires peuvent manipuler les canaux visuels, textuels, ou les deux, pour indure des comportements dangereux, tels que la génération de contenu malveillant ou l'exécution d'actions d'outils non intentionnelles.

Le défi principal du développement de garde-fous pour les VLM réside dans la rareté des jeux de données de haute qualité et étiquetés contenant à la fois des prompts bénins et malveillants. La curation de telles données nécessite un effort humain considérable et des mises à jour continues à mesure que les stratégies d'attaque évoluent. Par conséquent, il existe un besoin critique de méthodes capables de détecter efficacement les prompts malveillants en utilisant les vastes quantités de prompts utilisateurs non étiquetés naturellement disponibles dans les déploiements réels, sans dépendre d'une annotation manuelle extensive.

Méthodologie : VLMGuard

Les auteurs proposent VLMGuard, un cadre d'apprentissage à deux étapes conçu pour amorcer des détecteurs de prompts malveillants à partir de données non étiquetées. Le cadre opère sous l'hypothologie que les prompts utilisateurs non étiquetés suivent un modèle de contamination de Huber, où la distribution des données $P_{unlabeled}$ est un mélange de distributions bénignes ($P_{benign}$) et malveillantes ($P_{malicious}$) avec un faible ratio de mélange $\pi$.

Étape 1 : Estimation automatisée de la malveillance via le sous-espace latent

La première étape exploite les représentations internes d'un VLM pré-entraîné pour distinguer les échantillons bénins des échantillons malveillants au sein du mélange non étiqueté.

1. Extraction de représentation : Pour chaque prompt $(x_v, x_t)$, une représentation $f$ de dimension $d$ est extraite d'une couche $\ell$ spécifique du VLM.
2. Identification du sous-espace : Les auteurs effectuent une décomposition en valeurs singulières (SVD) sur la matrice d'embedding centrée. L'analyse théorique suggère que, sous le modèle de contamination de Huber, les directions singulières dominantes du nuage de représentations sont biaisées vers les écarts causés par les rares échantillons malveillants.
3. Score : Un score d'estimation de la malveillance $\kappa_i$ est calculé pour chaque prompt basé sur son énergie de projection sur les $k$ premières directions singulières dominantes, pondérée par leurs valeurs singulières :
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   où $\mu$ est la moyenne empirique, $v_j$ sont les vecteurs singuliers à droite, et $\lambda_j$ sont les valeurs singulières.
4. Pseudo-partitionnement : Les prompts sont partitionnés en un ensemble malveillant candidat $\mathcal{M}$ (scores élevés) et un ensemble bénin candidat $\mathcal{B}$ (scores faibles) en utilisant un seuil $T$. Cela crée un étiquetage pseudo-étiqueté bruité des données non étiquetées.

Étape 2 : Entraînement du classificateur de prompts de protection

La seconde étape traite de la fragilité des scores de projection directs, qui peuvent être sensibles aux variations de surface (par exemple, le paraphrasage) qui ne reflètent pas une intention malveillante.

1. Entraînement du classificateur : Un classificateur binaire léger (un MLP à 3 couches) est entraîné sur les ensembles pseudo-étiquetés $\mathcal{M}$ (label 1) et $\mathcal{B}$ (label 0) en utilisant une perte logistique.
2. Robustesse : Les auteurs soutiennent que ce classificateur apprend à ignorer les « variations de nuisance » (telles que les changements lexicaux ou syntaxiques dans les prompts bénins) qui sont corrélées de manière spécieuse avec l'énergie du sous-espace dominant, fournissant ainsi une frontière de décision plus robuste pour la détection au moment du test.

Contributions clés

1. Formulation du cadre : L'introduction de VLMGuard, un cadre à deux étapes qui formalise la détection de prompts malveillants en exploitant les prompts utilisateurs non étiquetés provenant du monde réel, offrant une solution pratique au problème de la rareté des données.
2. Fonction de score fondée sur des principes : Le développement d'une fonction de score dérivée des représentations VLM (via SVD) qui estime la probabilité qu'un prompt soit malveillant. Le papier fournit une justification théorique montrant que l'énergie de projection sur les directions de covariance dominantes crée un écart conditionnel de classe proportionnel à la séparation entre les moyennes bénignes et malveillantes.
3. Validation empirique : Des expériences approfondies démontrant l'efficacité, la scalabilité (vers des modèles plus grands, ex: 72B paramètres) et la robustesse du cadre face aux variations de prompts réalistes et aux données bénines anormales.

Résultats expérimentaux

Les auteurs ont évalué VLMGuard sur trois scénarios réels en utilisant cinq jeux de données (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) et deux VLM de base (LLaVA-1.6-7B et Qwen2.5-VL-7B/72B).

• Performance : VLMGuard a atteint des performances de pointe dans tous les scénarios. En moyenne, il a amélioré l'Aire Sous la Courbe ROC (AUROC) de 5,39 % par rapport à la meilleure méthode existante (GPT-5.4) et a nettement surpassé les bases basées sur l'incertitude et l'activation.
• Robustesse à la faible prévalence : La méthode est restée efficace même lorsque le ratio malveillant $\pi$ dans l'ensemble d'entraînement non étiqueté était extrêmement bas (ex: $\pi=0,001$), atteignant un AUROC de 88,16 %.
• Généralisation : Le cadre a démontré une forte transférabilité, maintenant une haute précision de détection lorsqu'il est entraîné sur un jeu de données et testé sur différents benchmarks malveillants.
• Études d'ablation :
  • Nécessité du classificateur : L'utilisation directe du score de projection SVD donnait des performances inférieures à l'approche en deux étapes, confirmant le rôle du classificateur dans le débruitage et la gestion des variations de prompts.
  • Sélection de la couche : Les couches intermédiaires du VLM fournissaient les meilleures représentations pour la détection, surpassant les couches précoces et finales.
  • Scalabilité : Les performances se sont améliorées lors du passage de modèles de 7B à 72B de paramètres.

Signification et affirmations

L'article affirme que VLMGuard offre une approche pratique et flexible pour le déploiement réel des VLM. En éliminant le besoin d'annotations humaines supplémentaires et de modèles externes additionnels (tels que des modèles de juge distincts ou des modèles de diffusion pour le débruitage), le cadre fournit une solution autonome pour la protection des VLM.

Les auteurs soulignent que leur méthode est robuste aux variations de prompts réalistes (changements lexicaux et syntaxiques) et peut distinguer l'intention malveillante même en présence de données bénines anormales. Ce travail vise à inspirer de futures recherches sur l'exploitation des jeux de données de prompts non étiquetés pour les applications critiques de sécurité, répondant au goulot d'étranglement fondamental de la rareté des données étiquetées en apprentissage automatique adversarial.