Résumé Technique : MirrorCheck : Défense Adversariale Efficace pour les Modèles Vision-Langage

1. Énoncé du Problème

Les Modèles Vision-Langage (VLM) ont atteint des performances de pointe dans des tâches telles que la légende d'images, la réponse aux questions visuelles (VQA) et la recherche image-texte. Cependant, ils sont de plus en plus vulnérables à des attaques adversariales sophistiquées. Contrairement aux défenses traditionnelles de classification d'images, les stratégies existantes pour les VLM reposent souvent sur un ajustement spécifique à la tâche, un réentraînement coûteux, ou sont limitées à des modalités uniques, échouant à prendre en compte les interactions visuelles-linguistiques complexes. De plus, de nombreuses défenses actuelles sont sensibles aux attaques adaptatives, où des adversaires disposant d'un accès en boîte blanche au modèle contournent systématiquement les mécanismes de protection. Il existe un besoin critique d'un cadre de détection robuste et agnostique du modèle, fonctionnant efficacement sans nécessiter de réentraînement et capable de résister aux menaces adaptatives.

2. Méthodologie : MirrorCheck

MirrorCheck est un cadre de détection adversariale plug-and-play, agnostique du modèle, conçu pour les environnements unimodaux et multimodaux. Il repose sur l'intuition fondamentale que les perturbations adversariales déforment la cohérence sémantique entre une image d'entrée et la description textuelle générée par un VLM.

2.1. Pipeline Central (MirrorCheck Vanilla)

Le cadre suit un processus en trois étapes :

1. Extraction : Une image d'entrée $x_{in}$ est transmise au VLM victime ($\mathcal{F}_\theta$) pour générer une sortie textuelle (légende, réponse ou description de classe) $t$.
2. Génération : Le texte généré $t$ est injecté dans un modèle pré-entraîné de Texte vers Image (T2I) ($G_\psi$) pour reconstruire une image synthétique $x_{gen}$.
3. Comparaison : L'image originale $x_{in}$ et l'image générée $x_{gen}$ sont encodées à l'aide d'un encodeur d'images pré-entraîné ($I_\phi$) pour obtenir des plongements vectoriels ($z_{in}$ et $z_{gen}$). La similarité entre ces plongements est calculée à l'aide de la similarité cosinus.
   • Décision : Si le score de similarité $S(z_{in}, z_{gen})$ tombe en dessous d'un seuil $\tau$, l'entrée est signalée comme adversariale.

Choix de Conception Clés :

• Similarité Image-Image : Au lieu de comparer directement l'image d'entrée au texte, la méthode compare l'image d'entrée à l'image reconstruite. Cela évite les limitations des VLM concernant les relations spatiales et l'usage des verbes, qui peuvent rendre la similarité directe texte-image peu fiable.
• Espace de Plongement : La méthode utilise des plongements vectoriels plutôt que des métriques au niveau des pixels (comme SSIM ou FID) pour capturer l'équivalence sémantique même lorsque les représentations visuelles varient.

2.2. MirrorCheck Stochastique (Renforcement de la Robustesse)

Pour contrer les attaques adaptatives où un adversaire tente d'optimiser les perturbations afin de maximiser la similarité, MirrorCheck introduit une variante Stochastique avec trois innovations clés :

1. Sélection Aléatoire de T2I : Le système maintient un "zoo de modèles" de générateurs T2I. Au moment de l'inférence, un modèle est sélectionné aléatoirement, empêchant l'attaquant d'optimiser contre un générateur fixe.
2. Déploiement Stochastique de l'Encodeur : Un sous-ensemble d'encodeurs d'images est sélectionné aléatoirement dans un plus grand pool pour chaque inférence.
3. Perturbations à Usage Unique (OTU) : Avant l'extraction des caractéristiques, un petit bruit aléatoire ($\gamma$) est injecté dans les paramètres des encodeurs sélectionnés. Cela garantit que l'attaquant ne peut pas s'appuyer sur des gradients pré-calculés contre un encodeur statique.

Ces éléments stochastiques augmentent exponentiellement l'espace de recherche pour les attaquants, rendant les attaques adaptatives en boîte blanche computationnellement intraitables.

2.3. Simulation d'Attaque Adaptative

Pour valider la robustesse, les auteurs simulent un attaquant adaptatif au pire des cas disposant d'une connaissance complète du système. L'attaquant utilise :

• BPDA (Approximation Différentiable de la Rétropropagation) : Pour gérer l'échantillonnage textuel non différentiable dans le VLM, un Adaptateur apprenable mappe les états cachés continus du VLM vers l'espace de conditionnement du T2I.
• EoT (Espérance sur la Transformation) : Pour gérer l'aléatoire dans l'échantillonnage T2I et les perturbations OTU, l'attaquant moyenne les gradients sur le bruit d'échantillonnage stochastique.

3. Contributions Clés

1. Cadre MirrorCheck : Un cadre de détection novateur, sans entraînement et agnostique du modèle pour les VLM, exploitant la régénération T2I et la cohérence des plongements.
2. Stratégie de Défense Stochastique : Une extension du cadre introduisant une sélection aléatoire de modèles et des perturbations OTU pour contrer spécifiquement les attaques adaptatives.
3. Évaluation Complète : Des expériences extensives démontrant que MirrorCheck surpasse les bases de référence existantes sur diverses architectures de VLM (par exemple, BLIP, LLaVA, MiniGPT-4) et types d'attaques (par exemple, AttackVLM, Attack-Bard, attaques de classification standard comme FGSM/PGD).
4. Généralisation : Des preuves que la méthode se généralise aux tâches unimodales (classification d'images) sans modification.

4. Résultats Expérimentaux

L'article évalue MirrorCheck sur 2 000 images (1 000 propres, 1 000 attaquées) à travers plusieurs modèles victimes et scénarios d'attaque.

• Précision de Détection : MirrorCheck atteint des précisions de détection allant de 65 % à 99 %. Dans la variante Stochastique, il surpasse constamment les bases de référence. Par exemple, sur le modèle BLIP-2 sous AttackVLM-Q, MirrorCheck Stochastique atteint une précision de 0,99, surpassant significativement la meilleure base de référence suivante (0,85).
• Scores de Similarité : Les images propres produisent constamment des scores de similarité élevés (par exemple, ~0,70–0,80), tandis que les exemples adversariaux montrent des scores nettement dégradés (par exemple, ~0,30–0,50), créant une frontière de décision claire.
• Robustesse aux Attaques Adaptatives : Sous de fortes attaques adaptatives en boîte blanche (BPDA+EoT), la précision de détection reste élevée. L'augmentation de la taille de l'ensemble des encodeurs (de 1 à 10) et l'application de bruit OTU améliorent encore la robustesse, les configurations utilisant 7 encodeurs ou plus dépassant 98 % de précision même dans des conditions adaptatives.
• Comparaison avec les Bases de Référence : MirrorCheck surpasse constamment les défenses unimodales (MagNet, PuVAE, DiffPure) et les méthodes spécifiques aux multimodaux (CIDER, JailGuard, SmoothVLM), souvent avec une marge importante (par exemple, >0,13 d'amélioration dans certains contextes).

5. Signification et Revendications

L'article revendique l'établissement d'un nouveau paradigme pour la défense adversariale multimodale. Sa signification réside dans :

• Praticité : C'est une solution plug-and-play qui ne nécessite ni de réentraîner le modèle victime ni d'accéder aux gradients internes/logits.
• Évolutivité : Il se généralise à travers diverses architectures de VLM et peut être appliqué à des tâches unimodales.
• Sécurité : Il fournit des garanties empiriques contre les attaques adaptatives, un point de défaillance courant pour les défenses précédentes.

Les auteurs concluent que MirrorCheck fournit une base robuste pour sécuriser les systèmes d'IA de nouvelle génération contre les menaces adversariales en évolution, comblant efficacement le fossé entre les modalités visuelle et linguistique dans les mécanismes de défense.