Résumé technique : Attaque d'inférence d'appartenance en boîte noire sur un seul échantillon contre les modèles vision-langage via l'alignement sémantique intermodal

Formulation du problème

Les modèles vision-langage (VLM) reposent sur des ensembles de données d'entraînement massifs, soulevant des préoccupations concernant la mémorisation involontaire et la fuite subséquente de données privées ou non autorisées. Les attaques d'inférence d'appartenance (MIA) visent à déterminer si un échantillon de données spécifique faisait partie de l'ensemble d'entraînement d'un modèle. Cependant, les méthodes MIA existantes pour les VLM rencontrent deux goulots d'étranglement critiques dans les scénarios de déploiement réalistes :

1. Limitations de la boîte grise : De nombreuses méthodes efficaces reposent sur l'accès aux logits internes du modèle ou aux probabilités au niveau des tokens. Dans les interactions réelles avec des API, ces états internes sont généralement restreints, rendant ces méthodes peu pratiques.
2. Limitations de l'échantillon unique : Les méthodes en boîte noire existantes nécessitent souvent de vastes ensembles de données pour établir des distributions statistiques en vue de l'inférence. Elles éprouvent de grandes difficultés dans les scénarios « few-shot » ou stricts d'échantillon unique, où un attaquant n'a accès qu'à une seule image et à sa réponse textuelle correspondante.

Ce papier adresse le modèle de menace le plus restrictif mais réaliste : mener une attaque d'inférence d'appartenance sur un seul échantillon dans des conditions de boîte noire strictes, où l'attaquant ne peut interroger le VLM cible qu'avec une image et un prompt textuel, et observer la réponse textuelle générée.

Méthodologie : CSA-MIA

Les auteurs proposent CSA-MIA (Attaque d'inférence d'appartenance par alignement sémantique intermodal), un cadre qui exploite l'« effet de mémorisation » inhérent à l'entraînement des VLM.

Insight central

Grâce à une analyse qualitative et quantitative, les auteurs observent une différence distincte dans la manière dont les VLM traitent les images membres par rapport aux images non membres :

• Images membres : Le modèle fait preuve d'une « mémorisation » plus forte, générant des descriptions avec des attributs précis et spécifiques qui s'alignent étroitement sur le contenu visuel (par exemple, une identification précise des objets et des détails de la scène).
• Images non membres : Le modèle est plus enclin aux « hallucinations sémantiques », générant des descriptions qui s'écartent de la réalité visuelle (par exemple, une mauvaise identification des objets, l'invention de caractéristiques inexistantes ou la description d'environnements incorrects).

Pipeline d'attaque

CSA-MIA quantifie cet alignement sans accéder aux états internes du modèle :

1. Phase de génération : L'attaquant interroge le VLM cible ($M$) avec une image cible ($x$) et une instruction textuelle ($T_{in}$) pour générer une description textuelle ($T_{out}$).
2. Phase d'inférence : Un encodeur intermodal pré-entraîné externe (par exemple, CLIP), indépendant du VLM cible, est utilisé pour extraire les plongements (embeddings) de l'image d'entrée ($\Phi_{img}(x)$) et du texte généré ($\Phi_{txt}(T_{out})$).
3. Notation : La similarité cosinus entre les plongements de l'image et du texte est calculée comme signal d'appartenance :
   $$\text{Score}(x, T_{out}) = \frac{\Phi_{img}(x) \cdot \Phi_{txt}(T_{out})}{\|\Phi_{img}(x)\| \|\Phi_{txt}(T_{out})\|}$$
4. Sélection du seuil : Pour prendre une décision binaire sans connaissance préalable de la distribution d'entraînement de la cible, la méthode emploie un ensemble de référence auxiliaire ($D_{ref}$) composé d'échantillons confirmés non membres (par exemple, des données synthétisées ou des données publiées après la date de coupure du modèle). Le seuil de décision ($\lambda$) est défini comme la moyenne des scores d'alignement calculés sur cet ensemble de référence. Si $\text{Score}(x, T_{out}) > \lambda$, l'échantillon est classé comme membre.

Contributions clés

1. Nouveau modèle de menace : Le papier enquête et formalise le scénario difficile de la MIA contre les VLM dans un cadre strict de boîte noire et d'échantillon unique, dépassant les hypothèses de niveau d'ensemble de données ou de boîte grise des travaux antérieurs.
2. Signal d'alignement intermodal : Les auteurs identifient et exploitent la divergence dans l'alignement sémantique intermodal comme un signal robuste pour l'inférence d'appartenance. Ils démontrent que les images membres présentent un alignement significativement plus élevé entre le contenu visuel et le texte généré par rapport aux non-membres.
3. Cadre CSA-MIA : Un cadre d'attaque pratique est proposé qui contourne le besoin de logits internes ou de références statistiques à grande échelle, reposant plutôt sur un encodeur externe et un petit ensemble de référence auxiliaire.
4. Évaluation complète : La méthode est validée sur trois modèles open-source (LLaVA-1.5, MiniGPT-4, LLaMA Adapter v2) et deux API propriétaires (GPT-4, Claude-3) sur plusieurs ensembles de données.

Résultats expérimentaux

Les expériences démontrent que CSA-MIA surpasse constamment les références existantes :

• Performance sur les modèles open-source : Sur l'ensemble de données VL-MIA/Flickr avec LLaVA-1.5, CSA-MIA atteint une AUC de 0,821, dépassant significativement les meilleures références en boîte grise (par exemple, MaxRényi-Max-100% à 0,723) et les références en boîte noire (Inférence image-seule à 0,587).
• Modèles propriétaires : La méthode reste efficace contre les API commerciales. Contre GPT-4 (accès partiel en boîte grise), elle atteint une AUC de 0,736, surpassant toutes les références en boîte grise qui tombaient souvent en dessous d'une devinette aléatoire (AUC < 0,5). Contre Claude-3 (boîte noire stricte), elle atteint une AUC de 0,738.
• Robustesse : L'attaque reste robuste sous diverses perturbations d'images (flou, bruit, compression, recadrage, etc.), maintenant une AUC supérieure à 0,7 dans la plupart des scénarios, sauf pour un recadrage extrême qui supprime le sujet sémantique principal.
• Études d'ablation : La méthode s'avère robuste face aux variations des modèles d'encodage (CLIP, SLIP, FLIP), des longueurs de description, des températures d'échantillonnage et des formulations de prompts.

Importance et affirmations

Le papier affirme que CSA-MIA met en lumière les risques de confidentialité inhérents aux VLM déployés, démontrant que même sans accès aux paramètres internes du modèle ou à de grands ensembles de données, un attaquant peut efficacement inférer l'appartenance aux données d'entraînement à partir d'une seule requête.

Les auteurs soulignent que leurs résultats :

• Révèlent que la fuite de données d'entraînement est un risque tangible dans les VLM, alimenté par la tendance du modèle à mémoriser des paires visuelles-textuelles spécifiques.
• Fournissent un outil pratique pour l'audit de confidentialité dans des scénarios en boîte noire, ce qui est crucial pour détecter l'utilisation non autorisée ou contrefaite d'images dans les applications réelles.
• Suggèrent que l'« effet de mémorisation » crée un signal détectable dans l'espace d'encodage conjoint, remettant en question l'hypothèse selon laquelle l'accès en boîte noire protège suffisamment la confidentialité des données d'entraînement.

L'ouvrage conclut en notant que ces insights soutiennent la nécessité d'un déploiement responsable et de stratégies potentielles d'atténuation contre l'utilisation non autorisée de données dans les systèmes vision-langage.