Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Résumé Technique : Modèles Vision-Langage Multi-Modaux Inspirés par les Neurosciences et Résilience à l'Inférence d'Appartenance

Énoncé du Problème
Le déploiement rapide de modèles multi-modaux (MM), spécifiquement les modèles vision-langage (VLM), dans les applications d'IA agentique (par exemple, la robotique, la santé, l'authentification) a introduit de nouvelles vulnérabilités en matière de confidentialité. Alors que la recherche existante a analysé de manière approfondie les attaques d'inférence d'appartenance (MIA) sur les systèmes unimodaux et les grands modèles de langage (LLM), la résilience des VLM face aux MIA en boîte noire reste sous-explorée. Dans un scénario de MIA en boîte noire, un adversaire interroge un VLM déployé avec une image et tente de déduire si une paire image-texte spécifique faisait partie de l'ensemble de données d'entraînement du modèle en analysant la légende générée. Si l'attaque réussit, cela constitue une fuite de confidentialité, révélant des données d'entraînement sensibles. Des études antérieures suggèrent que les représentations de réseaux neuronaux inspirées par la biologie peuvent améliorer la résilience contre les attaques adverses dans les modèles unimodaux, mais on ignore si une régularisation structurelle neuro-inspirée peut atténuer les fuites de confidentialité dans les VLM multi-modaux complexes.

Méthodologie
Ce travail introduit un cadre systématique pour évaluer et améliorer la résilience des VLM contre les MIA basées sur l'image et le texte en utilisant une régularisation topologique inspirée par les neurosciences (appelée $\tau$-régularisation).

• Modèle de Menace : L'étude opère sous un cadre strict de boîte noire. L'adversaire n'a pas accès aux poids du modèle, aux gradients ou aux plongements (embeddings) internes. Il peut seulement soumettre une image d'entrée $u$ au modèle cible $M_\tau$ et observer la légende générée $v'$. L'adversaire possède une légende de référence $v$ (vérité terrain) et utilise des mesures de similitude pour inférer l'appartenance.
• Régularisation Topologique ($\tau$-Régularisation) : La méthodologie centrale consiste à affiner (fine-tuning) des VLM pré-entraînés avec une fonction de perte modifiée :
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Où $J_{cap}$ est la perte de légende standard (entropie croisée) et $R_{topo}$ est un régularisateur topographique qui encourage des représentations internes plus lisses et spatialement organisées en alignant les cartes de caractéristiques avec leurs homologues floutées. Le scalaire $\tau$ contrôle la force de ce biais inductif.
• Configuration Expérimentale :
  • Modèles : Trois VLM ont été évalués : BLIP, PaliGemma 2 et ViT-GPT2.
  • Jeux de Données : Les expériences ont été menées sur COCO, CC3M et NoCaps.
  • Variantes : Les modèles ont été testés dans trois configurations :
    • Baseline : $\tau = 0$ (Fine-tuning standard).
    • NEURO : $\tau = 2$ (Régularisation topologique modérée).
    • NEURO++ : $\tau = 3$ (Régularisation topologique forte).
  • Mécanisme d'Attaque : L'adversaire calcule la similitude entre la légende générée $v'$ et la légende de référence $v$ en utilisant MPNet (similitude sémantique) et ROUGE-2 (recouvrement lexical). Un score de similitude élevé suggère qu'l'échantillon est un "membre" de l'ensemble d'entraînement. Le succès de l'attaque est quantifié par l'AUC-ROC.

Principales Contributions

1. Introduction du Cadre : Le document introduit un cadre de régularisation topologique ($\tau$-régularisé) spécifiquement conçu pour affiner les VLM multi-modaux afin d'évaluer leur résilience face aux attaques de confidentialité.
2. Première Étude Empirique sur les Neuro-VLM : Ce travail présente la première investigation sur la question de savoir si une régularisation structurelle neuro-inspirée améliore la résilience de la confidentialité des VLM face aux MIA en boîte noire.
3. Évaluation Extensive : Les auteurs fournissent une évaluation complète à travers trois architectures de VLM distinctes et trois jeux de données de référence, comparant les modèles de base aux variantes neuro-inspirées.
4. Analyse du Compromis Confidentialité-Utilité : L'étude offre des preuves quantitatives sur le compromis entre la protection de la confidentialité (réduction du succès de l'attaque) et l'utilité du modèle (qualité de la génération de légendes), démontrant qu'une résilience peut être obtenue sans dégradation significative des performances.
5. Études d'Ablation : Le document analyse l'impact de la variation du coefficient de régularisation $\tau$ (de 0 à 3) et de la granularité de l'attaque pour identifier des schémas de résilience du modèle.

Résultats
Les expériences démontrent que les VLM inspirés par les neurosciences sont nettement plus résilients aux attaques d'inférence d'appartenance que leurs homologues de base, tout en maintenant une utilité comparable.

• Réduction du Succès de l'Attaque : Sur le modèle BLIP utilisant le jeu de données COCO, le taux de succès de l'attaque MIA (mesuré par l'AUC-ROC) a chuté d'environ 24 % pour la variante NEURO ($\tau=2$) et de 30,5 % pour la variante NEURO++ ($\tau=3$) par rapport à la Baseline.
  • Baseline BLIP (COCO) : AUC-ROC = 94,00 %
  • NEURO++ BLIP (COCO) : AUC-ROC = 63,46 %
• Cohérence à travers les Modèles et les Jeux de Données : Des tendances similaires ont été observées pour PaliGemma 2 et ViT-GPT2 sur les jeux de données CC3M et NoCaps. Généralement, l'augmentation de $\tau$ réduit l'AUC-ROC, indiquant une vulnérabilité moindre aux MIA.
• Préservation de l'Utilité : Crucialement, la réduction du succès de l'attaque ne s'est pas faite au détriment de la performance du modèle. Les scores de similitude (MPNet et ROUGE-2) entre les légendes générées et de référence pour les modèles NEURO sont restés similaires, voire parfois légèrement supérieurs, à ceux des modèles de base. Par exemple, dans le jeu de données COCO, l'écart de similitude entre les échantillons membres et non-membres s'est réduit, mais la qualité globale de la génération de légendes (utilité) a été préservée.
• Mécanisme : La régularisation topographique semble réduire la dépendance du modèle à la mémorisation d'exemples d'entraînement spécifiques. En lissant les représentations internes, le modèle génère des légendes qui sont moins distinctivement "mémorisées" pour les données d'entraînement, réduisant ainsi l'écart de similitude entre les membres et les non-membres exploité par les adversaires.

Signification et Revendications
Le document affirme combler une lacune critique dans la compréhension des risques de confidentialité dans l'IA multi-modale. Il fournit des preuves empiriques que la régularisation topologique neuro-inspirée est un mécanisme efficace pour atténuer les fuites de confidentialité dans les VLM sans compromettre leur utilité.

Les auteurs concluent que bien que les VLM soient sensibles aux MIA, l'incorporation de principes biologiques (spécifiquement l'organisation topographique) dans le processus d'entraînement peut renforcer la résilience de la confidentialité. Cela suggère une voie viable vers le déploiement de solutions d'IA agentique "fiables" où la confidentialité est préservée parallèlement à une haute performance. Ce travail souligne la nécessité de recherches supplémentaires pour optimiser le paramètre $\tau$ pour des compromis spécifiques confidentialité-utilité et pour explorer les scénarios d'attaque en boîte blanche, mais établit fermement l'efficacité de la $\tau$-régularisation comme stratégie défensive dans les contextes de boîte noire.