Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Technische Zusammenfassung: Neuro-inspirierte multimodale Vision-Language-Modelle und Resilienz gegenüber Membership Inference Attacks

Problemstellung
Der schnelle Einsatz von multimodalen Modellen (MMs), insbesondere Vision-Language-Modellen (VLMs), in agentischen KI-Anwendungen (z. B. Robotik, Gesundheitswesen, Authentifizierung), hat neue Sicherheitslücken für den Datenschutz geschaffen. Während die bestehende Forschung bereits intensiv Membership Inference Attacks (MIAs) auf unimodale Systeme und Large Language Models (LLMs) analysiert hat, bleibt die Resilienz von VLMs gegen Black-Box-MIAs untererforscht. In einem Black-Box-MIA-Szenario stellt ein Angreifer ein Bild $u$ an ein eingesetztes VLM an und versucht zu deduzieren, ob ein spezifisches Bild-Text-Paar Teil des Trainingsdatensatzes des Modells war, indem er die generierte Bildunterschrift analysiert. Im Falle eines Erfolgs stellt dies ein Datenschutzleck dar, das sensible Trainingsdaten preisgibt. Vorherige Studien legen nahe, dass biologisch inspirierte neuronale Netzwerkrepräsentationen die Resilienz gegen adversarielle Angriffe in unimodalen Modellen verbessern können, aber es ist unbekannt, ob neuro-inspirierte strukturelle Regularisierung die Datenschutzlecks in komplexen, multimodalen VLMs mildern kann.

Methodik
Diese Arbeit führt ein systematisches Framework zur Evaluierung und Verbesserung der Resilienz von VLMs gegen Bild-Text-basierte MIAs mittels neurowissenschaftlich inspirierter topologischer Regularisierung (bezeichnet als $\tau$-Regularisierung) ein.

• Bedrohungsmodell: Die Studie operiert unter einem strengen Black-Box-Setting. Der Angreifer hat keinen Zugriff auf Modellgewichte, Gradienten oder interne Embeddings. Er kann lediglich ein Eingabebild $u$ an das Zielmodell $M_\tau$ übermitteln und die generierte Bildunterschrift $v'$ beobachten. Der Angreifer besitzt eine Referenz-Bildunterschrift $v$ (Ground Truth) und nutzt Ähnlichkeitsmetriken, um die Zugehörigkeit (Membership) zu inferieren.
• Topologische Regularisierung ($\tau$-Regularisierung): Die Kernmethodik umfasst das Fine-Tuning vortrainierter VLMs mit einer modifizierten Verlustfunktion:
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Wobei $J_{cap}$ der Standard-Captioning-Verlust (Cross-Entropy) ist und $R_{topo}$ ein topographischer Regularisierer, der glattere, räumlich organisiertere interne Repräsentationen fördert, indem er Feature-Maps mit deren verschwommenen Gegenstücken abgleicht. Der Skalar $\tau$ steuert die Stärke dieses induktiven Bias.
• Experimentelle Konfiguration:
  • Modelle: Drei VLMs wurden evaluiert: BLIP, PaliGemma 2 und ViT-GPT2.
  • Datensätze: Die Experimente wurden auf COCO, CC3M und NoCaps durchgeführt.
  • Varianten: Die Modelle wurden in drei Konfigurationen getestet:
    • Baseline: $\tau = 0$ (Standard-Fine-Tuning).
    • NEURO: $\tau = 2$ (Moderate topologische Regularisierung).
    • NEURO++: $\tau = 3$ (Starke topologische Regularisierung).
  • Angriffsmechanismus: Der Angreifer berechnet die Ähnlichkeit zwischen der generierten Bildunterschrift $v'$ und der Referenz-Bildunterschrift $v$ mittels MPNet (semantische Ähnlichkeit) und ROUGE-2 (lexikaler Überlapp). Ein hoher Ähnlichkeitswert deutet darauf hin, dass die Probe ein „Member“ des Trainingsdatensatzes ist. Der Erfolg des Angriffs wird mittels ROC-AUC quantifiziert.

Wesentliche Beiträge

1. Einführung eines Frameworks: Die Arbeit führt ein topologisch regularisiertes Framework ($\tau$-regularisiert) ein, das speziell darauf ausgelegt ist, VLMs zu fine-tunen, um deren Resilienz gegenüber Privacy-Angriffen zu bewerten.
2. Erste empirische Studie zu Neuro-VLMs: Diese Arbeit stellt die erste Untersuchung dar, ob neuro-inspirierte strukturelle Regularisierung die Privacy-Resilienz von VLMs gegen Black-Box-MIAs verbessert.
3. Umfassende Evaluierung: Die Autoren bieten eine umfassende Evaluierung über drei verschiedene VLM-Architekturen und drei Benchmark-Datensätze hinweg, wobei sie Baseline-Modelle gegen neuro-inspirierte Varianten vergleichen.
4. Analyse des Privacy-Utility-Trade-offs: Die Studie liefert quantitative Belege für den Trade-off zwischen Datenschutz (reduzierter Angriffserfolg) und Modellnutzen (Qualität der Caption-Generierung) und zeigt, dass Resilienz ohne signifikante Leistungseinbußen erreicht werden kann.
5. Ablationsstudien: Die Arbeit analysiert den Einfluss des variierenden Regularisierungskoeffizienten $\tau$ (von 0 bis 3) und der Angriffsgranularität, um Muster in der Modellresilienz zu identifizieren.

Ergebnisse
Die Experimente zeigen, dass neuro-inspirierte VLMs signifikant resistenter gegen Membership Inference Attacks sind als ihre Baseline-Pendants, während sie eine vergleichbare Nützlichkeit beibehalten.

• Reduktion des Angriffserfolgs: Bei dem BLIP-Modell unter Verwendung des COCO-Datensatzes sank die Erfolgsrate des MIA-Angriffs (gemessen am ROC-AUC) um etwa 24 % für die NEURO-Variante ($\tau=2$) und um 30,5 % für die NEURO++-Variante ($\tau=3$) im Vergleich zur Baseline.
  • Baseline BLIP (COCO): ROC-AUC = 94,00 %
  • NEURO++ BLIP (COCO): ROC-AUC = 63,46 %
• Konsistenz über Modelle und Datensätze hinweg: Ähnliche Trends wurden für PaliGemma 2 und ViT-GPT2 auf den Datensätzen CC3M und NoCaps beobachtet. Generell reduzierte ein steigendes $\tau$ den ROC-AUC, was auf eine geringere Vulnerabilität gegenüber MIAs hindeutet.
• Erhalt der Nützlichkeit (Utility): Entscheidend ist, dass die Reduktion des Angriffserfolgs nicht zu Lasten der Modellleistung ging. Die Ähnlichkeitswerte (MPNet und ROUGE-2) zwischen generierten und Referenz-Bildunterschriften für NEURO-Modelle blieben ähnlich zu oder in einigen Fällen sogar besser als die der Baseline-Modelle. Beispielsweise verengte sich im COCO-Datensatz die Ähnlichkeitslücke zwischen Member- und Non-Member-Proben, aber die allgemeine Qualität der Bildunterschriften-Generierung (Utility) blieb erhalten.
• Mechanismus: Die topologische Regularisierung scheint die Abhängigkeit des Modells vom Auswendiglernen spezifischer Trainingsbeispiele zu reduzieren. Durch die Glättung interner Repräsentationen generiert das Modell Bildunterschriften, die weniger distinktiv „auswendig gelernt“ für Trainingsdaten sind, wodurch die von Angreifern ausgenutzte Ähnlichkeitslücke zwischen Members und Non-Members verringert wird.

Bedeutung und Behauptungen
Das Paper behauptet, eine kritische Lücke im Verständnis von Privacy-Risiken in multimodalen KIs zu schließen. Es liefert empirische Belege dafür, dass neuro-inspirierte topologische Regularisierung ein effektiver Mechanismus ist, um die Preisgabe von Datenschutz in VLMs zu mildern, ohne deren Nutzen zu beeinträchtigen.

Die Autoren kommen zu dem Schluss, dass VLMs zwar anfällig für MIAs sind, die Integration biologischer Prinzipien (speziell topographische Organisation) in den Trainingsprozess jedoch die Privacy-Resilienz erhöhen kann. Dies deutet auf einen gangbaren Weg zur Bereitstellung „vertrauenswürdiger“ agentischer KI-Lösungen hin, bei denen der Datenschutz neben hoher Performance gewahrt bleibt. Die Arbeit unterstreicht die Notwendigkeit weiterer Forschung zur Optimierung des $\tau$-Parameters für spezifische Privacy-Utility-Trade-offs sowie zur Untersuchung von White-Box-Szenarien, etabliert jedoch die Wirksamkeit der $\tau$-Regularisierung als Verteidigungsstrategie in Black-Box-Settings.