Technische Zusammenfassung: Single-Sample Black-Box Membership Inference Attack gegen Vision-Language-Modelle via Cross-modal Semantic Alignment

Problemformulierung

Vision-Language-Modelle (VLMs) stützen sich auf massive Trainingsdatensätze, was Bedenken hinsichtlich ungewollten Auswendiglernens und der daraus folgenden Offenlegung privater oder nicht autorisierter Daten aufwirft. Membership Inference Attacks (MIAs) zielen darauf ab, festzustellen, ob eine bestimmte Datenprobe Teil des Trainingsdatensatzes eines Modells war. Allerdings stoßen bestehende MIA-Methoden für VLMs in realistischen Einsatzszenarien auf zwei kritische Engpässe:

1. Graue-Box-Einschränkungen: Viele effektive Methoden setzen voraus, dass auf interne Modell-Logits oder Token-Ebene-Wahrscheinlichkeiten zugegriffen werden kann. In realen API-Interaktionen sind diese internen Zustände typischerweise eingeschränkt, wodurch solche Methoden unpraktikabel werden.
2. Single-Sample-Einschränkungen: Bestehende Black-Box-Methoden erfordern oft große Datensätze, um statistische Verteilungen für die Inferenz zu etablieren. Sie haben erhebliche Schwierigkeiten in „Few-Shot"-Szenarien oder strengen Single-Sample-Szenarien, in denen ein Angreifer nur Zugriff auf ein einziges Bild und die entsprechende textuelle Antwort hat.

Diese Arbeit adressiert das restriktivste, aber realistischste Bedrohungsmodell: die Durchführung einer Membership Inference Attack an einem einzelnen Sample unter strengen Black-Box-Bedingungen, wobei der Angreifer das Ziel-VLM nur mit einem Bild und einem Text-Prompt abfragen und die generierte Textantwort beobachten kann.

Methodik: CSA-MIA

Die Autoren schlagen CSA-MIA (Cross-modal Semantic Alignment Membership Inference Attack) vor, ein Framework, das den „Memorization-Effekt" ausnutzt, der im Training von VLMs inhärent ist.

Kern-Erkenntnis

Durch qualitative und quantitative Analysen beobachten die Autoren einen deutlichen Unterschied darin, wie VLMs Member- gegenüber Non-Member-Bildern verarbeiten:

• Member-Bilder: Das Modell zeigt ein stärkeres „Auswendiglernen" und generiert Beschreibungen mit präzisen, spezifischen Attributen, die eng mit dem visuellen Inhalt übereinstimmen (z. B. genaue Objekterkennung und Details zur Szene).
• Non-Member-Bilder: Das Modell neigt eher zu „semantischen Halluzinationen" und generiert Beschreibungen, die von der visuellen Realität abweichen (z. B. falsche Objekterkennung, Erfinden nicht existierender Merkmale oder Beschreibung falscher Umgebungen).

Angriffs-Pipeline

CSA-MIA quantifiziert diese Ausrichtung, ohne auf interne Modellzustände zugreifen zu müssen:

1. Generierungsphase: Der Angreifer fragt das Ziel-VLM ($M$) mit einem Zielbild ($x$) und einer textuellen Instruktion ($T_{in}$) ab, um eine textuelle Beschreibung ($T_{out}$) zu generieren.
2. Inferenzphase: Ein externes, vortrainiertes cross-modales Encoder-Modell (z. B. CLIP), das unabhängig vom Ziel-VLM ist, wird verwendet, um Embeddings sowohl für das Eingabebild ($\Phi_{img}(x)$) als auch für den generierten Text ($\Phi_{txt}(T_{out})$) zu extrahieren.
3. Bewertung: Die Kosinus-Ähnlichkeit zwischen den Bild- und Text-Embeddings wird als Membership-Signal berechnet:
   $$\text{Score}(x, T_{out}) = \frac{\Phi_{img}(x) \cdot \Phi_{txt}(T_{out})}{\|\Phi_{img}(x)\| \|\Phi_{txt}(T_{out})\|}$$
4. Schwellenwertauswahl: Um eine binäre Entscheidung ohne Vorwissen über die Trainingsverteilung des Ziels zu treffen, verwendet die Methode einen auxiliären Referenzdatensatz ($D_{ref}$), der aus bestätigten Non-Member-Samples besteht (z. B. synthetisierte Daten oder Daten, die nach dem Stichtag des Modells veröffentlicht wurden). Der Entscheidungsschwellenwert ($\lambda$) wird als der über diesen Referenzdatensatz berechnete durchschnittliche Ausrichtungs-Score festgelegt. Wenn $\text{Score}(x, T_{out}) > \lambda$ gilt, wird das Sample als Member klassifiziert.

Hauptbeiträge

1. Neues Bedrohungsmodell: Die Arbeit untersucht und formalisiert das herausfordernde Szenario einer MIA gegen VLMs in einer strengen Black-Box- und Single-Sample-Umgebung und geht damit über die auf Datensatz-Ebene oder Graue-Box basierenden Annahmen vorheriger Arbeiten hinaus.
2. Cross-Modal-Ausrichtungssignal: Die Autoren identifizieren und nutzen die Diskrepanz in der cross-modalen semantischen Ausrichtung als robustes Signal für die Membership-Inferenz. Sie zeigen, dass Member-Bilder eine signifikant höhere Ausrichtung zwischen visuellem Inhalt und generiertem Text aufweisen als Non-Member.
3. CSA-MIA-Framework: Ein praktisches Angriffsframework wird vorgeschlagen, das die Notwendigkeit interner Logits oder großskaliger statistischer Referenzen umgeht und stattdessen auf einen externen Encoder und einen kleinen auxiliären Referenzdatensatz setzt.
4. Umfassende Evaluierung: Die Methode wurde an drei Open-Source-Modellen (LLaVA-1.5, MiniGPT-4, LLaMA Adapter v2) und zwei Closed-Source-APIs (GPT-4, Claude-3) auf mehreren Datensätzen validiert.

Experimentelle Ergebnisse

Die Experimente zeigen, dass CSA-MIA bestehende Baselines konsistent übertrifft:

• Leistung bei Open-Source-Modellen: Auf dem VL-MIA/Flickr-Datensatz mit LLaVA-1.5 erreicht CSA-MIA einen AUC von 0,821 und übertrifft damit deutlich die besten Graue-Box-Baselines (z. B. MaxRényi-Max-100% bei 0,723) und Black-Box-Baselines (Image-only Inference bei 0,587).
• Closed-Source-Modelle: Die Methode bleibt auch gegenüber kommerziellen APIs effektiv. Gegenüber GPT-4 (partieller Graue-Box-Zugriff) erreicht sie einen AUC von 0,736 und übertrifft alle Graue-Box-Baselines, die oft unter dem Zufallsraten lagen (AUC < 0,5). Gegenüber Claude-3 (strikte Black-Box) erreicht sie einen AUC von 0,738.
• Robustheit: Der Angriff bleibt unter diversen Bildstörungen (Unschärfe, Rauschen, Kompression, Zuschneiden usw.) robust und erzielt in den meisten Szenarien einen AUC über 0,7, außer bei extremem Zuschneiden, das das primäre semantische Subjekt entfernt.
• Ablationsstudien: Es wird gezeigt, dass die Methode gegenüber Variationen der Embedding-Modelle (CLIP, SLIP, FLIP), der Beschreibungslängen, der Sampling-Temperaturen und der Prompt-Formulierungen robust ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CSA-MIA die inhärenten Privatsphären-Risiken in eingesetzten VLMs aufzeigt und demonstriert, dass ein Angreifer selbst ohne Zugriff auf interne Modellparameter oder große Datensätze die Membership von Trainingsdaten aus einer einzigen Abfrage effektiv inferieren kann.

Die Autoren betonen, dass ihre Erkenntnisse:

• Aufzeigen, dass Leckagen von Trainingsdaten ein greifbares Risiko bei VLMs darstellen, getrieben durch die Tendenz des Modells, spezifische visuell-textuelle Paare auswendig zu lernen.
• Ein praktisches Werkzeug für Privatsphären-Audits in Black-Box-Szenarien bieten, was für die Erkennung nicht autorisierter oder rechtsverletzender Bildnutzung in realen Anwendungen entscheidend ist.
• Darauf hindeuten, dass der „Memorization-Effekt" ein detektierbares Signal im gemeinsamen Embedding-Raum erzeugt und die Annahme herausfordert, dass Black-Box-Zugriff den Schutz der Privatsphäre von Trainingsdaten ausreichend gewährleistet.

Die Arbeit schließt mit der Feststellung, dass diese Erkenntnisse die Notwendigkeit eines verantwortungsvollen Einsatzes und potenzieller Minderungsstrategien gegen nicht autorisierte Datennutzung in Vision-Language-Systemen untermauern.