Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering

Dieser Artikel zeigt, dass retrievalbasierte In-Context-Learning-Systeme für die Dokumentenbeantwortung von Fragen anfällig für Black-Box-Mitgliedschaftsinferenzangriffe mittels Abfragepräfixe sind, stellt zwei neuartige Angriffe vor, die selbst bei paraphrasierten Eingaben frühere Methoden übertreffen, und belegt, dass eine angepasste Ensemble-Prompting-Verteidigung die daraus resultierende Privatsphärenlecks wirksam mindern kann.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine sehr kluge, hilfsbereite Bibliothekarin (die KI), die für eine private Bibliothek (den Server) arbeitet. Sie können der Bibliothekarin Fragen zu einem bestimmten Buch stellen, und um Ihnen die beste Antwort zu geben, schaut sich die Bibliothekarin zuerst eine spezielle „Spickzettel"-Sammlung mit Beispielen aus diesem Buch an, um zu sehen, wie ähnliche Fragen zuvor beantwortet wurden. Dies wird In-Context-Lernen genannt.

Der Artikel von Kulkarni, Koskela und Zumot untersucht einen hinterhältigen Trick, den ein Benutzer anwenden könnte, um herauszufinden, ob ihre eigene spezifische Frage heimlich in den „Spickzettel" der Bibliothekarin (die Trainingsdaten) geschrieben wurde, obwohl der Benutzer den Spickzettel nicht direkt einsehen kann. Dies wird als Mitgliedschafts-Inferenz-Angriff bezeichnet.

Hier ist eine einfache Zusammenfassung ihrer Erkenntnisse:

Das Szenario: Der „Abruf"-Bibliothekar

In der realen Welt wählen Bibliotheken nicht einfach zufällige Beispiele für ihre Spickzettel aus. Sie nutzen ein intelligentes Suchwerkzeug, um die ähnlichsten Beispiele zu Ihrer Frage zu finden.

• Das Problem: Die Autoren stellten fest, dass diese „intelligente Suche" die Bibliothek tatsächlich anfälliger für Spionage macht. Da die Bibliothekarin Beispiele auswählt, die Ihrer Frage sehr ähnlich sind, ist es für einen Spion viel einfacher festzustellen, ob seine Frage in der geheimen Datenbank der Bibliothek enthalten war.

Die zwei Spion-Tricks (Angriffe)

Die Autoren entwickelten zwei neue Methoden, um die Bibliothekarin auszuspionieren, ohne ihre internen Notizen einsehen zu dürfen oder eine besondere Erlaubnis zu benötigen.

1. Der „Doppel-Check"-Spion (Angriff 1)

• Funktionsweise: Der Spion hat seinen eigenen privaten, kleineren Bibliothekar (ein „Referenzmodell") zu Hause sitzen.
• Der Trick: Der Spion stellt der Bibliothekarin der echten Bibliothek eine Frage, gibt ihr aber nur die ersten paar Wörter des Satzes. Dann stellt der Spion seinem eigenen privaten Bibliothekar dieselbe Frage.
• Die Logik: Wenn der „Spickzettel" der echten Bibliothekarin bereits die Frage des Spions enthält, wird die echte Bibliothekarin selbst mit nur wenigen Wörtern sehr zuversichtlich und präzise antworten. Der Spion vergleicht, wie zuversichtlich sein privater Bibliothekar im Vergleich zur echten Bibliothekarin ist. Wenn die echte Bibliothekarin überraschend gut darin ist, den Rest des Satzes vorherzusagen, weiß der Spion: „Aha! Meine Frage war in ihrem geheimen Spickzettel!"

2. Der „Stotternde" Spion (Angriff 2)

• Funktionsweise: Dieser Angriff benötigt keinen zweiten Bibliothekar. Er beobachtet lediglich die Antworten der echten Bibliothekarin.
• Der Trick: Der Spion stellt der Bibliothekarin immer wieder dieselbe Frage, gibt ihr aber jedes Mal einen etwas längeren Textabschnitt (wie beim Wort-für-Wort-Lesen eines Satzes).
• Die Logik:
  • Wenn die Frage des Spions im Spickzettel enthalten ist, wird die Bibliothekarin in der Lage sein, auch bei nur den allerersten paar Wörtern korrekt zu antworten (weil der Spickzettel die vollständige Antwort bereit hält).
  • Wenn die Frage des Spions nicht im Spickzettel enthalten ist, wird die Bibliothekarin wahrscheinlich sagen „Ich weiß es nicht" oder eine schlechte Antwort geben, wenn ihr nur die ersten paar Wörter gegeben werden, da sie noch nicht genug Informationen hat.
• Die Bewertung: Der Spion vergibt mehr Punkte für die frühen Antworten der Bibliothekarin. Wenn die Bibliothekarin frühzeitig gut antwortet, ist dies ein starkes Zeichen dafür, dass die Frage des Spions in der Datenbank enthalten war.

Warum dies wichtig ist

Der Artikel zeigt, dass diese Spion-Tricks sehr gut funktionieren, selbst wenn der Spion seine Frage leicht verändert (Synonyme verwendet oder Sätze umformuliert), um sich zu verstecken. Sie stellten fest, dass diese neuen Tricks besser sind als ältere Methoden, die oft scheiterten, weil sie zu viel auf einmal versuchten (wie etwa die Bibliothekarin zu bitten, in einem Durchgang einen ganzen Aufsatz zu schreiben, was oft blockiert wird).

Wie man die Spione stoppt (Verteidigung)

Die Autoren testeten auch Möglichkeiten, die Bibliothek zu schützen:

1. Die „Aufteilung"-Verteidigung: Anstatt dem Benutzer zu erlauben, den gesamten Text und die Frage zusammen zu senden, könnte der Server den Benutzer zwingen, sie separat zu senden. Dies verhindert, dass der Spion den „Doppel-Check"-Trick anwendet, da der Server kontrolliert, wie die Teile zusammengesetzt werden.
2. Die „Gruppen-Abstimmung"-Verteidigung: Anstatt die Bibliothekarin nur einmal zu fragen, fragt der Server die Bibliothekarin fünf Mal mit leicht unterschiedlichen Beispielen auf dem Spickzettel und nimmt dann die häufigste Antwort. Dies verwirrt den Spion, da sich der „Spickzettel" jedes Mal ändert, was es schwierig macht, festzustellen, ob die spezifische Frage des Spions jemals verwendet wurde.

Das Fazit

Der Artikel kommt zu dem Schluss, dass die Verwendung einer intelligenten Suche zur Auswahl von Beispielen zwar die Antworten der KI verbessert, aber auch eine Privatsphäre-Lücke schafft. Es ist, als hätte man eine Bibliothekarin, die so gut darin ist, relevante Bücher zu finden, dass sie versehentlich verrät, welche Bücher Sie zuvor gelesen haben. Die Autoren schlagen vor, dass wir neue Privatsphäre-Werkzeuge (wie die „Gruppen-Abstimmung"-Methode) benötigen, um die Antworten hilfreich zu halten, ohne Spionen einen Einblick in die Datenbank zu gewähren.

Technische Zusammenfassung

Technische Zusammenfassung: Mitgliedschafts-Inferenz-Angriffe auf retrievalbasiertes In-Context-Learning

1. Problemstellung

Dieser Beitrag adressiert die Privatsphärenverwundbarkeiten von Retrieval-Augmented In-Context Learning (ICL) in Anwendungen des Dokumentenfragebeantwortens (Document Question Answering, DQA). Während ICL eine beliebte Prompt-Engineering-Technik ist, die die Leistung von Large Language Models (LLMs) verbessert, ohne Gewichte zu aktualisieren, führt ihr Einsatz in Remote-Diensten mit zwei Parteien über APIs zu spezifischen Risiken.

Im untersuchten Szenario verwaltet ein Dienstleister einen privaten Demonstrationsdatensatz ($D$) und verwendet eine Retrieval-Funktion (z. B. k-Nearest Neighbors basierend auf semantischer Ähnlichkeit), um $k$ kontextuelle Beispiele für die Anfrage eines Benutzers auszuwählen. Die Autoren argumentieren, dass bestehende Mitgliedschafts-Inferenz-Angriffe (Membership Inference Attacks, MIAs) für dieses Szenario ungeeignet sind, weil:

• Aufgabenmismatch: Bisherige MIAs konzentrieren sich auf Textklassifizierung, wohingegen DQA eine generative Aufgabe ist, die Informationsentnahme erfordert.
• Unrealistische Annahmen: Bestehende Angriffe verlassen sich oft auf den Zugriff auf Logits (in Black-Box-APIs nicht verfügbar) oder gehen von zufällig ausgewählten Demonstrationen aus. In der Praxis wählt retrievalbasiertes ICL semantisch ähnliche Beispiele aus, was die Wahrscheinlichkeit erhöht, dass die Anfrage eines Benutzers (oder eine Paraphrase davon) im Prompt erscheint, wodurch die Privatsphärenrisiken verstärkt werden.
• Operative Einschränkungen: Angriffe wie „Repeat" (Vorhersage langer Suffixe) oder „Brainwash" (iteratives Umkehren von Labels) sind aufgrund von Token-Limits und Einschränkungen des Kontextfensters bei generativen Aufgaben unpraktisch.

Die zentrale Forschungsfrage lautet: Können wirksame Mitgliedschafts-Inferenz-Angriffe gegen retrievalbasiertes ICL für DQA entwickelt werden, die ausschließlich auf Modellvorhersagen (Black-Box) basieren und die spezifischen Mechaniken des semantischen Retrievals nutzen?

2. Methodik

Die Autoren schlagen zwei Black-Box-Angriffe vor, die ausnutzen, dass retrievalbasiertes ICL Demonstrationen auswählt, die der Anfrage semantisch ähnlich sind. Der Angreifer hat Zugriff auf den Anfragetext (potenziell paraphrasiert) und die Ground-Truth-Antwort, kann jedoch nicht auf interne Verlustmetriken oder Logits des Servers zugreifen.

Angriff 1: Schätzung eines Referenzmodells

Dieser Angriff schätzt die Verlustmetrik des Zielmodells unter Verwendung eines lokal gehosteten Referenzmodells ($LM_r$).

• Mechanismus: Der Angreifer konstruiert eine Reihe von Prompts unter Verwendung von Präfixen des Anfragetextes ($t_{:i}$). Sowohl das Opfermodell ($LM_v$) als auch das Referenzmodell ($LM_r$) generieren Vorhersagen für diese Präfixe.
• Korrelation: Der Angreifer berechnet die semantische Ähnlichkeit (Skalarprodukt der Embeddings) zwischen den Vorhersagen des Referenzmodells und den Ground-Truth-Tokens. Da $LM_r$ das Retrieval-Setup nachahmt, korreliert die Vorhersagequalität mit den Log-Wahrscheinlichkeiten des Zielmodells.
• Regression: Ein 1D-k-NN-Regressionsmodell wird trainiert, um die semantischen Ähnlichkeitswerte des Referenzmodells auf dessen tatsächliche Log-Wahrscheinlichkeiten abzubilden. Diese Abbildung wird dann auf die Ähnlichkeitswerte des Opfermodells angewendet, um den Log-Verlust des Opfers zu schätzen.
• Signal: Der mittlere geschätzte negative Log-Likelihood dient als Mitgliedschaftswert. Niedrigere Werte deuten auf eine höhere Mitgliedschaftswahrscheinlichkeit hin.

Angriff 2: Nur-Vorhersage (Gewichtetes Mittel)

Dieser Angriff eliminiert die Notwendigkeit eines Referenzmodells und verlässt sich ausschließlich auf die endgültigen Vorhersagen des Opfermodells.

• Mechanismus: Der Angreifer fragt das Opfermodell mit inkrementellen Präfixen des Textes ($t_{:i}$) in Kombination mit der Frage ab.
• Gewichtetes Scoring: Der Angriff berechnet einen Score basierend auf der semantischen Ähnlichkeit zwischen der vom Modell vorhergesagten Antwort und der Ground-Truth-Antwort für jedes Präfix.
• Abklingfunktion: Eine Straffunktion $\phi(i)$ (z. B. $1/i$) wird angewendet, um die Scores zu gewichten. Die Intuition dahinter ist, dass für Mitglieds-Anfragen das Retrieval-System wahrscheinlich den vollständigen Text (oder eine sehr ähnliche Version) selbst bei kleinen Präfixen im Kontext enthält, was dem Modell erlaubt, frühzeitig korrekt zu antworten. Bei Nicht-Mitglieds-Anfragen fehlt dem Modell der notwendige Kontext für kleine Präfixe, und es gibt möglicherweise „Ich weiß es nicht" oder eine Antwort von geringer Qualität aus.
• Signal: Die gewichtete Summe der Ähnlichkeiten dient als Mitgliedschaftswert. Höhere Werte deuten auf Mitgliedschaft hin.

3. Hauptbeiträge

• Neue Angriffsvektoren für generatives ICL: Der Beitrag stellt die ersten MIAs vor, die speziell auf retrievalbasiertes ICL für Dokumentenfragebeantworten, eine generative Aufgabe, abzielen, und geht damit über die auf Klassifizierung fokussierte Literatur hinaus.
• Realistisches Bedrohungsmodell: Die Angriffe operieren unter strengen Black-Box-Beschränkungen (kein Logit-Zugriff, begrenzte Ausgabetokens) und gehen von der Verwendung semantischen Retrievals (kNN) aus, was in Retrieval-Augmented Generation (RAG)-Systemen Standard ist.
• Resilienz gegenüber Paraphrasierung: Die Experimente betrachten ein Szenario, in dem der Angreifer eine paraphrasierte Version des Anfragetextes besitzt. Die vorgeschlagenen Angriffe zeigen eine starke Resilienz gegenüber diesem gängigen Abwehrmechanismus und übertreffen Baselines, selbst wenn eine exakte Textübereinstimmung unmöglich ist.
• Anpassung der Verteidigung: Die Autoren passen eine bestehende „Ensemble-Prompting"-Verteidigung an das DQA-Szenario an und zeigen, dass sie die Privatsphären-Leckage der vorgeschlagenen Angriffe erheblich mindern kann.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihre Angriffe an drei DQA-Datensätzen (SQuAD, SQuADShifts, NewsQA) unter Verwendung der Modelle Gemma und Pythia.

• Leistung im Vergleich zu Baselines: Die vorgeschlagenen Angriffe (sowohl Referenzmodell als auch Nur-Vorhersage) schnitten im Allgemeinen besser ab als drei Baseline-Methoden (Logit-basiert, Repeat und Brainwash) in Bezug auf die True-Positive-Rate bei niedrigen False-Positive-Raten (TPR@niedrige FPR).
  • Der Angriff mit Referenzmodell erzielte in vielen Fällen die höchste Fläche unter der Kurve (AUC) und übertraf oft Baselines, wobei nur 10 % der Anfragewörter verwendet wurden.
  • Der Angriff Nur-Vorhersage zeigte stetige Leistungsverbesserungen mit mehr Präfixen und war auf NewsQA und SQuADShifts mit den Baselines vergleichbar oder übertraf diese.
• Auswirkung der Paraphrasierung: Entgegen der Erwartung, dass Paraphrasierung die Angriffe neutralisieren würde, zeigten die Ergebnisse, dass die vorgeschlagenen Angriffe gegen paraphrasierte Anfragen wirksam blieben, wohingegen Baseline-Methoden (die oft auf exakte Token-Übereinstimmung oder spezifische Logit-Muster angewiesen waren) signifikant an Leistung einbüßten.
• Modellgröße: Die Angriffe blieben bei größeren Modellen (Gemma-7B) wirksam, obwohl die Baseline „Brainwash" bei Pythia-Modellen aufgrund von Kontextfensterbeschränkungen und Empfindlichkeit gegenüber der Platzierung von Beispielen schlecht abschnitt.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass retrievalbasiertes ICL, obwohl es die Nützlichkeit verbessert, ein signifikantes und bisher unerforschtes Privatsphärenrisiko einführt. Die Autoren betonen, dass:

• Semantische Ähnlichkeit ein zweischneidiges Schwert ist: Der Mechanismus, der die Genauigkeit von ICL verbessert (Auswahl semantisch ähnlicher Beispiele), erhöht drastisch die Wahrscheinlichkeit, dass eine Anfrage eines Benutzers im Prompt erscheint, was die Mitgliedschafts-Inferenz erleichtert.
• Tarnung und Durchführbarkeit: Im Gegensatz zu früheren Angriffen, die durch das Überfluten von Kontextfenstern oder das Verletzen von API-Beschränkungen eine Entdeckungsgefahr bergen, sind diese Angriffe getarnt und erfordern nur Standard-API-Aufrufe mit wenigen Ausgabetokens.
• Grenzen aktueller Verteidigungen: Standardabwehrmaßnahmen wie Paraphrasierung sind gegen diese spezifischen Angriffe unzureichend.
• Bedarf an neuen Lösungen: Die Autoren kommen zu dem Schluss, dass die Entwicklung einer praktischen Differential Privacy (DP)-Lösung für retrievalgestütztes ICL nicht trivial ist. Bestehende DP-Methoden verlassen sich oft auf zufällige Stichproben (was Privatsphärengarantien verstärkt), wohingegen Retrieval deterministisch ist. Sie fordern neue Forschung, um die Nützlichkeit relevanter Demonstrationen mit formalen Privatsphärengarantien in Einklang zu bringen.

Zusammenfassend zeigt die Arbeit, dass in einem realistischen Zwei-Parteien-API-Szenario mit retrievalaugmentiertem ICL ein Angreifer erfolgreich ableiten kann, ob eine bestimmte Anfrage Teil des Demonstrationsdatensatzes des Dienstes war, und zwar ausschließlich unter Verwendung von Black-Box-Vorhersagen. Dies unterstreicht eine kritische Lücke im aktuellen Privatsphärenschutz für generative KI-Dienste.