Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering

Dit artikel toont aan dat op retrieval gebaseerde in-context learning-systemen voor documentvraagbeantwoording kwetsbaar zijn voor black-box lidmaatschapsinference-aanvallen met behulp van query-voorvoegsels, stelt twee nieuwe aanvallen voor die zelfs met parafraseerde invoer betere resultaten behalen dan eerdere methoden, en laat zien dat een aangepaste ensemble prompting-verdediging de resulterende privacylekken effectief kan beperken.

De kern

Stel je voor dat je een zeer slimme, behulpzame bibliothecaris (de AI) hebt die werkt voor een particuliere bibliotheek (de server). Je kunt de bibliothecaris vragen stellen over een specifiek boek, en om je het beste antwoord te geven, bladert de bibliothecaris eerst door een speciale "spiekbrief" met voorbeelden uit dat boek om te zien hoe vergelijkbare vragen eerder zijn beantwoord. Dit heet In-Context Learning.

Het artikel van Kulkarni, Koskela en Zumot onderzoekt een sluwe truc die een gebruiker kan gebruiken om erachter te komen of hun eigen specifieke vraag stiekem in die bibliothecaris' "spiekbrief" (de trainingsdata) is geschreven, zelfs als de gebruiker de spiekbrief niet direct kan zien. Dit heet een Membership Inference Attack.

Hier is een eenvoudige uiteenzetting van hun bevindingen:

De Opzet: De "Retrieval"-Bibliothecaris

In de echte wereld kiezen bibliotheken niet zomaar willekeurige voorbeelden voor hun spiekbrief. Ze gebruiken een slim zoekhulpmiddel om de meest vergelijkbare voorbeelden bij jouw vraag te vinden.

• Het Probleem: De auteurs ontdekten dat deze "slimme zoekopdracht" de bibliotheek eigenlijk kwetsbaarder maakt voor spionage. Omdat de bibliothecaris voorbeelden kiest die zeer lijken op jouw vraag, is het voor een spion veel gemakkelijker om te bepalen of hun vraag in de geheime database van de bibliotheek stond.

De Twee Spionnetrucs (Aanvallen)

De auteurs ontwierpen twee nieuwe manieren om de bibliothecaris te bespioneren zonder de interne notities van de bibliothecaris te hoeven zien of speciale toestemming te hoeven krijgen.

1. De "Dubbel-Kijk"-Spion (Aanval 1)

• Hoe het werkt: De spion heeft zijn eigen particuliere, kleinere bibliothecaris (een "referentiemodel") thuis staan.
• De Truc: De spion stelt de bibliothecaris van de echte bibliotheek een vraag, maar geeft alleen de eerste paar woorden van de zin. Vervolgens stelt de spion hetzelfde aan zijn eigen particuliere bibliothecaris.
• De Logica: Als de "spiekbrief" van de echte bibliothecaris de vraag van de spion al bevat, zal de echte bibliothecaris zeer zelfverzekerd en accuraat zijn, zelfs met slechts een paar woorden. De spion vergelijkt hoe zelfverzekerd zijn eigen bibliothecaris is versus de echte. Als de echte bibliothecaris verrassend goed is in het raden van de rest van de zin, denkt de spion: "Aha! Mijn vraag stond in hun geheime spiekbrief!"

2. De "Stotterende"-Spion (Aanval 2)

• Hoe het werkt: Deze aanval heeft geen tweede bibliothecaris nodig. Hij observeert gewoon de antwoorden die de echte bibliothecaris geeft.
• De Truc: De spion stelt de bibliothecaris steeds dezelfde vraag, maar geeft de bibliothecaris elke keer een iets langer stukje tekst (zoals een zin woord voor woord lezen).
• De Logica:
  • Als de vraag van de spion wel in de spiekbrief staat, zal de bibliothecaris in staat zijn om correct te antwoorden, zelfs als hij alleen de allereerste paar woorden krijgt (omdat de spiekbrief het volledige antwoord klaar heeft).
  • Als de vraag van de spion niet in de spiekbrief staat, zal de bibliothecaris waarschijnlijk zeggen: "Ik weet het niet" of een slecht antwoord geven als hij alleen de eerste paar woorden krijgt, omdat hij nog niet genoeg informatie heeft.
• De Score: De spion geeft meer punten voor de vroege antwoorden van de bibliothecaris. Als de bibliothecaris vroeg goed antwoordt, is dit een sterk teken dat de vraag van de spion in de database zat.

Waarom Dit Belangrijk Is

Het artikel toont aan dat deze spionnetrucs zeer goed werken, zelfs als de spion zijn vraag lichtelijk aanpast (met synoniemen of door zinnen te herschrijven) om zich te verstoppen. Ze ontdekten dat deze nieuwe trucs beter zijn dan oudere methoden, die vaak faalden omdat ze te veel probeerden in één keer (zoals de bibliothecaris vragen om in één keer een heel essay te schrijven, wat vaak wordt geblokkeerd).

Hoe de Spions te Stoppen (Verdedigingen)

De auteurs testten ook manieren om de bibliotheek te beschermen:

1. De "Gesplitste"-Verdediging: In plaats van de gebruiker de volledige tekst en vraag samen te laten sturen, zou de server de gebruiker kunnen dwingen om ze apart te sturen. Dit stopt de spion bij het gebruik van de "Dubbel-Kijk"-truc, omdat de server controleert hoe de stukken worden samengevoegd.
2. De "Groepsstem"-Verdediging: In plaats van de bibliothecaris één keer te vragen, vraagt de server de bibliothecaris vijf keer met lichtelijk verschillende voorbeelden op de spiekbrief, en neemt dan het meest voorkomende antwoord. Dit verwarrt de spion omdat de "spiekbrief" elke keer verandert, waardoor het moeilijk is om te zeggen of de specifieke vraag van de spion ooit is gebruikt.

De Conclusie

Het artikel concludeert dat het gebruik van slimme zoekopdrachten om voorbeelden te kiezen, AI-antwoorden weliswaar beter maakt, maar ook een privacylek creëert. Het is alsof je een bibliothecaris hebt die zo goed is in het vinden van relevante boeken dat ze per ongeluk onthullen welke boeken je eerder hebt gelezen. De auteurs suggereren dat we nieuwe privacytools nodig hebben (zoals de "Groepsstem"-methode) om de antwoorden behulpzaam te houden zonder spionnen toe te staan in de database te loeren.

Technische samenvatting

Technische Samenvatting: Lidmaatschapsinference-aanvallen voor Retrieval-Based In-Context Learning

1. Probleemstelling

Dit artikel behandelt de privacykwetsbaarheden van Retrieval-Augmented In-Context Learning (ICL) in Document Question Answering (DQA)-toepassingen. Hoewel ICL een populaire prompt-engineeringtechniek is die de prestaties van Large Language Models (LLM) verbetert zonder de gewichten bij te werken, introduceert de implementatie ervan in externe, tweepartijen-API-services specifieke risico's.

In de onderzochte setting onderhoudt een dienstverlener een privé-demonstratiedataset ($D$) en gebruikt een zoekfunctie (bijvoorbeeld k-Nearest Neighbors gebaseerd op semantische gelijkenis) om $k$ contextvoorbeelden te selecteren voor een vraag van een gebruiker. De auteurs betogen dat bestaande Lidmaatschapsinference-aanvallen (MIAs) ongeschikt zijn voor dit scenario omdat:

• Taakmismatch: Eerdere MIAs richten zich op tekstclassificatie, terwijl DQA een generatieve taak is die informatie-extractie vereist.
• Onrealistische Aannames: Bestaande aanvallen vertrouwen vaak op toegang tot logit-waarden (niet beschikbaar in black-box API's) of gaan uit van willekeurig geselecteerde demonstraties. In de praktijk selecteert retrieval-based ICL semantisch vergelijkbare voorbeelden, wat de kans vergroot dat de vraag van een gebruiker (of een parafrase daarvan) in de prompt verschijnt, waardoor de privacyrisico's worden versterkt.
• Operationele Beperkingen: Aanvallen zoals "Repeat" (het voorspellen van lange suffixen) of "Brainwash" (iteratief label-flipping) zijn onpraktisch vanwege tokenlimieten en beperkingen van het contextvenster in generatieve taken.

De centrale onderzoeksvraag is: Kunnen effectieve lidmaatschapsinference-aanvallen worden ontworpen tegen retrieval-based ICL voor DQA die uitsluitend vertrouwen op modelvoorspellingen (black-box) en gebruikmaken van de specifieke werking van semantische zoekopdrachten?

2. Methodologie

De auteurs stellen twee black-box-aanvallen voor die misbruik maken van het feit dat retrieval-based ICL demonstraties selecteert die semantisch vergelijkbaar zijn met de vraag. De aanvaller heeft toegang tot de vraagtekst (potentieel geparafraseerd) en het grondwaarheid-antwoord, maar kan geen toegang krijgen tot de interne verliesmetrieken of logit-waarden van de server.

Aanval 1: Referentiemodelschatting

Deze aanval schat de verliesmetriek van het doelmodel in met behulp van een lokaal gehost referentiemodel ($LM_r$).

• Werking: De aanvaller bouwt een reeks prompts op met behulp van voorvoegsels van de vraagtekst ($t_{:i}$). Zowel het slachtoffermodel ($LM_v$) als het referentiemodel ($LM_r$) genereren voorspellingen voor deze voorvoegsels.
• Correlatie: De aanvaller berekent de semantische gelijkenis (dot product van embeddings) tussen de voorspellingen van het referentiemodel en de grondwaarheid-tokens. Omdat $LM_r$ de zoekopdracht nabootst, correleert de voorspellingkwaliteit ervan met de log-probabiliteiten van het doelmodel.
• Regressie: Een 1D k-NN-regressiemodel wordt getraind om de semantische gelijkenisscores van het referentiemodel te mappen naar de werkelijke log-probabiliteiten van het referentiemodel. Deze mapping wordt vervolgens toegepast op de gelijkenisscores van het slachtoffermodel om het log-verlies van het slachtoffer te schatten.
• Signaal: Het gemiddelde geschatte negatieve log-waarschijnlijkheid dient als lidmaatschapsscore. Lagere scores wijzen op een hogere lidmaatschapskans.

Aanval 2: Alleen Voorspelling (Gewogen Gemiddelde)

Deze aanval elimineert de noodzaak van een referentiemodel en vertrouwt uitsluitend op de uiteindelijke voorspellingen van het slachtoffermodel.

• Werking: De aanvaller stelt het slachtoffermodel vragen met incrementele voorvoegsels van de tekst ($t_{:i}$) gekoppeld aan de vraag.
• Gewogen Score: De aanval berekent een score op basis van de semantische gelijkenis tussen het voorspelde antwoord van het model en het grondwaarheid-antwoord voor elk voorvoegsel.
• Verval Functie: Een straffunctie $\phi(i)$ (bijvoorbeeld $1/i$) wordt toegepast om de scores te wegen. De intuïtie is dat voor lid-vragen het zoeksysteem waarschijnlijk de volledige tekst (of een zeer vergelijkbare versie) zal opnemen in de context, zelfs voor kleine voorvoegsels, waardoor het model vroeg correct kan antwoorden. Voor niet-leden ontbreekt het model de nodige context voor kleine voorvoegsels en kan het "Ik weet het niet" of een antwoord van lage kwaliteit opleveren.
• Signaal: De gewogen som van gelijkenissen dient als lidmaatschapsscore. Hogere scores wijzen op lidmaatschap.

3. Belangrijkste Bijdragen

• Nieuwe Aanvalsvector voor Generatieve ICL: Het artikel presenteert de eerste MIAs die specifiek gericht zijn op retrieval-based ICL voor Document Question Answering, een generatieve taak, en gaat verder dan de op classificatie gerichte literatuur.
• Realistisch Bedreigingsmodel: De aanvallen opereren onder strikte black-box-beperkingen (geen toegang tot logit-waarden, beperkte output-tokens) en gaan uit van het gebruik van semantische zoekopdrachten (kNN), wat standaard is in Retrieval-Augmented Generation (RAG)-systemen.
• Bestand tegen Parafraseren: De experimenten beschouwen een scenario waarin de aanvaller een geparafraseerde versie van de vraagtekst bezit. De voorgestelde aanvallen tonen sterke weerstand tegen dit veelvoorkomende verdedigingsmechanisme en presteren beter dan basismethoden, zelfs wanneer exacte tekstmatching onmogelijk is.
• Aanpassing van Verdediging: De auteurs passen een bestaande verdediging met "ensemble prompting" aan voor de DQA-setting en tonen aan dat deze de privacylekken van de voorgestelde aanvallen aanzienlijk kan beperken.

4. Experimentele Resultaten

De auteurs evalueerden hun aanvallen op drie DQA-datasets (SQuAD, SQuADShifts, NewsQA) met behulp van Gemma- en Pythia-modellen.

• Prestaties versus Basismethoden: De voorgestelde aanvallen (zowel Referentiemodel als Alleen Voorspelling) presteerden over het algemeen beter dan drie basismethoden (Logit-gebaseerd, Repeat en Brainwash) in termen van True Positive Rate bij lage False Positive Rates (TPR@low FPR).
  • De Referentiemodel-aanval behaalde in veel gevallen de hoogste Area Under the Curve (AUC), waarbij deze basismethoden vaak versloeg met slechts 10% van de vraagvoorvoegsels.
  • De Alleen Voorspelling-aanval toonde gestage prestatieverbeteringen met meer voorvoegsels en was concurrerend met of superieur aan basismethoden op NewsQA en SQuADShifts.
• Impact van Parafraseren: In tegenstelling tot de verwachting dat parafraseren de aanvallen zou neutraliseren, toonden de resultaten aan dat de voorgestelde aanvallen effectief bleven tegen geparafraseerde vragen, terwijl basismethoden (die vaak leunden op exacte tokenmatching of specifieke logit-patronen) aanzienlijk verslechterden.
• Modelgrootte: De aanvallen bleven effectief op grotere modellen (Gemma-7B), hoewel de "Brainwash"-basismethode slecht presteerde op Pythia-modellen vanwege beperkingen van het contextvenster en gevoeligheid voor de plaatsing van voorbeelden.

5. Betekenis en Beweringen

Het artikel beweert dat retrieval-based ICL, hoewel het de bruikbaarheid verbetert, een beduidend en tot nu toe onontdekt privacyrisico introduceert. De auteurs benadrukken dat:

• Semantische Gelijkenis een Tweesnijdend Zwaard is: Het mechanisme dat de nauwkeurigheid van ICL verbetert (het selecteren van semantisch vergelijkbare voorbeelden) vergroot drastisch de kans dat de vraag van een gebruiker in de prompt verschijnt, wat lidmaatschapsinference gemakkelijker maakt.
• Stilte en Uitvoerbaarheid: In tegenstelling tot eerdere aanvallen die detectie riskeren door contextvensters te overlopen of API-beperkingen te schenden, zijn deze aanvallen stil en vereisen ze alleen standaard API-aanroepen met kleine output-tokens.
• Beperkingen van Huidige Verdedigingen: Standaard verdedigingen zoals parafraseren zijn ontoereikend tegen deze specifieke aanvallen.
• Behoefte aan Nieuwe Oplossingen: De auteurs concluderen dat het ontwikkelen van een praktische Differentiële Privacy (DP)-oplossing voor retrieval-gedreven ICL niet triviaal is. Bestaande DP-methoden vertrouwen vaak op willekeurige steekproeven (wat privacygaranties versterkt), terwijl zoekopdrachten deterministisch zijn. Zij roepen op tot nieuw onderzoek om de bruikbaarheid van relevante demonstraties in evenwicht te brengen met formele privacygaranties.

Kortom, het werk toont aan dat in een realistische tweepartijen-API-setting met retrieval-augmented ICL, een aanvaller succesvol kan afleiden of een specifieke vraag deel uitmaakte van de demonstratiedataset van de dienst, uitsluitend met behulp van black-box-voorspellingen. Dit benadrukt een kritieke lacune in de huidige privacybescherming voor generatieve AI-diensten.