Extracting Training Dialogue Data from Large Language Model based Task Bots

Deze studie toont aan dat LLM-gebaseerde taakbots gevoelig zijn voor privacyrisico's door het onbedoeld onthouden van trainingsdata, en presenteert een nieuwe aanvalsmethode die duizenden dialooglabels succesvol kan extraheren, waardoor de noodzaak van gerichte mitigatiestrategieën wordt onderstreept.

De kern

🕵️‍♂️ Het Geheim van de "Te Slimme" Chatbot

Stel je voor dat je een zeer slimme, beleefde assistent hebt die je helpt bij het boeken van een treinreis of het vinden van een restaurant. Dit is een Task-Oriented Dialogue System (een taak-chatbot). In het verleden waren deze bots soms wat stijf, maar nu gebruiken ze Grote Taalmodellen (LLMs) – denk aan de technologie achter ChatGPT – om veel natuurlijker te praten.

Deze bots zijn getraind op enorme hoeveelheden gesprekken van echte mensen. Ze hebben alles geleerd: hoe je een reservering maakt, welke restaurants populair zijn, en hoe je beleefd vraagt om een tafel.

Het probleem?
Net zoals een mens die een boek uit zijn hoofd leert, kan de bot soms dingen "uit zijn hoofd" leren die hij niet zou moeten onthouden. In dit onderzoek ontdekten de auteurs dat deze bots niet alleen de regels van het spel hebben geleerd, maar ook de geheime details van de gesprekken die ze hebben gelezen.

🗣️ De Analogie: De "Geheugen-Loze" Assistent

Stel je voor dat je een assistent hebt die een reisplanner is.

• Hoe het zou moeten werken: Jij zegt: "Ik wil naar Parijs." De assistent kijkt in zijn boekje, zoekt een trein, en zegt: "Hier is een trein naar Parijs." Hij gebruikt alleen de informatie die jij nu geeft.
• Wat er eigenlijk gebeurt: De assistent heeft duizenden reisplannen van anderen in zijn hoofd opgeslagen. Als jij vraagt: "Welke trein gaat er naar Parijs?", kan hij per ongeluk zeggen: "De trein van gisteren voor meneer Jansen, die om 14:00 vertrok en zijn telefoonnummer 06-12345678 gebruikte."

De bot heeft niet alleen de informatie onthouden, maar ook de persoonlijke details (zoals telefoonnummers of volledige reisplannen) van mensen die hij nooit heeft ontmoet.

🔓 De Hack: Hoe haal je die geheime info eruit?

De onderzoekers wilden weten: "Hoe makkelijk is het voor een hacker om deze geheime gegevens uit de bot te krijgen?"

Ze gebruikten twee slimme trucs:

1. De "Scheur in de Muur" (Schema-Guided Sampling):
   Normaal gesproken proberen hackers de bot te vragen: "Vertel me alles wat je weet." Maar de bot is slim en zegt dan vaak: "Hoe kan ik je helpen?" (want hij is getraind om beleefd te zijn).
   De onderzoekers deden iets slims: ze gaven de bot een halve zin en dwongen hem om de rest in te vullen.

   • Vergelijking: Het is alsof je de bot vraagt: "De treinreis van meneer Jansen ging naar...?"
   • Omdat de bot is getraind om zinnen af te maken, vult hij de rest in. En als hij die zin uit zijn geheugen haalt, onthult hij de naam, het telefoonnummer en de bestemming van meneer Jansen.

2. De "Lijst met de Beste Antwoorden" (Debiased Membership Inference):
   De bot kan duizenden antwoorden geven. Hoe weet je nu welke antwoorden echt uit het geheugen komen en welke hij zelf verzonnen heeft?
   De onderzoekers ontwikkelden een nieuwe manier om te kijken welke antwoorden de bot het "meest vertrouwd" vindt. Ze filterden de antwoorden die de bot als "normaal" beschouwt (zoals "Hallo, hoe gaat het?") eruit, omdat die overal voorkomen. Ze hielden alleen de unieke, specifieke antwoorden over.

   • Vergelijking: Stel je voor dat je een lijst maakt met alle mensen die een feestje hebben gehad. De meeste mensen zeggen "Ik kwam om 20:00". Dat is saai. Maar als iemand zegt "Ik kwam om 20:00 met een roze hoed en een fiets", is dat uniek. De onderzoekers zochten naar die "roze hoed"-antwoorden, want die komen waarschijnlijk uit het geheugen van de bot.

📉 Wat vonden ze? (De Schokkende Resultaten)

De resultaten waren verrassend en zorgwekkend:

• Het werkt heel goed: Met hun nieuwe methode konden ze duizenden privé-gegevens uit de bot halen.
• Precisie: In de beste gevallen konden ze 70% tot 100% van de gegevens correct terugvinden.
• Wat is het meest gevaarlijk?
  • Losse stukjes: Als je de bot vraagt om alleen een telefoonnummer of een naam in te vullen, is het risico het grootst.
  • Volledige verhalen: Het is iets moeilijker om een heel reisplannetje in één keer te krijgen, maar het lukt nog steeds vaak.

🛡️ Wat kunnen we eraan doen?

De onderzoekers geven ook advies om dit te voorkomen, net zoals je een slot op je deur zet:

1. Lessen in "Samenvatten" in plaats van "Herhalen":
   Nu leert de bot elke zin in een gesprek apart. Dat zorgt ervoor dat hij dezelfde dingen (zoals "Ik wil een trein") duizenden keren hoort en ze uit het hoofd leert.

   • Oplossing: Leer de bot om het hele gesprek als één blok te zien. Dan onthoudt hij niet elke zin apart, maar begrijpt hij de context. Dit maakt het moeilijker om losse stukjes uit zijn hoofd te halen.

2. De "Kopieer-En-Vervang" Regel:
   Als een bot een telefoonnummer moet geven, zou hij die niet zelf moeten "uitvinden" of "herhalen" uit zijn geheugen, maar die direct kopiëren van wat de gebruiker net heeft gezegd.

   • Oplossing: Als de bot geen recente informatie heeft, mag hij gewoon "geen antwoord" geven in plaats van een oud telefoonnummer te noemen.

🎯 Conclusie

Dit onderzoek laat zien dat onze slimme chatbots soms te goed zijn in onthouden. Ze fungeren als een onbewuste archiefkast met de privé-gegevens van miljoenen mensen. Zonder de juiste beveiliging kan een slimme hacker deze kast openen en de geheimen eruit halen.

De boodschap is duidelijk: We moeten deze bots niet alleen slimmer maken, maar ook veel beter leren wat ze wel en niet mogen onthouden.

Technische samenvatting

Titel: Het extraheren van trainingsdialogen uit Large Language Model-gebaseerde taakbots

1. Het Probleem

Hoewel Large Language Models (LLMs) de prestaties van Taakgerichte Dialogue Systemen (TODS), ook wel "task bots" genoemd, aanzienlijk hebben verbeterd, introduceert deze integratie ernstige privacyrisico's. LLMs fungeren als zachte kennisbronnen die trainingsdata comprimeren in rijke kennisrepresentaties. Hierdoor kunnen ze onbedoeld gevoelige trainingsdata "memoriseren" en lekken.

In tegenstelling tot open-ended chatbots die vaak volledige zinnen reproduceren, zijn TODS getraind om gestructureerde dialogue states (dialogestoestanden) te voorspellen op basis van de dialoggeschiedenis. Een dialogue state bestaat uit domein-slot-waarde tripletten (bijv. Restaurant{food=Spanish, time=19:00, phone=12345}).

• De kernuitdaging: Bestaande methoden voor data-extractie zijn gericht op het terugwinnen van ruwe tekst. Bij TODS wordt de invoer (de dialoggeschiedenis) niet gememoriseerd, maar alleen gebruikt als context. De lekken zitten in de gestructureerde output (de dialogue states).
• Specifieke risico's: Een aanvaller kan via een API toegang krijgen tot de bot en deze manipuleren om gevoelige informatie zoals telefoonnummers, reisplannen of volledige agenda's te onthullen, zelfs zonder toegang tot de volledige dialoggeschiedenis.

2. Methodologie

De auteurs ontwikkelen een systematische aanpak voor het uitvoeren van training data extraction attacks op LLM-based task bots. De aanpak bestaat uit twee hoofdfasen:

A. Schema-Guided Targeted Dialogue State Generation
Bestaande methoden (zoals "strawman"-benaderingen met temperature sampling) falen vaak omdat ze onzin genereren of te veel generieke, niet-geheugeninhoudige dialogen produceren.

• Doelgerichte Extractie: In plaats van de bot te vragen om te beginnen met een lege prompt, gebruiken de auteurs gedeeltelijke dialogue states als prefix (bijv. Belief State: Restaurant(name=pizza hut,).
• Schema-Guided Sampling: Om de validiteit van de gegenereerde states te waarborgen, extraheren ze eerst het dialogue schema (de toegestane domeinen en slots) van de bot. Dit gebeurt via een "model-against-model" cyclus waarbij ChatGPT de task bot benadert als een gebruiker om het servicebereik te verkennen.
• Beperking: Tijdens het genereren van de suffix (het resterende deel van de state) wordt het vocabulaire strikt beperkt tot de geëxtraheerde schema's. Dit voorkomt dat de bot onmogelijke combinaties genereert en verhoogt de kans op het vinden van echte trainingsdata.

B. Debiased Membership Inference
Om te bepalen of een gegenereerde state daadwerkelijk uit de trainingsdata komt, gebruiken ze geavanceerde inferentiemethoden.

• Probleem met bestaande metrics: Standaard Perplexity (PPL) en PPL-zlib zijn vertekend; ze geven hoge scores aan generieke of repetitieve fragmenten (zoals begroetingen) en falen bij het onderscheiden van specifieke trainingsvoorbeelden in een conditionele setting.
• Oplossing: De auteurs introduceren Debiased Conditional Perplexity (DC-PPL).
  • Conditional PPL (C-PPL): Berekent de perplexiteit alleen voor het suffix, gegeven de prefix, in plaats van de hele sequentie.
  • Debiasing: Ze normaliseren deze score met de perplexiteit van het suffix op zichzelf. Dit corrigeert de bias ten opzichte van veelvoorkomende, "veilige" dialogue state componenten en focust op de unieke entailment tussen context en output.

3. Belangrijkste Bijdragen

1. Eerste Systematische Studie: Dit is het eerste werk dat zich richt op het memoriseren van trainingsdata in LLM-based task bots, specifiek op het niveau van gestructureerde dialogue states en cross-slot semantiek, in plaats van losse uitspraken.
2. Nieuwe Aanvalspijplijn: Ze presenteren een complete workflow die bestaat uit:
   • Het definiëren van een bedreigingsmodel voor dialogue state extractie.
   • Het benchmarken van bestaande technieken (die hier vaak falen).
   • Het ontwikkelen van Schema-Guided Sampling voor het genereren van geldige kandidaten.
   • Het ontwikkelen van Debiased Conditional Perplexity voor nauwkeurige lidmaatschapsinferentie.
3. Analyse van Memoriseringsfactoren: Ze identificeren twee tegenstrijdige factoren:
   • Herhaling: Substring-herhaling in turn-level trainingdata versterkt memoriseren.
   • Een-op-Veel: Het feit dat één context meerdere geldige antwoorden kan hebben, vermindert memoriseren (de bot is minder zeker van één specifieke waarde).

4. Resultaten

De experimenten zijn uitgevoerd op het MultiWOZ dataset (8.438 dialogen) met een gefinetuned Llama2 (7B) model.

• Niet-doelgerichte Extractie (Untargeted): Zonder context kunnen aanvallen al gevoelige waarden extraheren. De precisie voor individuele waarden (zoals telefoonnummers) bereikt maximaal 67%, terwijl volledige dialogue states een lagere precisie hebben (26%).
• Doelgerichte Extractie (Targeted): Met een gedeeltelijke state als prompt (bijv. de naam van een restaurant) stijgt de precisie drastisch:
  • 100% precisie voor individuele waarden.
  • >70% precisie voor volledige dialogue states.
  • De methode kan duizenden trainingslabels extraheren.
• Effectiviteit van DC-PPL: De nieuwe Debiased Conditional Perplexity metric presteert significant beter dan traditionele PPL-metingen, met name bij het filteren van valse positieven en het identificeren van event-niveau informatie.
• Privacy Impact: De analyse toont aan dat de grootste privacyrisico's niet alleen bij directe PII (Persoonlijk Identificeerbare Informatie) liggen, maar bij combinatorische PII. De methode kan onschuldige losse data punten combineren tot gevoelige volledige scenario's (bijv. een reisplanning).

5. Betekenis en Conclusie

Dit onderzoek onthult een kritiek zwak punt in de privacy van moderne task bots: zelfs als de invoer (de chatgeschiedenis) niet wordt onthouden, kan de bot de samenvatting van die chat (de dialogue state) reproduceren als deze in de trainingsdata voorkomt.

• Risico: De huidige architectuur van TODS is kwetsbaar voor data-extractie, wat leidt tot het lekken van persoonlijke agenda's, contactgegevens en voorkeuren.
• Mitigatie: De auteurs stellen twee verdedigingsstrategieën voor:
  1. Dialogue-Level Modeling: Trainen op volledige dialogen in plaats van per turn om herhaling van dialogue states te verminderen.
  2. Value Copy Mechanism: De bot zou slot-waarden direct moeten kopiëren uit de dialoggeschiedenis in plaats van ze te genereren, waardoor het risico op het reproduceren van memoriseerde waarden zonder context wordt verwijderd.

De studie concludeert dat er dringende behoefte is aan nieuwe privacy-bewuste ontwerpen voor LLM-based task bots om te voorkomen dat deze systemen onbedoeld fungeren als bronnen voor data-extractie.