Extracting Training Dialogue Data from Large Language Model based Task Bots

Diese Arbeit untersucht die Privatsphärenrisiken von LLM-basierten Task-Bots, indem sie zeigt, dass diese Trainingsdaten memorieren können, und entwickelt neue Angriffstechniken, um tausende Dialogzustände mit hoher Präzision zu extrahieren, woraus sich gezielte Minderungsstrategien ableiten lassen.

Das Wesentliche

Das große Geheimnis des digitalen Kellners

Stell dir vor, du hast einen hochintelligenten, digitalen Kellner (einen sogenannten "Task-Bot"), der dir hilft, Restaurants zu finden oder Zugtickets zu buchen. Dieser Kellner wurde von einem riesigen Gehirn (einem "Large Language Model" oder LLM) trainiert, das Millionen von Gesprächen gelesen hat.

Die Forscher aus diesem Papier haben eine beunruhigende Entdeckung gemacht: Dieser digitale Kellner hat nicht nur gelernt, wie man bedient, sondern er hat sich auch die privaten Details seiner früheren Gäste gemerkt – und ist bereit, sie auszusprechen, wenn man ihn richtig fragt.

Hier ist die Geschichte, wie sie das herausgefunden haben:

1. Das Problem: Der Kellner mit dem super-Gedächtnis

Normalerweise denken wir, dass KI nur lernt, wie man Dinge macht. Aber dieser Kellner hat sich die Inhalte gemerkt.

• Die Gefahr: Wenn du in einem echten Gespräch sagst: "Ich möchte ein spanisches Restaurant für 3 Personen um 19 Uhr buchen, meine Nummer ist 12345", merkt sich der Kellner nicht nur den Satz, sondern die ganze "Akte" (den sogenannten Dialogue State): Restaurant, spanisch, 3 Personen, 19 Uhr, 12345.
• Das Risiko: Ein Hacker muss nicht das ganze Gespräch hören. Er kann den Kellner einfach fragen: "Was ist die Akte für ein spanisches Restaurant?" und der Kellner könnte antworten: "Ah, ja, das war Casa Mono, 3 Personen, 19 Uhr, Nummer 12345." Plötzlich ist deine private Telefonnummer öffentlich, obwohl du sie nur einmal gesagt hast.

2. Der Versuch: Warum die alten Methoden versagten

Die Forscher haben zuerst versucht, alte Tricks anzuwenden, die man bei anderen KI-Modellen nutzt (wie das "Ziehen an einem Faden", um einen Text zu Ende zu sprechen).

• Der Vergleich: Stell dir vor, du versuchst, ein Puzzle zu lösen, aber du hast nur die Ecken. Die alten Methoden haben versucht, das ganze Bild zu erraten, aber der Kellner war verwirrt und hat nur Unsinn oder sehr generische Antworten gegeben (wie "Hallo, wie kann ich helfen?").
• Das Problem: Diese Kellner sind darauf trainiert, Strukturen zu füllen, nicht ganze Sätze zu wiederholen. Ohne den Kontext (das vorherige Gespräch) wissen sie nicht, was sie sagen sollen.

3. Die Lösung: Der "Schlüssel zum Schloss" (Schema-Guided Sampling)

Die Forscher haben eine neue Methode entwickelt, die wie ein Schlüssel funktioniert, der genau in das Schloss passt.

• Wie es funktioniert: Statt den Kellner blind zu fragen, geben sie ihm einen winzigen Hinweis (z. B. "Ich suche ein spanisches Restaurant..."). Dann nutzen sie eine Art "Regelbuch" (das Schema), das dem Kellner sagt: "Du darfst nur spanische Restaurants nennen, keine Pizza!"
• Der Effekt: Durch diese Einschränkung kann der Kellner nicht mehr schwadronieren. Er muss sich an das erinnern, was er gelernt hat. Und plötzlich spuckt er hunderte von echten, privaten Daten aus, die in seinem Gedächtnis gespeichert sind.

4. Der Filter: Der "Lügen-Detektor" (Debiased Membership Inference)

Der Kellner spuckt jetzt viel aus, aber ist es wirklich aus dem Gedächtnis oder nur ein Zufall?

• Das Problem: Der Kellner liebt es, Dinge zu wiederholen, die er oft gehört hat (wie "Hallo" oder "Danke"). Das sind keine echten Geheimnisse, aber die alten Methoden dachten, das seien die Geheimnisse.
• Die neue Methode: Die Forscher haben einen neuen "Lügen-Detektor" gebaut. Dieser prüft nicht nur, wie gut der Satz klingt, sondern ob der Kellner wirklich den spezifischen Zusammenhang (z. B. "Spanisch" + "19 Uhr" + "Nummer 12345") auswendig gelernt hat.
• Das Ergebnis: Mit diesem Detektor konnten sie die echten Geheimnisse mit einer Trefferquote von über 70% (bei ganzen Szenarien) und sogar 100% (bei einzelnen Werten wie Telefonnummern) finden.

5. Was bedeutet das für uns? (Die Lehre)

Die Studie zeigt zwei Dinge:

1. Privatsphäre ist gefährdeter als gedacht: Selbst wenn wir denken, wir sprechen nur mit einer KI, speichert diese KI unsere Daten so fest, dass sie sie wiederherstellen kann.
2. Die Lösung: Wir müssen die Kellner anders trainieren.
   • Weniger Wiederholung: Nicht jedes Gesprächsteilchen soll in jedem neuen Satz wiederholt werden.
   • Kopieren statt Erfinden: Wenn der Kellner eine Nummer braucht, soll er sie einfach aus dem aktuellen Gespräch "kopieren" und nicht aus seinem Gedächtnis "erfinden". Wenn er nichts zu kopieren hat, soll er schweigen, statt eine alte Nummer zu nennen.

Zusammenfassung in einem Satz:
Die Forscher haben bewiesen, dass unsere digitalen Assistenten wie ein vergesslicher, aber extrem detailverliebter Kellner sind, der sich die privaten Adressen und Telefonnummern aller Gäste merkt – und sie mit der richtigen Frage wieder herausgibt, es sei denn, wir ändern die Art, wie wir ihn trainieren.

Technische Zusammenfassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) in Task-Oriented Dialogue Systems (TODS, auch Task-Bots) hat die Leistungsfähigkeit dieser Systeme erheblich verbessert. Allerdings birgt dies erhebliche Datenschutzrisiken. LLMs neigen dazu, Trainingsdaten zu memorieren und können diese unbeabsichtigt wiederherstellen.

Bisherige Forschung konzentrierte sich auf die Extraktion von Textfragmenten aus offenen Dialogen oder Pre-Training-Daten. Das vorliegende Paper identifiziert jedoch eine kritische Lücke: Die Extraktion von strukturierten Dialogzuständen (Dialogue States) aus fine-tuned Task-Bots.

• Das spezifische Risiko: Im Gegensatz zu offenen Chatbots, die Benutzereingaben reproduzieren, sind TODS darauf trainiert, strukturierte Zustände (z. B. Restaurant{food=Spanish, phone=12345}) basierend auf dem Dialogverlauf vorherzusagen.
• Die Bedrohung: Ein Angreifer könnte über eine API Zugriff auf den Bot erhalten und durch gezielte Abfragen (Prompts) diese strukturierten Zustände extrahieren, die sensible Informationen wie Telefonnummern, Reiserouten oder persönliche Präferenzen enthalten.
• Herausforderung: Die Extraktion ist schwierig, da TODS keine Benutzereingaben direkt speichern, sondern nur die konditionierten Zustände generieren. Zudem führt die „One-to-Many"-Natur von Dialogen (ein Kontext kann mehrere korrekte Antworten haben) zu Verzerrungen bei herkömmlichen Angriffsmethoden.

2. Methodik

Die Autoren schlagen einen systematischen Ansatz vor, der aus zwei Hauptphasen besteht: Suffix-Decoding (Generierung von Kandidaten) und Membership Inference (Bewertung, ob ein Kandidat aus den Trainingsdaten stammt).

A. Angriffsmodelle

• Ungezielte Extraktion (Untargeted): Der Angreifer gibt nur einen Start-String (z. B. „Belief State:") ein, ohne Kontext, um den Bot zu zwingen, beliebige Zustände zu generieren.
• Gezielte Extraktion (Targeted): Der Angreifer gibt einen Teil eines Dialogzustands als Prefix ein (z. B. Restaurant(name=pizza hut,) und versucht, den Rest (Suffix) zu extrahieren.

B. Novelty in der Methodik

Um die Grenzen bestehender Methoden zu überwinden, wurden zwei neue Techniken entwickelt:

1. Schema-Guided Sampling (Schema-gesteuerte Stichprobenziehung):

   • Problem: Herkömmliche Sampling-Methoden (wie Temperature Sampling) erzeugen oft ungültige oder inkonsistente Zustände, die nicht dem Dienstspektrum des Bots entsprechen.
   • Lösung: Die Autoren nutzen ein „Model-against-Model"-Verfahren, bei dem ChatGPT als simulierter Benutzer agiert, um das Schema (Domains und Slots) des Ziel-Bots zu erkunden. Dieses Schema wird dann verwendet, um die Vokabular-Auswahl während der Generierung einzuschränken (Hard-Constrained Sampling). Dies stellt sicher, dass nur gültige, domainspezifische Werte generiert werden.

2. Debiased Conditional Perplexity (DC-PPL):

   • Problem: Herkömmliche Metriken wie Perplexity (PPL) bevorzugen generische, häufige Dialogfragmente (z. B. Begrüßungen) und führen zu vielen False Positives. Zudem ignorieren sie die konditionale Natur von TODS.
   • Lösung:
     • Conditional PPL (C-PPL): Berechnet die Wahrscheinlichkeit nur für den Suffix-Teil des Zustands, gegeben den Prefix.
     • Debiased C-PPL (DC-PPL): Skaliert die C-PPL mit der Perplexity des Suffixes allein, um Verzerrungen gegenüber häufigen Mustern zu korrigieren. Dies verbessert die Unterscheidung zwischen memorisierten und generierten Daten.

3. Wichtige Beiträge

• Erste systematische Untersuchung: Dies ist die erste Arbeit, die sich speziell mit dem Problem der Trainingsdatenausspähung in LLM-basierten Task-Bots befasst, wobei der Fokus auf strukturierten Glaubenszuständen (Belief States) liegt und nicht auf rohem Text.
• Threat-Modellierung: Definition eines realistischen Black-Box-Szenarios, bei dem der Angreifer nur Zugriff auf die API hat, aber keine internen Gewichte oder den vollständigen Trainingsverlauf kennt.
• Methodische Anpassungen: Entwicklung von Schema-Guided Sampling und DC-PPL, die spezifisch auf die strukturellen und statistischen Eigenschaften von TODS zugeschnitten sind.
• Analyse der Memorierungsfaktoren: Identifikation, dass Wiederholungen von Substrings in den Trainingsdaten die Memorierung verstärken, während die One-to-Many-Natur von Dialogen sie abschwächt.

4. Ergebnisse

Die Experimente wurden auf dem MultiWOZ-Datensatz (ein Standard-Datensatz für dialogorientierte Systeme) mit einem fine-tuned Llama2 (7B) Modell durchgeführt.

• Effektivität der Extraktion:
  • Die vorgeschlagene Methode kann Tausende von Trainings-Dialogzuständen extrahieren.
  • Gezielte Extraktion: Erreicht eine Präzision von über 70 % für ereignisbasierte Zustände und sogar 100 % für einzelne Werte (z. B. Telefonnummern) im besten Fall.
  • Ungezielte Extraktion: Zeigt ein moderates Risiko, wobei einzelne Werte eine Präzision von bis zu 67 % erreichen, während vollständige Zustände nur bei ca. 26 % liegen.
• Verbesserung durch neue Metriken: DC-PPL übertrifft herkömmliche Methoden (PPL, PPL-zlib) signifikant, insbesondere bei der Unterscheidung von echten Trainingsdaten in gezielten Angriffen.
• Einflussfaktoren:
  • Längere Prefixes führen zunächst zu einer geringeren Präzision, da die Anzahl der Wiederholungen im Trainingsdatensatz mit zunehmender Länge abnimmt (weniger Kontext = weniger Memorierung).
  • Die „One-to-Many"-Natur führt dazu, dass Werte oft nicht eindeutig dem Kontext zugeordnet werden können, was die Extraktion erschwert, aber dennoch möglich macht.

5. Bedeutung und Implikationen

• Datenschutzrisiko: Die Studie zeigt, dass Task-Bots nicht nur generische Antworten geben, sondern detaillierte, strukturierte Informationen über Benutzerpräferenzen und private Ereignisse (z. B. komplette Reiserouten) aus ihren Trainingsdaten „lecken" können. Dies stellt eine signifikante Bedrohung für die Privatsphäre dar, da diese Daten oft PII (Personally Identifiable Information) enthalten.
• Verteidigungsstrategien: Die Autoren schlagen zwei Gegenmaßnahmen vor:
  1. Dialog-Level-Modellierung: Training auf ganzen Dialogen statt auf einzelnen Turns, um die Wiederholung von Zuständen zu reduzieren.
  2. Value-Copy-Mechanismus: Statt Werte neu zu generieren, sollten diese direkt aus dem Dialogverlauf kopiert werden. Dies verhindert die Reproduktion memorierter Werte, wenn der Kontext fehlt.
• Fazit: Die Arbeit warnt davor, dass die Integration von LLMs in kritische Anwendungen wie Buchungsassistenten neue Angriffsvektoren für Datenschutzverletzungen eröffnet, die durch herkömmliche Sicherheitsmaßnahmen nicht abgedeckt sind. Sie liefert gleichzeitig Werkzeuge und Metriken, um diese Risiken zu quantifizieren und zu mindern.