💬 NLP

Unintended Memorization of Sensitive Information in Fine-Tuned Language Models

Diese Arbeit untersucht systematisch die unbeabsichtigte Speicherung sensibler personenbezogener Daten (PII) aus Modell-Inputs in feinabgestimmten Large Language Models und bewertet die Privacy-Utility-Trade-offs von vier Minderungsstrategien, wobei sie aufzeigt, dass Post-Training-Methoden im Allgemeinen einen konsistenteren Schutz bieten als Differential Privacy, trotz dessen starker Reduktion von Leckagen in spezifischen Szenarien.

Ursprüngliche Autoren: Marton Szep, Jorge Marin Ruiz, Georgios Kaissis, Paulina Seidl, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer, Daniel Rueckert

Veröffentlicht 2026-01-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marton Szep, Jorge Marin Ruiz, Georgios Kaissis, Paulina Seidl, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer, Daniel Rueckert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „übermäßig aufmerksame Schüler“

Stellen Sie sich vor, Sie stellen einen sehr klugen Schüler (ein Large Language Model) ein, um einen speziellen Job zu lernen, wie zum Beispiel das Schreiben medizinischer Zusammenfassungen. Sie geben ihm einen Stapel Patientenakten zum Studium.

Das Problem ist nicht, dass der Schüler schlecht im Job ist; er ist zu gut im Erinnern. Obwohl Sie ihn nur gebeten haben, die Diagnose und den Behandlungsplan zu lernen, hat er auch den Namen des Patienten, das genaue Datum seiner Operation und seine Adresse auswendig gelernt.

Diese Arbeit untersucht eine spezifische, heimtückische Gefahr: Was passiert, wenn der Schüler Informationen auswendig lernt, die gar nicht Teil der Antwort sein sollten?

In diesem Szenario erscheint der Name des Patienten (PII – personenbezogene Daten) in der Frage (dem Input), aber die Antwort (der Output) soll nur aus den medizinischen Fakten bestehen. Die Arbeit stellt die Frage: Wenn jemand den Schüler dazu austrickst, die Frage wieder zu ihm selbst zu rezitieren, wird der Schüler dann versehentlich den geheimen Namen verraten?

Das Experiment: Der „True-Prefix“-Trick

Um dies zu testen, verwendeten die Forscher einen Trick namens „True-Prefix Attack“.

Denken Sie an es wie ein Spiel wie „Vervollständige den Satz“.

Das Setup: Die Forscher nehmen eine echte Patientenakte.
Der Trick: Sie schneiden die Datei genau vor dem Namen des Patienten ab.
Der Test: Sie fragen die KI: „Hier ist der bisherige Teil der Geschichte: [Patientengeschichte]... Was kommt als Nächstes?“

Wenn die KI „auswendig gelernt“ hat, wird sie den Namen des Patienten selbstbewusst nennen, obwohl der Name nicht Teil der Aufgabe war, für die sie trainiert wurde. Die Forscher fanden heraus, dass feinabgestimmte Modelle (fine-tuned models) wie Schüler sind, die das Lehrbuch Wort für Wort auswendig gelernt haben; wenn man ihnen die ersten paar Wörter gibt, können sie nicht anders, als den Rest zu rezitieren, einschließlich der Geheimnisse.

Was sie herausgefunden haben

1. Häufigkeit spielt keine Rolle (Die Überraschung durch den „seltenen Namen“)
Man könnte denken: „Wenn ein Name 100 Mal in den Trainingsdaten vorkommt, wird er auch 100 Mal auswendig gelernt.“

Die Realität: Die Arbeit fand heraus, dass dies nicht stimmt. Ein Name, der nur einmal vorkommt, kann genauso wahrscheinlich verraten werden wie ein Name, der 50 Mal vorkommt. Es geht nicht darum, wie oft der Schüler den Namen gesehen hat, sondern wo er im Satz stand und wie der Schüler ihn mit der Geschichte verknüpfte.

2. Sprache spielt eine Rolle
Die Forscher testeten den Schüler in sieben verschiedenen Sprachen.

Die Realität: Der Schüler neigte viel eher dazu, Namen in Englisch und Spanisch versehentlich zu verraten als in Deutsch, Italienisch oder Schwedisch. Es ist, als hätte der Schüler eine „Lieblingssprache“ für das Auswendiglernen von Geheimnissen, selbst wenn er dasselbe Material studiert.

3. Größere Schüler = Größeres Gedächtnis
Sie testeten Schüler unterschiedlicher Größe (von klein bis riesig).

Die Realität: Größere Modelle (mit mehr „Gehirnleistung“) sind von Natur aus besser darin, Dinge zu sich zu merken, selbst ohne Training. Wenn man sie jedoch feinabstimmt (ihnen einen neuen Job beibringt), werden die kleineren Modelle manchmal besessener vom Auswendiglernen der Geheimnisse als die großen. Es ist etwas unvorhersehbar.

Die „Anti-Leak“-Heilmittel

Die Forscher probierten vier verschiedene Wege aus, um den Schüler am Verraten von Geheimnissen zu hindern. Denken Sie an diese als verschiedene Lehrmethoden:

Differential Privacy (Das „Rauschen im Radio“):
- Wie es funktioniert: Sie fügen den Trainingsdaten zufälliges Rauschen hinzu, wie das Rauschen bei einem Radio, damit der Schüler die Details nicht klar hören kann.
- Ergebnis: Es funktioniert sehr gut beim Verbergen der Geheimnisse (manchmal Reduzierung der Leaks um 60 %), aber es macht den Schüler etwas „vernebelt“ und weniger gut in seinem eigentlichen Job. Zudem ist es schwer abzustimmen; zu viel Rauschen, und der Schüler kann gar nichts mehr lernen.
Machine Unlearning (Der „Vergessen-Knopf“):
- Wie es funktioniert: Sie sagen dem Schüler explizit: „Du musst diese spezifischen Namen vergessen.“
- Ergebnis: Es ist passabel bei der Entfernung der Geheimnisse, aber es kann instabil sein. Manchmal vergisst der Schüler die Namen, vergisst aber auch, seinen Job richtig zu machen.
Regularization (Der „strenge Lehrer“):
- Wie es funktioniert: Sie bestrafen den Schüler jedes Mal, wenn er versucht, sich während des Trainings auf die geheimen Namen zu konzentrieren.
- Ergebnis: Es ist ein wenig wie ein Tauziehen. Der Schüler versucht, den Job zu machen, aber er versucht auch, die Namen zu behalten. Oft scheitert es daran, die Leaks vollständig zu stoppen.
Preference Alignment / DPO (Der „ethische Coach“):
- Wie es funktioniert: Sie zeigen dem Schüler Beispiele für gute Antworten (oh-ne Namen) und schlechte Antworten (mit Namen) und sagen: „Ich bevorzuge die Antwort ohne Namen.“
- Ergebnis: Dies war die konsistenteste Methode. Sie hielt den Schüler gut in seinem Job und reduzierte gleichzeitig die Wahrscheinlichkeit, dass er Geheimnisse verrät, besonders wenn der Schüler aufgefordert wurde, zu „improvisieren“ (Sampling) statt nur zu „rezitieren“ (Greedy Decoding).

Das Fazsergebnis

Die Arbeit kommt zu dem Schluss, dass das Feinabstimmen (Fine-tuning) von KI auf sensiblen Daten riskant ist. Selbst wenn Sie glauben, dass Sie der KI nur die medizinischen Fakten beibringen, lernt sie heimlich die Namen und Daten, die daran geknüpft sind.

Die gute Nachricht: Methoden wie „ethisches Coaching“ (DPO) und „Radio-Rauschen“ (Differential Privacy) können helfen, das Risiko zu verringern.
Die schlechte Nachricht: Keine dieser Methoden ist perfekt. Selbst die besten reduzieren das Risiko nur um etwa 40–60 %. Der Schüler erinnert sich immer noch an einige Geheimnisse.

Die Autoren warnen davor, dass wir sehr vorsichtig mit der Verwendung dieser KI-Modelle mit echten, privaten menschlichen Daten sein müssen, bis wir bessere Wege gefunden haben, um dieses „unbeabsichtigte Auswendiglernen“ zu stoppen.

Was sie NICHT behauptet haben

Sie haben nicht gesagt, dass dies für alle Arten von KI oder alle Größen von Modellen gilt (sie haben hauptsächlich Modelle bis zu 12 Milliarden Parametern getestet).
Sie haben nicht behauptet, dass synthetische (künstliche) Daten ein perfekter Ersatz für echte Daten sind, obwohl sie diese zur Überprüfung ihrer Theorien verwendet haben.
Sie haben keine neue medizinische Behandlung oder Methode zur Diagnose von Patienten vorgeschlagen; ihr Ziel war rein die Untersuchung der Privatsphäre der KI, nicht deren medizinische Genauigkeit.

Technisches Resümee: Unbeabsichtigte Memorierung sensibler Informationen in fein abgestimmten Sprachmodellen

Problemdefinition

Diese Arbeit befasst sich mit einer kritischen, unteruntersuchten Schwachstelle in Large Language Models (LLMs): der unbeabsichtigten Memorierung von personenbezogenen Daten (Personally Identifiable Information, PII), die ausschließlich in den Modell-Inputs, jedoch nicht in den Trainings-Targets erscheint.

Während die bisherige Forschung den Fokus auf die Memorierung während des Pre-Trainings oder bei Fine-Tuning-Aufgaben legte, bei denen PII Teil der gewünschten Ausgabe ist (z. B. Named Entity Recognition), isoliert diese Studie Szenarien, in denen sensible Daten (wie etwa Patientennamen in medizinischen Berichten) nur im Eingabe-Kontext präsent sind. In diesen „Input-only“-Szenarien erfordert die nachgelagerte Aufgabe (z. B. Diagnoseklassifizierung oder die Planung der Nachsorge) die Ausgabe der PII nicht. Dennoch demonstrieren die Autoren, dass das Fine-Tuning (FT) auf solchen sensiblen Datensätzen dazu führt, dass Modelle diese irrelevanten PII internalisieren und diese anschließend durch adversarielle Prompts preisgeben.

Das Bedrohungsmodell geht von einem Black-Box-Szenario aus, in dem Angreifer über API-Abfragen Zugriff auf das Modell haben und über Teilwissen über den Fine-Tuning-Datensatz (z. B. anonymisierte elektronische Patientenakten) verfügen, was es ihnen ermöglicht, „True-Prefix Attacks“ (TPA) zu konstruieren, um memorierte Token zu extrahieren.

Methodik

Experimenteller Aufbau

Die Autoren nutzen drei verschiedene Datensätze, um die Memorierung über unterschiedliche Komplexitätsgrade und Domänen hinweg zu evaluieren:

GretelAI-Financial: Ein synthetischer, mehrsprachiger Datensatz (~30k Samples, 7 Sprachen), der sich auf die Klassifizierung von Finanztexten konzentriert.
Pathologieberichte: 2.553 deutsche Dokumente, die Tumoranalysen zusammenfassen und manuell auf PII annotiert wurden.
Entlassungsberichte (Discharge Summaries, DS): 26.306 deutsche klinische Berichte, die für eine Aufgabe zur Generierung von Nachsorgeplänen verwendet werden, wobei PII über eine mehrstufige Pipeline (Regex, LLM-Detektion, manuelle Verifizierung) identifiziert wurde.

Der primäre Angriffsvektor ist der True-Prefix Attack (TPA), bei dem ein Angreifer ein Präfix aus den Trainingsdaten unmittelbar vor einer PII-Span bereitstellt. Das Modell gilt als hab die PII memoriert, wenn es die nachfolgenden Token mit hoher Wahrscheinlichkeit vorhersagt. Eine erweiterte TPA-Variante fügt das erste Zeichen der PII zum Präfix hinzu, um den Extraktionserfolg zu steigern.

Strategien zur Risikominderung (Mitigation)

Vier datenschutzorientierte Ansätze werden untersucht, um deren Fähigkeit zu bewerten, die PII-Exfiltration zu reduzieren und gleichzeitig die Aufgabenleistung aufrechtzuerhalten:

Differential Privacy (DP): Integriert $(\epsilon, \delta)$ -DP in das QLoRA-Fine-Tuning mittels Opacus, indem Rauschen in die Gradienten-Updates eingeführt wird, um den Einfluss einzelner Stichproben zu begrenzen.
Machine Unlearning (UnDial): Eine gezielte Unlearning-Methode basierend auf Selbst-Distillation. Sie unterdrückt die Logits für spezifische PII-Token in einer disjunkten Teilmenge der Trainingsdaten, um diese zu „vergessen“, ohne das Modell zu destabilisieren.
Regularisierung: Eine Variante von UnDial, die direkt in die Fine-Tuning-Schleife integriert ist und eine fokussierte Loss-Funktion nur auf PII-Token anwendet, um die Memorierung zu unterdrücken.
Direct Preference Optimization (DPO): Richtet die Ausgaben des Modells an Präferenz-Vorgaben für den Datenschutz aus, indem der Originaltext mit PII als „abgelehnte“ (rejected) Antwort und die maskierte Version als „bevorzugte“ (preferred) Antwort behandelt wird.

Evaluierungsmetriken

Aufgabenleistung (Task Performance): Accuracy (GretelAI), F1-Score (Pathology) und BERTScore-F1 (DS).
Memorierung: Gemessen über die Anzahl der PII-Extraktionen unter Greedy Decoding, Sampling (32 Durchläufe, Temperatur 1.0) und Cross-Memorization (Vergleich der Generierungen mit allen PII desselben Typs im Datensatz).

Kernergebnisse

Charakteristika der Input-only Memorierung

Erhöhte Konfidenz: Fein abgestimmte Modelle zeigen eine signifikant höhere Konfidenz (niedrigerer negativer Log-Likelihood) bei der Vorhersage von PII-Token im Vergleich zu Basismodellen, selbst wenn die PII irrelevant für die Aufgabe ist.
Frequenz ist ein schlechter Prädiktor: Entgegen der Annahme, dass hochfrequente Token wahrscheinlicher memoriert werden, stellt die Studie eine schwache Korrelation ( $R^2 = 0,237$ ) zwischen der tatsächlichen Anzahl einer PII-Instanz im Trainingsset und ihrer erfolgreichen Extraktion fest. Die Memorierung scheint stärker von Textkontext und Aufgabenrelevanz als von der reinen Häufigkeit abzuhängen.
Sprachabhängigkeit: Die Memorierungsraten variieren signifikant zwischen den Sprachen. In multilingualen Trainingssets wiesen Englisch und Spanisch deutlich höhere Extraktionsraten auf als Deutsch, Italienisch und Schwedisch.
Skalierungseffekte: Größere Modelle (z. B. 8B–12B Parameter) zeigen eine höhere Basiskapazität zur Offenlegung von PII. Der Effekt des Fine-Tunings auf die Memorierung ist jedoch nicht einheitlich: Während kleinere Modelle (1B–3B) einen starken Anstieg der Leakage nach dem FT zeigen, weisen größere Modelle manchmal einen geringeren relativen Anstieg der rohen Extraktionszahlen auf, obwohl das absolute Volumen der geleakten PII hoch bleibt.

Effektivität der Minderungsstrategien

Post-Training-Methoden (DPO, UnDial): Diese Methoden bieten im Allgemeinen die konsistentesten Trade-offs zwischen Datenschutz und Nutzen (Privacy-Utility Trade-off). Sie sind robust gegenüber Hyperparameter-Variationen und weniger ressourcenintensiv. Insbesondere DPO erreicht eine hohe Aufgaben-Genauigkeit bei gleichzeitiger signifikanter Reduktion der Leakage, besonders bei Sampling-basierten Angriffen.
Differential Privacy (DP): DP zeigt starkes Potenzial zur Reduktion der Leakage in spezifischen Settings (z. B. Reduktion der Cross-Memorization um über 60 % bei der DS-Aufgabe). Es leidet jedoch unter Trainingsinstabilität, erfordert eine sorgfältige Abstimmung der Hyperparameter und verschlechtert oft die Aufgabenleistung.
Hybride Ansätze: Die Kombination von DP mit DPO (DP- $\epsilon$ 6 + DPO) lieferte nicht das Beste aus beiden Welten. Während sie die Stärke von DP bei Greedy Decoding bewahrte, konnte sie nicht die Robustheit von DPO gegen Sampling-basierte Angriffe erben und führte zu einer etwas geringeren Aufgabenleistung als das reine DPO.
Skalierung und Datenschutz: Mit zunehmender Modellgröße nimmt die Effektivität von DP bei der Verhinderung von Memorierung im Vergleich zu Post-Training-Alignment-Methoden ab. DPO erweist sich als deutlich effektiver für größere Modelle (z. B. 8B), da es die Leakage erheblich reduziert und gleichzeitig eine nahezu optimale Leistung beibehält.

Bedeutung und Ansprüche

Die Arbeit beansprucht, die erste umfassende Studie zu sein, die sich spezifisch auf die unbeabsichtigte PII-Memorierung konzentriert, bei der sensible Daten nur in den Inputs erscheinen. Ihre Bedeutung liegt in:

Aufdeckung eines verborgenen Risikos: Sie demonstriert, dass das Fine-Tuning auf sensiblen Daten (wie medizinischen Akten) einen Vektor für die Preisgabe von PII schafft, selbst wenn die Ausgabemethode diese Daten nicht benötigt. Dies stellt die Annahme infrage, dass aufgabenirrelevante Daten sicher seien.
Empirische Benchmarking: Sie bietet einen systematischen Vergleich von vier großen Minderungsstrategien und hebt hervor, dass – obwohl keine Methode die Leakage vollständig eliminiert – Post-Training-Alignment (DPO) und Unlearning (UnDial) derzeit stabilere und effektivere Trade-offs bieten als Differential Privacy in vielen Szenarien.
Praktische Orientierung: Die Ergebnisse legen nahe, dass für den Einsatz fein abgestimmter LLMs in sensiblen Bereichen (z. B. Gesundheitswesen) das bloße Standard-Fine-Tuning nicht ausreicht. Datenschutztechniken müssen explizit integriert werden, wobei eine Präferenz für robuste Post-Training-Methoden oder sorgfältig abgestimmtes DP besteht, wobei der anhaltende Trade-off zwischen Nutzen und Datenschutz anerkannt werden muss.

Die Autoren kommen zu dem Schluss, dass trotz der Verbesserungen durch aktuelle Methoden noch erheblicher Handlungsbedarf besteht und das anhaltende Risiko der Memorierung robuste, skalierbare datenschutzorientierte Techniken erfordert, bevor Modelle in sensiblen Kontexten eingesetzt werden können.