💬 NLP

Towards the Anonymization of the Language Modeling

Dieser Artikel schlägt datenschutzfreundliche Maskierungs- und kausale Sprachmodellierungsmethoden vor, um BERT-ähnliche und GPT-ähnliche Modelle auf sensible Daten zu spezialisieren, wodurch das Auswendiglernen direkter und indirekter Identifikatoren wirksam verhindert wird, während gleichzeitig eine hohe Nutzbarkeit für die Weitergabe erhalten bleibt.

Ursprüngliche Autoren: Antoine Boutet, Lucas Magnana, Juliette Sénéchal

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Antoine Boutet, Lucas Magnana, Juliette Sénéchal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Papagei" im Krankenhaus

Stellen Sie sich einen sehr klugen Papagei (ein KI-Sprachmodell) vor, der auf Tausenden von Patientenakten trainiert wurde. Dieser Papagei ist unglaublich hilfreich; er kann Berichte zusammenfassen, Krankheiten vorhersagen und medizinische Fragen beantworten.

Allerdings gibt es eine beängstigende Nebenwirkung: Der Papagei hat ein schreckliches Gedächtnis. Da er die Akten so genau studiert hat, lernt er nicht nur, wie man medizinisch spricht; er merkt sich spezifische Details über bestimmte Personen. Wenn Sie ihn eine Frage stellen, könnte er versehentlich herausplatzen: „Oh ja, dieser Patient, John Smith, der in der Maple Street 123 wohnt, hat eine seltene Erkrankung."

Das ist eine Privatsphären-Katastrophe. Krankenhäuser möchten diese klugen Papageien mit anderen Forschern teilen, um allen zu helfen, aber sie können das nicht tun, wenn der Papagei private Geheimnisse verrät.

Der alte Weg: Der „Rote Stift" (Pseudonymisierung)

Traditionell würden Menschen vor dem Training eines Papageien einen roten Stift nehmen und offensichtliche Namen, Adressen und Telefonnummern in den Patientenakten durchstreichen. Dies nennt man Pseudonymisierung.

Das Papier argumentiert, dass dies nicht ausreicht. Hier ist der Grund:

Direkte Identifikatoren: Das Durchstreichen von „John Smith" funktioniert.
Indirekte Identifikatoren: Aber was ist, wenn ein Patient die einzige Person im gesamten Datensatz ist, die eine spezifische seltene Kombination von Symptomen aufweist, wie zum Beispiel „linkshändig, allergisch gegen Erdnüsse und hat eine Narbe am linken Knie"? Selbst wenn Sie den Namen durchstreichen, lernt der Papagei, dass diese spezifische Kombination zu einer bestimmten Person gehört. Wenn der Papagei diese Kombination später wiederholt, enthüllt er, wer der Patient ist.

Die alte „rote Stift"-Methode verpasst diese versteckten Hinweise.

Die neue Lösung: Der „Streng Bibliothekar" (PPmlm-bert)

Die Autoren schlagen eine neue Methode namens Privacy-Preserving Masked Language Modeling (PPmlm-bert) vor. Stellen Sie sich dies als einen strengen Bibliothekar vor, der den Trainingsprozess verwaltet.

So arbeitet der Bibliothekar:

Die Gästeliste (Vorverarbeitung): Bevor der Papagei mit dem Lernen beginnt, erstellt der Bibliothekar eine „Schwarze Liste".
- Zuerst verwenden sie ein Standardtool, um offensichtliche Namen und Zahlen zu finden (Direkte Identifikatoren).
- Dann tun sie etwas Cleveres: Sie schauen sich die gesamte Bibliothek der Akten an und fragen: „Wer ist die einzige Person, die dieses spezifische Wort verwendet hat?" Wenn ein Wort (oder eine Phrase) nur in der Akte einer Person vorkommt, landet es auf der Schwarzen Liste. Dies sind die Indirekten Identifikatoren.
Das Spiel „Lückentext" (Masked Language Modeling):
- Um den Papagei zu unterrichten, spielt der Bibliothekar ein Spiel. Er nimmt einen Satz, verdeckt ein Wort mit einer Maske (wie [MASK]) und fordert den Papagei auf, zu erraten, welches Wort dort stand.
- Die Wendung: Der Bibliothekar lässt den Papagei niemals ein Wort erraten, das auf der Schwarzen Liste steht.
- Beispiel: Wenn der Satz „John Smith ging ins Krankenhaus" lautet und „John Smith" auf der Schwarzen Liste steht, wird der Bibliothekar den Papagei nicht bitten, „John" zu erraten. Stattdessen könnten sie ein häufiges Wort wie „ging" oder „Krankenhaus" verdecken.
- Kritische Details: Der Papagei kann die auf der Schwarzen Liste stehenden Wörter im Satz immer noch sehen, um ihm beim Erraten der anderen Wörter zu helfen, aber er wird niemals darauf geprüft, sie sich zu merken. Es ist so, als würde man dem Papagei ein Bild einer berühmten Person zeigen, aber niemals fragen: „Wer ist das?", damit er niemals lernt, den Namen zu sagen.
Das Ergebnis: Der Papagei lernt die medizinische Sprache perfekt gut (hohe Nützlichkeit), merkt sich aber niemals die spezifischen Geheimnisse, die einen einzelnen Patienten identifizieren würden (hoher Datenschutz).

Die „K-Anonymität"-Regel

Das Papier verwendet ein Konzept namens k-Anonymität (insbesondere mit $k=2$ ).

Stellen Sie sich eine Party vor. Wenn Sie die einzige Person mit einem roten Hut sind, weiß jeder, wer Sie sind.
Wenn Sie und eine andere Person rote Hüte tragen, sind Sie voneinander nicht unterscheidbar.
Die Methode der Autoren stellt sicher, dass der Papagei nur Wörter lernt, die mindestens zwei verschiedene Personen verwendet haben. Wenn ein Wort nur von einer Person verwendet wurde, ist es dem Papagei verboten, zu lernen, es vorherzusagen.

Hat es funktioniert? (Die Ergebnisse)

Die Autoren testeten dies an medizinischen Berichten und juristischen Texten unter Verwendung verschiedener KI-Modelle (wie BERT und RoBERTa).

Datenschutz: Sie versuchten, die Modelle zu täuschen, damit sie Patientennamen oder einzigartige Details verraten. Die neue Methode (PPmlm-bert) war unglaublich gut darin, Geheimnisse zu bewahren. Sie verhinderte, dass sich die Modelle sowohl offensichtliche Namen als auch diese kniffligen, einzigartigen Wortkombinationen merkten.
Nützlichkeit: Sie überprüften auch, ob die Modelle immer noch klug genug waren, um medizinische Aufgaben zu erledigen (wie zum Beispiel vorherzusagen, ob ein Patient raucht oder fettleibig ist). Überraschenderweise schnitt die neue Methode genauso gut ab wie die alten, riskanten Methoden.
Vergleich:
- Alte Methode (Roter Stift): Verrät Geheimnisse.
- Differential Privacy (Hinzufügen von Rauschen): Bewahrt Geheimnisse gut, macht den Papagei aber sehr dumm (geringe Nützlichkeit).
- Neue Methode (Strenger Bibliothekar): Bewahrt Geheimnisse und hält den Papagei klug.

Das Fazit

Dieses Papier bietet einen praktischen Weg, KI auf sensiblen Daten (wie Patientenakten) zu trainieren, ohne dass die KI zu einem „undichten Eimer" privater Informationen wird. Indem sichergestellt wird, dass die KI niemals das Vorhersagen einzigartiger, einmaliger Details übt, können Krankenhäuser ihre KI-Modelle mit der Welt teilen, ohne die Privatsphäre der Patienten zu verletzen oder gegen das Gesetz (DSGVO) zu verstoßen.

Kurz gesagt: Sie lehrten die KI, die Sprache der Medizin zu lernen, ohne sich die Geschichten der Patienten zu merken.

Technische Zusammenfassung: Auf dem Weg zur Anonymisierung des Sprachmodells

Problemstellung
Der rasche Fortschritt im Bereich der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), insbesondere im Gesundheitswesen, hat eine Nachfrage nach dem Austausch spezialisierter Large Language Models (LLMs) geschaffen. Allerdings bestehen bei vortrainierten Modellen, die auf sensiblen Daten feinabgestimmt wurden, erhebliche Datenschutzrisiken. Diese Modelle können persönliche Informationen „auswendig lernen" und diese anschließend „wiederkäuen" oder durchsickern lassen, einschließlich sowohl direkter Identifikatoren (z. B. Namen, Daten) als auch indirekter Identifikatoren (z. B. eindeutige Kombinationen medizinischer Begriffe oder kontextspezifischer Phrasen). Aktuelle Minderungsstrategien, wie die Pseudonymisierung mittels Named Entity Recognition (NER), sind unzureichend, da sie indirekte Identifikatoren nicht erfassen. Darüber hinaus führen Techniken wie Differential Privacy (DP) häufig zu einer signifikanten Verschlechterung der Modellnützlichkeit. Der Europäische Datenschutzrat (EDPB) hat klargestellt, dass von Modellen, die auf personenbezogenen Daten trainiert wurden, nicht davon ausgegangen werden kann, dass sie anonym sind, es sei denn, die Wahrscheinlichkeit des Wiederkäuens personenbezogener Informationen ist unbedeutend – ein Standard, der von aktuellen Feinabstimmungspraktiken oft nicht erfüllt wird.

Methodik: Privatsphäreschützende Masked Language Modeling (PPmlm-bert)
Die Autoren schlagen einen „Privacy-by-Design"-Ansatz vor, der eine spezialisierte Masked Language Modeling (MLM)-Methodik verwendet, um das Auswendiglernen identifizierender Informationen während der Feinabstimmung von BERT-ähnlichen Modellen zu verhindern. Der Kernmechanismus umfasst einen Vorverarbeitungsschritt zur Generierung einer „Blacklist" sensibler Begriffe, gefolgt von einer eingeschränkten Maskierungsstrategie während des Trainings.

Identifikation von Identifikatoren:
- Direkte Identifikatoren: Werden mithilfe von handelsüblichen NER-Modellen (z. B. EDS-Pseudo) zur Erkennung standardmäßiger Persönlichkeitsbezogener Informationen (PII) identifiziert.
- Indirekte Identifikatoren: Werden durch die Konstruktion eines bipartiten Graphen erkannt, der Individuen (Benutzer) mit den Wörtern in ihren Dokumenten verknüpft. Wörter (oder N-Gramme), die nur mit einem einzigen Individuum verknüpft sind, werden als indirekte Identifikatoren markiert. Dieser Ansatz wird durch den Parameter $k$ parametrisiert, wobei das System so konfiguriert werden kann, dass es Wörter markiert, die von weniger als $k$ Individuen verwendet werden (Standardwert $k=2$ , um Unterscheidbarkeit zu gewährleisten).
- Blacklist-Erstellung: Sowohl direkte als auch indirekte Identifikatoren werden in einer Blacklist zusammengefasst.
Eingeschränkte Maskierungsstrategie:
- Während der Feinabstimmungsphase wird der Standardprozess des zufälligen Maskierens (bei dem 15 % der Tokens maskiert werden) modifiziert.
- Dem Modell wird untersagt, Wörter, die in der Blacklist enthalten sind, als Ziel der Vorhersage (den maskierten Token) auszuwählen.
- Wörter in der Blacklist können jedoch weiterhin im Kontext (den unmaskierten Tokens, die die Maske umgeben) erscheinen, um die Vorhersage anderer Wörter zu unterstützen. Dies bewahrt die Nützlichkeit des Kontexts, ohne das Modell zu zwingen, die sensiblen Begriffe selbst vorherzusagen.

Hauptbeiträge

Über NER hinaus: Die Arbeit hinterfragt die Annahme, dass das Entfernen direkter Identifikatoren mittels NER für den Datenschutz ausreichend ist. Sie zeigt auf, dass indirekte Identifikatoren ein erhebliches Risiko des Datenlecks darstellen, und schlägt eine Methode vor, um diese zu erkennen und sich gegen sie zu schützen.
PPmlm-bert-Framework: Ein neuartiges Feinabstimmungsschema, das die Erkennung von Identifikatoren mit dem Maskierungsprozess integriert, um das Auswendiglernen zu verhindern und gleichzeitig die Kontextvielfalt zu erhalten.
Umfassende Evaluation: Der Ansatz wird an medizinischen Datensätzen (N2c2 klinische Entlassungsberichte) und juristischen Texten evaluiert und die Leistung mit Standard-Feinabstimmung, pseudonymisierter Feinabstimmung und Differential-Privacy (DP)-Benchmarks verglichen.

Ergebnisse
Die Evaluation nutzte Modelle einschließlich BERT Base, RoBERTa Large und DistilRoBERTa.

Abwägung zwischen Privatsphäre und Nützlichkeit:
- Standard-Feinabstimmung (mlm-bert): Zeigte eine signifikante Verschlechterung der Privatsphäre über die Epochen hinweg, wobei das Modell lernte, Identifikatoren vorherzusagen (der Privatsphäre-Score sank für RoBERTa Large von 0,97 auf 0,92).
- Pseudonymisierte Feinabstimmung (mlmA-bert): Verbesserte die Privatsphäre leicht durch das Entfernen direkter Identifikatoren, konnte jedoch das Auswendiglernen indirekter Identifikatoren nicht verhindern. Zudem wurde die Nützlichkeit (F1-Score) reduziert, da der Kontext ohne direkte Identifikatoren auskam.
- Differential Privacy (DP-bert): Erzielte eine hohe Privatsphäre (~0,98), reduzierte jedoch die Nützlichkeit drastisch (F1-Scores sanken auf ~0,20–0,50).
- PPmlm-bert: Erzielte den besten Kompromiss. Die Privatsphäre blieb stabil bei etwa 0,99 (was auf ein nahezu fehlendes Auswendiglernen von Identifikatoren hindeutet), während gleichzeitig eine hohe Nützlichkeit erhalten blieb, die mit der Standard-Feinabstimmung vergleichbar ist.
Downstream-Aufgaben: Bei Klassifizierungsaufgaben (Vorhersage von Fettleibigkeitskomorbiditäten und Rauchstatus) erreichte PPmlm-bert F1-Scores, die mit denen der Standard- und pseudonymisierten Benchmarks identisch waren, was beweist, dass die Verhinderung des Auswendiglernens von Identifikatoren die Aufgabenleistung nicht verschlechtert.
Mitgliedschafts-Inferenz-Angriffe (MIA): PPmlm-bert zeigte eine starke Resistenz gegen MIAs. Bei einer False-Positive-Rate von 1 % sank die True-Positive-Rate für die Mitgliedschaftsinferenz bei PPmlm-bert auf ~2 %, verglichen mit ~31 % bei Standardmodellen und ~26 % bei pseudonymisierten Modellen.
Wiederkäu-Analyse: Die am häufigsten wiedergekäuten Identifikatoren in ungeschützten Modellen waren diejenigen, die in den Trainingsdaten am häufigsten wiederholt wurden. PPmlm-bert reduzierte die Häufigkeit solcher Wiederkäuer drastisch.

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als einen praktischen Schritt zur Ausrichtung der Feinabstimmung von LLMs an die DSGVO und die Stellungnahme 28/2024 des EDPB. Sie behaupten, dass ihre Methodik den sicheren Austausch von Modellen ermöglicht, indem sichergestellt wird, dass die „Wahrscheinlichkeit des Wiederkäuens personenbezogener Informationen unbedeutend ist".

Die Arbeit räumt bescheiden mit Einschränkungen ein:

Die Lösung verlässt sich für direkte Identifikatoren auf NER, was bedeutet, dass falsch geschriebene oder fremdsprachige Wörter von NER übersehen werden könnten, aber vom Ansatz des bipartiten Graphen als indirekte Identifikatoren erfasst werden.
Die Studie basiert auf einem relativ kleinen Datensatz; eine Validierung an größeren Datensätzen wird als zukünftige Arbeit genannt.
Das Bedrohungsmodell geht davon aus, dass der Prüfer (Systemdesigner) die Trainingsdaten kennt; es adressiert keine Szenarien, in denen ein Angreifer über ein Teilwissen der Trainingspopulation verfügt.
Der Ansatz bietet eine verhaltensbasierte Ausrichtung an Datenschutznormen statt formaler mathematischer Garantien (im Gegensatz zu DP).

Letztendlich argumentiert die Arbeit, dass die Verhinderung des Auswendiglernens sowohl direkter als auch indirekter Identifikatoren mittels eingeschränkter MLM eine praktikable, kostengünstige Alternative zu DP darstellt, die die Modellnützlichkeit erhält und gleichzeitig die Risiken des Datenlecks erheblich reduziert.