The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

Die Studie kritisiert, dass die Bewertung von Angriffen auf PII-Entfernungstechniken durch Datenlecks und Kontamination verzerrt ist und stellt fest, dass eine vertrauenswürdige, reproduzierbare Forschung aufgrund der notwendigen Einschränkung des Zugangs zu privaten Daten derzeit nicht möglich ist.

Das Wesentliche

Titel: Warum das „Schwarze Marker"-Spiel mit KI nicht funktioniert – und warum wir es kaum testen können

Stellen Sie sich vor, Sie haben ein sehr persönliches Tagebuch geschrieben. Darin stehen Ihr Name, Ihre Adresse und Ihre Telefonnummer. Damit dieses Tagebuch öffentlich geteilt werden kann, ohne dass Sie identifiziert werden, nutzen Sie einen schwarzen Marker und streichen alle diese Informationen durch. Das ist im Prinzip, was Computer-Programme tun, wenn sie „PII" (personenbezogene Daten) aus Texten entfernen. Sie machen die Namen unsichtbar, damit die Daten für Forscher nutzbar bleiben, aber niemand weiß mehr, wer dahintersteckt.

Dieser Artikel von Sebastian Ochs und Ivan Habernal stellt jedoch eine sehr wichtige Frage: Ist das wirklich sicher? Und noch wichtiger: Können wir das überhaupt fair testen?

Hier ist die einfache Erklärung der wichtigsten Punkte, mit ein paar Bildern aus dem Alltag:

1. Das Problem: Der „Geister-Geist" in der Maschine

Die Autoren sagen: Viele Studien behaupten, dass KI-Modelle (wie ChatGPT) diese durchgestrichenen Namen wiederherstellen können. Das klingt schrecklich, aber die Autoren glauben, dass diese Tests oft gefälscht sind.

Stellen Sie sich vor, ein Detektiv (die KI) soll herausfinden, wer in einem durchgestrichenen Brief steht.

• Der echte Test: Der Detektiv darf nur den durchgestrichenen Brief lesen und muss raten.
• Der gefälschte Test (wie in vielen Studien): Der Detektiv hat den Brief bevor er durchgestrichen wurde schon einmal gelesen! Oder er hat den Namen des Autors schon in einer Zeitung gelesen, die er vorher gelesen hat.

Die Autoren zeigen, dass viele KI-Modelle die Namen nicht wirklich „erraten" haben, sondern sie einfach auswendig gelernt haben, weil sie in ihren Trainingsdaten (dem riesigen Internet, das sie gelernt haben) bereits vorgekommen sind. Es ist, als würde man jemanden bitten, ein Wort zu erraten, das er gerade erst in einem Buch gelesen hat, das er in der Hand hält. Das ist kein Beweis dafür, dass der schwarze Marker schlecht ist, sondern dass der Detektiv schon die Lösung kannte.

2. Das Dilemma: Wir können den Test nicht machen

Jetzt kommt der Teil, der die Forscher verzweifelt macht. Um wirklich zu beweisen, ob der schwarze Marker (die PII-Entfernung) funktioniert, bräuchten wir einen perfekten Test:

1. Wir brauchen echte, private Daten (z. B. echte Patientenakten oder echte Gerichtsbriefe), die niemand außer uns kennt.
2. Wir müssen diese Daten „schwärzen".
3. Wir müssen eine KI darauf trainieren, die Daten zu erraten.
4. Wichtig: Die KI darf diese Daten niemals vorher gesehen haben.

Das Problem:

• Echte private Daten sind streng geschützt. Niemand darf sie einfach so an Forscher weitergeben (Datenschutzgesetze wie die DSGVO).
• Öffentliche Daten (wie Wikipedia) sind schon überall im Internet. Die KI hat sie also schon gelernt. Ein Test damit ist wertlos, weil die KI „cheaten" kann.
• Künstliche Daten (von KI generiert) sehen zwar aus wie echte Daten, aber sie sind oft zu perfekt oder zu stereotyp. Ein KI-Detektor könnte hier leicht raten, aber das sagt nichts über echte Menschen aus.

Die Metapher:
Es ist, als wollten Sie testen, ob ein neuer Tresor sicher ist. Aber Sie dürfen den Tresor nicht mit echtem Gold füllen, weil das zu gefährlich ist. Sie füllen ihn also mit Schokolade. Aber dann sagen Sie: „Der Tresor hält die Schokolade!" – Das beweist nichts, wenn ein Dieb eigentlich Gold stehlen will. Und wenn Sie echtes Gold nehmen wollen, darf der Tresorbauer Sie nicht einmal in den Raum lassen, aus Angst, das Gold könnte gestohlen werden.

3. Der kleine Versuch der Autoren

Da sie keine echten, geheimen Daten bekommen durften, haben die Autoren einen kleinen, riskanten Versuch gemacht:

• Sie nahmen alte, öffentliche Gerichtsbriefe aus Tschechien, die online waren, aber kurz danach wieder gelöscht wurden.
• Sie nahmen YouTube-Vlogs von Reisenden, die erst nachdem die KI trainiert wurde, hochgeladen wurden.

Sie schwärzten die Namen und ließen die KI raten.
Das Ergebnis: Die KI hatte in vielen Fällen Erfolg! Aber warum?

• Oft waren nicht alle Namen durchgestrichen (der schwarze Marker war ungenau).
• Oder die KI wusste aus ihrem Allgemeinwissen: „Wenn hier von 'Times Square' und 'I Love NY' die Rede ist, muss der Ort New York sein."

Das zeigt: Selbst wenn die KI die Daten nicht kannte, kann sie aus dem Kontext (den Rest des Textes) oft genug schließen, wer gemeint ist. Der schwarze Marker reicht also nicht aus.

4. Das Fazit: Ein unlösbares Rätsel?

Die Autoren kommen zu einem traurigen, aber ehrlichen Schluss:

Wir können heute nicht wissenschaftlich beweisen, ob PII-Entfernung wirklich sicher ist.

Warum?

• Wenn wir echte Daten nehmen, ist es illegal oder unmöglich (wegen Datenschutz).
• Wenn wir öffentliche oder künstliche Daten nehmen, ist der Test nicht fair (wegen Datenlecks).

Es ist ein Zwickmühle (ein „Conundrum"). Die Forscher sind wie Detektive, die einen Mord aufklären wollen, aber der Richter ihnen verbietet, die Tatorte zu betreten oder die Leiche zu untersuchen. Sie können nur raten.

Die Hoffnung:
Die Autoren fordern, dass wir aufhören, nur zu raten. Wir brauchen neue, mathematisch saubere Regeln (wie in der Kryptografie), die genau definieren, was ein „Angreifer" darf und was nicht. Bis dahin sollten wir vorsichtig sein: Das einfache „Schwärzen" von Namen in Texten ist wahrscheinlich nicht sicher genug für wirklich sensible Daten.

Zusammengefasst:
Das „Schwärzen" von Namen ist wie das Abdecken eines Gesichts mit einer Maske. Wenn der Rest des Körpers (der Kontext) aber noch zu viel verrät, oder wenn der Betrachter (die KI) das Gesicht schon aus einem anderen Foto kennt, nützt die Maske nichts. Und weil wir keine echten Gesichter zum Testen bekommen dürfen, wissen wir leider nicht, wie gut die Masken wirklich sind.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Positionspapiers „The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques" auf Deutsch.

1. Problemstellung

Das Papier adressiert ein fundamentales Dilemma in der Forschung zur Privatsphäre: Die Bewertung der Wirksamkeit von Techniken zur Entfernung von personenbezogenen Daten (PII – Personally Identifiable Information) aus Texten.

• Hintergrund: Um Datenschutzvorschriften (wie DSGVO oder HIPAA) einzuhalten, werden PII aus sensiblen Dokumenten (z. B. Gerichtsakten, medizinische Berichte) entfernt.
• Die Annahme: Aktuelle Studien behaupten, dass moderne Angriffe (oft mittels Large Language Models, LLMs) diese anonymisierten Texte erfolgreich rekonstruieren und somit die Privatsphäre gefährden.
• Das Kernproblem: Die Autoren argumentieren, dass der Erfolg dieser Angriffe in der Literatur massiv überschätzt wird. Die Evaluierungsdesigns leiden unter Datenlecks und Datenkontamination. Oft haben die Angriffsmodelle die „privaten" Daten bereits während des Trainings (Pre-Training oder Fine-Tuning) memorisiert, oder die „privaten" Informationen waren bereits durch öffentliche Quellen (Nachrichtenartikel, Wikipedia) bekannt.
• Die Frage: Ist es überhaupt möglich, die Sicherheit von PII-Entfernungstechniken transparent und reproduzierbar zu bewerten, ohne Zugriff auf echte, sensible Privatdaten zu haben?

2. Methodik

Die Autoren verfolgen einen mehrstufigen Ansatz, bestehend aus einer kritischen Literaturanalyse, der Definition eines idealen Angriffs-Setups und zwei kleinen empirischen Fallstudien.

A. Kritische Analyse bestehender Angriffe (Abschnitt 5)

Die Autoren untersuchen aktuelle Arbeiten (z. B. Nyffenegger et al., Patsakis & Lykousas, Lukas et al.), die behaupten, PII aus anonymisierten Texten wiederherzustellen. Sie identifizieren drei Hauptquellen für verzerrte Ergebnisse:

1. Lecks durch Medienberichte: Angriffe nutzen öffentliche Nachrichtenartikel, um Namen aus Gerichtsentscheidungen zu rekonstruieren. Da die Information bereits öffentlich war, ist dies kein Beweis für das Versagen der PII-Entfernung.
2. Lecks durch öffentliches Wissen: Angriffe auf anonymisierte Wikipedia-Biografien von Prominenten nutzen das Weltwissen der LLMs. Da Prominente in den Trainingsdaten der Modelle überrepräsentiert sind, ist die Rekonstruktion ein Mustererkennungsproblem, kein echter Privatsphären-Bruch.
3. Lecks durch Memorierung: Modelle, die auf den Original-Daten (vor der Anonymisierung) feinabgestimmt wurden, haben die PII bereits auswendig gelernt. Die Rekonstruktion aus dem anonymisierten Text ist dann lediglich das Abrufen des Trainingswissens, nicht eine Inferenz aus dem Kontext.

B. Definition eines gültigen Angriffs-Setups (Abschnitt 6)

Um echte Schwachstellen zu testen, definieren die Autoren strenge Kriterien:

• Verteidigung: Muss auf modernen, hybriden Methoden (Regeln + NER) basieren und Open-Source sein.
• Threat Model: Der Angreifer darf keine Originaldaten gesehen haben und darf keine Daten memorieren, die im Trainingsset des LLM enthalten waren.
• Datenquelle: Es müssen Daten verwendet werden, die mit hoher Wahrscheinlichkeit nicht im Pre-Training des Angreifer-Modells enthalten waren.

C. Empirische Fallstudien (Abschnitt 8)

Da echte private Daten für die Öffentlichkeit unzugänglich sind, führen die Autoren zwei Experimente mit Daten durch, die sie als „wahrscheinlich nicht im Training" einstufen:

1. Tschechische Gerichtsankündigungen (CZ): PDFs von 2018, deren URLs nach 30 Tagen gelöscht wurden.
2. YouTube-Reisevlogs (YT): Transkripte von Videos, die nach dem Trainings-Cutoff des gewählten Open-Weight-Modells (gpt-oss-120b, veröffentlicht August 2025) hochgeladen wurden.

• Angriff: Das Modell erhält die anonymisierten Texte (PII durch [MASK] ersetzt) und muss basierend auf Kontext und Hinweisen die fehlenden Spannen rekonstruieren.

3. Wichtige Beiträge

1. Entlarvung methodischer Fehler: Das Papier zeigt auf, dass die meisten bisherigen Studien zur PII-Rekonstruktion aufgrund von Datenlecks (Memorierung, öffentliche Quellen) keine validen Beweise für die Unzulänglichkeit von PII-Entfernung liefern.
2. Das „Conundrum" (Dilemma): Die Autoren beweisen, dass eine vertrauenswürdige, transparente und reproduzierbare Forschung zu PII-Angriffen ohne Zugriff auf echte, sensible Privatdaten unmöglich ist.
   • Öffentliche Daten sind für Angriffe ungeeignet (keine Ground Truth, Risiko von Kontamination).
   • Synthetische Daten sind unzureichend (LLMs können Trainingsdaten reproduzieren, Bias-Probleme, geringe Qualität bei Differential Privacy).
   • Echte private Daten sind aus ethischen und rechtlichen Gründen für die öffentliche Forschung unzugänglich.
3. Ergebnisse der Fallstudien: Selbst unter „sauberen" Bedingungen (Daten, die vermutlich nicht im Training waren) erreichte das Angriffsmodell eine signifikante Trefferquote (ca. 19% bei YT, 5,5% bei CZ). Dies zeigt, dass PII-Entfernung allein nicht ausreicht, aber auch, dass die hohen Raten in der Literatur oft auf unfaire Bedingungen zurückzuführen waren.
4. Forderung nach formaler Theorie: Die Autoren fordern einen neuen, axiomatischen Rahmen für Privatsphäre in der Ära der LLMs, der Datenflüsse und Kontextintegrität (Contextual Integrity) formalisiert, anstatt sich nur auf empirische Risikobewertungen zu verlassen.

4. Ergebnisse der Fallstudien

• Erfolgsraten: Das Modell konnte PII in ca. 19% der Fälle bei YouTube-Transkripten und 5,5% bei Gerichtsdaten exakt rekonstruieren (Top-3-Genauigkeit).
• Ursachen für Erfolge:
  • Unvollständige Erkennung: Die PII-Entfernungstools (Presidio) übersehen oft einzelne Instanzen. Ein unmaskierter Name oder Ort im Text ermöglicht dem LLM, den Rest des Satzes zu inferieren (Domino-Effekt).
  • Öffentliches Wissen: Bei Reisevlogs halfen Hinweise wie „I Love NY Shop" dem Modell, den Ort (New York) zu erraten, obwohl der Name maskiert war.
  • Generische Raten: Bei fehlendem Kontext rät das Modell auf häufige Namen (z. B. „Jan Novák" in Tschechien), was die statistische Trefferquote künstlich erhöht, aber für spezifische Personen weniger relevant ist.
• Schlussfolgerung: PII-Entfernung ist anfällig, aber die aktuellen Angriffe in der Literatur sind oft unfair. Ein Angriff ohne Datenlecks ist schwierig, aber nicht unmöglich, erfordert jedoch echte Privatdaten zur Validierung.

5. Bedeutung und Ausblick

Das Papier hat weitreichende Implikationen für die NLP- und Datenschutzforschung:

• Kritik an der aktuellen Praxis: Es warnt davor, die Wirksamkeit von PII-Entfernung allein auf Basis aktueller, fehlerhafter Angriffsstudien zu bewerten.
• Blockade der Forschung: Es identifiziert eine Sackgasse: Ohne Zugang zu echten Privatdaten kann die Forschung nicht transparent beweisen, ob PII-Entfernung sicher ist oder nicht. Dies behindert die Entwicklung besserer Schutzmechanismen.
• Zukünftige Richtung: Die Autoren plädieren für einen Paradigmenwechsel weg von rein empirischen Angriffen hin zu formalen Sicherheitsmodellen (ähnlich wie in der Kryptographie oder bei Differential Privacy), die die Fähigkeiten von Angreifern und die Datenflüsse mathematisch definieren.
• Ethik: Es wird die ethische Spannung zwischen der Notwendigkeit, Sicherheitslücken zu offenbaren (wie in der Cybersicherheit üblich), und dem Schutz der Privatsphäre von Personen, deren Daten in Lecks enthalten sind, thematisiert.

Zusammenfassend stellt das Papier fest, dass die aktuelle Forschungslage zu PII-Angriffen durch methodische Mängel verzerrt ist und dass eine echte Lösung des Problems nur durch eine neue theoretische Fundierung und den Umgang mit dem Dilemma des Datenzugangs möglich ist.