Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

1. Problemstellung

Die genaue Bewertung der Privatsphäre in Textdaten bleibt eine zentrale Herausforderung im Bereich des privatsphäreschonenden Natural Language Processing (NLP).

• Herausforderung: Es fehlt eine einheitliche Definition von Privatsphäre, da diese stark kontextabhängig ist. Herkömmliche Methoden wie Differential Privacy oder Angriffs-Simulationen messen spezifische Bedrohungsmodelle, erfassen aber nicht das menschliche Empfinden von Sensibilität.
• Aktueller Ansatz & Limitierung: Große Sprachmodelle (LLMs) haben sich als zuverlässige „Richter" (LLM-as-a-Judge) erwiesen, die menschliche Urteile über Privatsphäre stark widerspiegeln. Der Einsatz von State-of-the-Art-LLMs (wie Mistral Large 3 mit 675 Milliarden Parametern) für die Bewertung ist jedoch aufgrund hoher Rechenkosten und der Notwendigkeit, sensible Daten über Third-Party-APIs zu senden, für den praktischen Einsatz in großem Maßstab ungeeignet. Dies erzeugt ein Paradoxon: Die Bewertung der Privatsphäre durch externe Dienste kann die Privatsphäre selbst gefährden.

2. Methodik

Die Autoren schlagen einen Ansatz vor, der die Bewertungsfähigkeiten eines großen Lehrer-LLMs durch Wissensdistillation (Knowledge Distillation) auf leichte Encoder-Modelle überträgt.

• Datengrundlage:
  • Es wurde ein Korpus von 200.000 Texten aus 10 verschiedenen öffentlichen Datensätzen erstellt (z. B. Blogs, E-Mails, medizinische Fragen, Reddit-Beichte, Trustpilot-Bewertungen).
  • Die Texte wurden mit einem 5-stufigen Likert-Schema annotiert (1: Harmlos bis 5: Extrem privat), basierend auf der Methodik von Meisenbacher et al. (2025). Dies berücksichtigt sowohl direkte Identifikatoren (Namen, Kontaktdaten) als auch kontextuelle Sensibilität (Gesundheit, rechtliche Situationen).
• Lehrer-Modell (Teacher):
  • Das Modell Mistral Large 3 (675B Parameter) wurde verwendet, um die 200.000 Texte automatisch mit Privatsphäre-Scores zu versehen.
• Distillations-Prozess:
  • Die von Mistral Large 3 generierten Urteile dienten als Trainingsdaten für leichte Encoder-Modelle (Studenten).
  • Getestet wurden vier Modelle: Ettin-150M (149M Parameter), Ettin-17M, BERT-base und ModernBERT-base.
  • Die Modelle wurden als 5-Klassen-Klassifikatoren feinabgestimmt (Fine-Tuning).
• Ziel: Schaffung eines lokalen, schnellen und datenschutzkonformen Modells, das die menschliche Übereinstimmung des großen Lehrers beibehält.

3. Wichtige Beiträge

1. Datensatz-Kuration: Erstellung eines großen, automatisch annotierten Korpus (200k Texte) mit Privatsphäre-Sensitivitätsscores durch einen fortschrittlichen Open-Source-LLM.
2. Effiziente Distillation: Demonstration, dass die Privatsphäre-Reasoning-Fähigkeiten eines 675B-Modells erfolgreich auf ein 150M-Parameter-Modell (Ettin-150M) übertragen werden können.
3. Praktische Anwendung: Nachweis, dass diese distillierten Modelle als skalierbare, automatische Metriken zur Bewertung der Wirksamkeit von Entpersonalisierungssystemen (De-identification) dienen können.

4. Ergebnisse

Die Evaluation erfolgte auf einem separaten Testset mit menschlichen Annotationen (677 Annotatoren, 250 Texte).

• Übereinstimmung mit menschlichen Urteilen:
  • Das distillierte Ettin-150M erreichte einen Krippendorff's $\alpha$ von 0,737 in Bezug auf den Durchschnitt menschlicher Bewertungen.
  • Überraschendes Ergebnis: Dies liegt sogar über der Übereinstimmung des Lehrer-Modells (Mistral Large 3) mit dem menschlichen Durchschnitt ($\alpha = 0,716$). Die Autoren deuten dies darauf hin, dass die Distillation als „Denoising"-Prozess wirkt und die stochastische Variabilität des Lehrers glättet.
  • Die paarweise Übereinstimmung mit einzelnen menschlichen Annotatoren ($\alpha = 0,514$) entspricht dem Niveau der Übereinstimmung zwischen verschiedenen Menschen ($\alpha = 0,54$).
• Klassifikationsleistung:
  • Ettin-150M erreichte eine Genauigkeit von 74,9 % und einen Macro-F1-Score von 68,1 % auf dem gehaltenen Testset.
  • Die Leistung ist über das gesamte Spektrum der Privatsphäre-Klassen hinweg robust, auch bei den seltenen, hochsensiblen Klassen.
• Anwendung im De-identification-Benchmark (TAB):
  • Das Modell konnte erfolgreich messen, wie sich das Maskieren von direkten Identifikatoren (z. B. Namen) im Vergleich zu quasi-Identifikatoren (z. B. Alter, Beruf) auf die wahrgenommene Privatsphäre auswirkt.
  • Vollständige Maskierung führte zu einer signifikanten Reduktion des Privatsphäre-Scores und erhöhte den Anteil als „harmlos" bewerteter Texte von 25,2 % auf 84,1 %.
  • Ein „Sanity Check" zeigte, dass zufälliges Maskieren (ohne semantisches Verständnis) den Score sogar verschlechterte, was beweist, dass das Modell den Inhalt des Maskierens versteht und nicht nur das Vorhandensein von Maskierungstokens zählt.

5. Bedeutung und Ausblick

• Skalierbarkeit und Datenschutz: Die Arbeit ermöglicht die lokale und kostengünstige Bewertung von Privatsphäre in großen Textmengen, ohne dass sensible Daten an externe APIs gesendet werden müssen.
• Neue Anwendungsfälle:
  • Datencuration: Automatisches Filtern hochsensibler Daten vor dem Training von Modellen.
  • Evaluation: Skalierbare Metrik zum Vergleich verschiedener Entpersonalisierungssysteme.
  • User Assistance: Echtzeit-Warnungen in Schreibassistenten, bevor Nutzer versehentlich sensible Daten preisgeben.
• Limitationen: Die Modelle erben die Vorurteile des Lehrers; die Bewertung ist auf Englisch beschränkt; der Kontext (Zielgruppe, Zweck) wird nicht explizit berücksichtigt; der Score ist keine formale Garantie, sondern eine wahrgenommene Sensibilität.

Fazit: Das Paper demonstriert erfolgreich, dass durch Wissensdistillation hochleistungsfähige, aber ressourcenschonende Modelle geschaffen werden können, die menschliche Privatsphäre-Urteile präzise abbilden und damit eine praktische Barriere für den Einsatz von KI-gestützter Privatsphäre-Evaluation überwinden.