💬 NLP

Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Diese Studie präsentiert den ersten Ansatz zur Erkennung sensibler personenbezogener Daten, insbesondere der japanischen „besonders schützenswerten personenbezogenen Informationen“ (SCPI), in japanischen Prätraining-Korpora durch die Konstruktion eines Datensatzes mittels LLM-basierter Annotation und das Training eines Machine-Learning-Klassifizierers, um die Einhaltung des Datenschutzes zu gewährleisten.

Ursprüngliche Autoren: Rei Minamoto, Yusuke Oda, Daisuke Kawahara

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rei Minamoto, Yusuke Oda, Daisuke Kawahara

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen ein riesiges, superintelligentes Robotergehirn (ein Large Language Model), indem Sie es mit jedem Buch, jedem Artikel und jeder Webseite des Internets füttern. Das ist so, als würde man einen riesigen Eimer Wasser in einen Swimmingpool schütten, um das Wasser tiefer zu machen. Aber hier liegt das Problem: In diesem Eimer könnten sich versehentlich sehr private, sensible Dinge befinden – wie etwa die Krankenakten, die Kriminalgeschichte oder Details über Behinderungen von jemandem. Wenn das Robotergehirn diese Informationen auswendig lernt, könnte es sie später versehentlich preisgeben, was eine große Verletzung der Privatsphäre wäre.

In Japan gibt es ein spezielles Gesetz namens APPI, das besagt, dass bestimmte Arten von privaten Informationen eine „besondere Sorgfalt“ erfordern. Die Forscher nennen dies SCPI (Special Care-required Personal Information). Denken Sie bei SCPI an das „zerbrechliche, zerbrechliche Glas“ in Ihrem Wassereimer, das Sie unbedingt herausfiltern müssen, bevor der Roboter das Wasser trinkt.

Hier ist das, was dieses Paper gemacht hat, einfach erklärt:

1. Das Problem: Kein Plan für das japanische „Glas“

Während Forscher in englischsprachigen Ländern bereits Werkzeuge entwickelt haben, um dieses „Glas“ (sensible Informationen) aus ihren Daten zu finden und zu entfernen, hatte bisher noch niemand eine Karte für japanische Texte erstellt. Zudem kann man, da diese Daten so privat sind, nicht einfach eine fertige Liste mit Beispielen kaufen, um einen Computer darauf zu trainieren. Man muss seine eigene Liste von Grund auf neu erstellen, was knifflig ist, da man sehr vorsichtig sein muss, dabei nicht gegen das Gesetz zu verstoßen.

2. Die Lösung: Ein Zwei-Schritte-„Sieb“-System

Das Team baute ein neues System, um diese sensiblen Informationen in japanischen Texten zu finden. Sie verwendeten einen cleveren Zwei-Schritte-Prozess, ähnlich einem Fischernetz mit zwei verschiedenen Maschenweiten:

Schritt 1: Das große Netz (Namen finden): Zuerst verwendeten sie ein Computerprogramm, um jeglichen Text zu finden, der einen Personennamen erwähnte. Warum? Weil in japanischen Webdaten die meisten privaten Informationen an einen Namen gebunden sind. Wenn kein Name vorhanden ist, ist es normalerweise sicher, diesen Text zu ignorieren. Dies schränkte den riesigen Stapel an Texten auf eine handhabbare Größe ein.
Schritt 2: Das feine Netz (Der intelligente Filter): Als Nächstes verwendeten sie eine sehr kluge, leistungsstarke KI (eine „High-Performance LLM“), um diese spezifischen Texte zu lesen und zu entscheiden: „Ist das sensibel?“
- Der Haken: Die superintelligente KI ist langsam und teuer im Betrieb, wenn man sie auf Millionen von Texten anwendet. Deshalb nutzten sie sie nur, um einen „Goldstandard“-Trainingsdatensatz zu erstellen.
- Das Ergebnis: Sie nutzten diesen kleinen, perfekten Datensatz mit Beispielen, um ein leichtgewichtiges, schnelles maschinelles Lernmodell zu trainieren. Stellen Sie sich das so vor, als würde man einen schnellen, günstigen Roboterhund trainieren, der das „Glas“ erschnüffelt, damit man nicht das teure, langsame Robotergehirn für die ganze Aufgabe nutzen muss.

3. Die Trainingsdaten: Was haben sie gefunden?

Sie erstellten einen Datensatz von etwa 1.000 Beispielen „sensibler“ japanischer Texte. Sie konzentrierten sich auf drei Hauptkategorien, die leicht zu finden waren:

Krankengeschichte: (z. B. „Er hat Krebs.“)
Verbrechen: (z. B. „Er wurde wegen Diebstahls verhaftet.“)
Behinderung: (z. B. „Sie benutzt einen Rollstuhl.“)

Sie fanden auch einige knifflige Fälle, wie etwa Informationen über sexuelle Orientierung oder geschlechtliche Identität, die sie für ihre Studie als „LGBT“ bezeichneten, obwohl das Gesetz sie nicht explizit auf die gleiche Weise aufführt.

4. Die Ergebnisse: Geschwindigkeit vs. Genauigkeit

Sie testeten ihr neues „Roboterhund“-Modell (das schnelle Modell) gegen die „superintelligente KI“ und andere Methoden.

Genauigkeit: Die schnellen Modelle waren überraschend gut darin, das Thema der sensiblen Information zu erkennen (also zu wissen, dass ein Text über eine „Krankengeschichte“ handelt). Allerdings hatten sie manchmal Schwierigkeiten, zwischen „jemandem, der über eine Krankheit spricht“ (allgemeine Information) und „jemandem, der die spezifische Krankheit eines Patienten offenbart“ (SCPI) zu unterscheiden.
Geschwindigkeit: Hier gewannen die schnellen Modelle deutlich. Die superintelligente KI würde über einen Monat benötigen, um eine riesige Bibliothek von Texten zu scannen. Die schnellen Modelle konnten dies in weniger als einem Tag erledigen. Es ist der Unterschied zwischen einer Schnecke und einem Rennwagen.

5. Die „Verwirrung“ und Zukunftspläne

Die Forscher bemerkten, dass ihre schnellen Modelle manchmal zwischen „Krankengeschichte“ und „Behinderung“ verwirrt waren, da diese Themen oft zusammen auftreten (wie etwa eine Geschichte über eine behinderte Person, die medizinische Behandlung erhält).

Was sie schlussfolgerten:

Man kann die superintelligente KI nicht nutzen, um das gesamte Internet zu scannen; sie ist zu langsam.
Man kann die schnellen, günstigen Modelle nutzen, um einen „groben Durchgang“ zu machen und den Großteil der sensiblen Themen abzufangen.
Wenn man 100 % Perfektion benötigt, könnte man zuerst das schnelle Modell verwenden, um die sicheren Inhalte herauszufiltern, und dann die superintelligente KI nur auf den kleinen Stapel der „vielleicht sensiblen“ Inhalte anwenden, der übrig geblieben ist.

Wichtiger Hinweis zur Ethik:
Die Forscher gingen sehr vorsichtig vor. Sie haben die gefundenen sensiblen Daten nicht veröffentlicht. Sie veröffentlichten lediglich das Werkzeug (den Klassifikator) und die Methode. Sie merkten auch an, dass ihr Werkzeug zwar hilft, die Privatsphäre zu schützen, es aber theoretisch von böswilligen Akteuren missbraucht werden könnte, um private Informationen zu finden, weshen sie bei der Veröffentlichung ihrer Arbeit sehr vorsichtig sind.

Kurz gesagt: Sie haben den ersten spezialisierten „Metalldetektor“ für japanische Texte gebaut, der private, sensible Informationen findet. Er ist schnell, günstig und gut genug, um die riesigen Datenseen zu bereinigen, die für das Training zukünftiger KI-Roboter benötigt werden, um sicherzustellen, dass diese Roboter nicht versehentlich die Geheimnisse von Menschen verraten.

Technisches Resümee: Erkennung sensibler personenbezogener Informationen in japanischen Prä-Training-Korpora

Problemstellung
Groß angelegte Prä-Training-Korpora für Large Language Models (LLMs) werden häufig durch Web-Crawling erstellt, was das Risiko birgt, unbeabsichtigt personenbezogene Informationen zu sammeln. Wenn diese ungefiltert bleiben, können LLMs diese Daten auswendig lernen und preisgeben. Während Datenschutzverordnungen wie die DSGVO (EU) und der CPRA (USA) sensible personenbezogene Informationen (Sensitive Personal Information, SPI) definieren, ist die Forschung zur Erkennung solcher Daten in japanischen Texten begrenzt. In Japan definiert das Gesetz zum Schutz personenbezogener Informationen (APPI) „besonders schützenswerte personenbezogene Informationen“ (Special Care-required Personal Information, SCPI), zu denen Attribute wie Rasse, Weltanschauung, Krankengeschichte, Vorstrafen und Behinderungen gehören. Im Gegensatz zu allgemeinen personenbezogenen Daten (PII) erfordert SCPI einen besonderen Schutz, um unrechtmäßige Diskriminierung zu verhindern. Es besteht eine kritische Lücke in der Literatur: Es gibt keine öffentlich zugänglichen SCPI-Datensätze für das Japanische und keine systematischen Studien zur Erkennung von SCPI auf Korpus-Ebene. Zudem verlassen sich bestehende praktische Pipelines für japanische LLMs oft auf regelbasierte Filterung oder Naive-Bayes-Klassifikatoren, denen es an semantischer Vollständigkeit mangelt.

Methodik
Die Studie schlägt eine Pipeline vor, um einen SCPI-Datensatz zu konstruieren und einen schnellen Klassifikator zu trainieren, wie in Abbildung 1 dargestellt.

Datensatz-Konstruktion:
- Quelle: Die Autoren entnahmen 2,61 Millionen Texte aus llm-jp-corpus-v3 (einem japanischen Web-Korpus von Common Crawl).
- Kandidaten-Extraktion: Um den Suchraum zu reduzieren, wurde ein Named Entity Recognition (NER) Modell verwendet, um Texte zu identifizieren, die Personennamen enthalten, da Namen die häufigste Form von PII in Web-Korpora sind.
- Zweistufige Annotation:
  - Stufe 1 (Modelle mit geringer Parameterzahl): Zwei Open-Weight-Modelle, Llama 3.1 Swallow 8B und Gemma 2 9B, wurden verwendet, um die Kandidaten-Texte zu annotieren. Ein Prompt definierte die 11 APPI-SCPI-Kategorien plus ein „Nicht-SCPI“-Label. Die Texte wurden basierend auf Konfidenzwerten und der Übereinstimmung der Modelle gefiltert (z. B. Erfordernis, dass beide Modelle übereinstimmen).
  - Stufe 2 (Hochleistungsmodell): Ein Hochleistungsmodell (gpt-oss-120b) verifizierte die gefilterte Teilmenge. Eine manuelle Korrektur wurde angewandt, um ungeeignete Ausgaben zu behandeln und Grenzfälle zu identifizieren.
- Label-Verfeinerung: Während der manuellen Überprüfung wurde eine zusätzliche Kategorie, „LGBT“ (die sexuelle Orientierung und geschlechtliche Identität abdeckt), eingeführt, da diese durch die ursprünglichen APPI-Labels nicht ausreichend erfasst wurde. Der endgültige Trainingsdatensatz konzentrierte sich auf drei Kategorien mit ausreichenden Instanzen: Krankengeschichte (Medical History), Verbrechen (Crime – aggregiert aus Vorstrafen, Opferschaft und Gerichtsverfahren) und Behinderung (Disability). Der Datensatz wurde so ausbalanciert, dass er 10 % positive Beispiele (SCPI) und 90 % negative Beispiele (Nicht-SCPI) enthielt.
Klassifikationsmodelle:
- Die Studie evaluierte sowohl traditionelle Machine-Learning-Modelle als auch Transformer-basierte Modelle im Hinblick auf die Effizienz.
- Traditionelle Modelle: Support Vector Classification (SVC), LightGBM (LGBM) und ein einfaches neuronales Netz (NN). Diese nutzten Vektorrepräsentationen via Doc2Vec, TF-IDF und ein japanisches Embedding-Modell (ruri-v3-310m).
- Transformer-Modell: modernbert-ja-310m, ein BERT-basierter Klassifikator.
- Stacking: Um den Recall zu verbessern, wandten die Autoren Model Stacking an, wobei die Vereinigung (Union) der Vorhersagen der besten Basismodelle (SVC und LGBM) genutzt wurde.

Wichtigste Ergebnisse

Datensatzqualität: Der konstruierte Datensatz enthielt 954 positive Beispiele (Krankengeschichte: 377, Verbrechen: 261, Behinderung: 316) und 8.586 negative Beispiele. Die Inter-Annotator-Übereinstimmung (Cohen's $\kappa$ ) lag bei 0,614, was auf eine substanzielle Übereinstimmung hindeutet, wenngleich die „Opferschaft bei Verbrechen“ aufgrund von Grenzbereichen eine geringere Übereinstimmung zeigte.
Modellleistung:
- Kreuzvalidierung: ModernBERT erreichte den höchsten F1-Score (>0,95), war jedoch rechenintensiv. Unter den traditionellen Modellen schnitten LGBM mit TF-IDF und SVC mit Ruri-Embeddings am besten ab.
- Manuelle Evaluierung auf großem Korpus: Bei der Anwendung auf 1,06 Millionen Texte zeigten die Klassifikatoren eine Diskrepanz zwischen der Präzision in der Kreuzvalidierung und den manuellen Detektionsraten. Die Modelle waren sehr effektiv darin, SCPI-bezogene Kategorieinformationen (z. B. allgemeine Diskussionen über medizinische Versorgung) zu erkennen, hatten jedoch Schwierigkeiten, diese von tatsächlichen SCPI-Instanzen (spezifische personenbezogene Daten) zu unterscheiden. Der kombinierte Anteil an „SCPI“- und „Verwandten“ Texten entsprach der hohen Präzision, die in der Kreuzvalidierung beobachtet wurde.
- Geschwindigkeit: Traditionelle Modelle waren 4- bis 50-mal schneller als Transformer-Modelle. LGBM mit TF-IDF konnte das gesamte 184-Millionen-Text-Korpus in weniger als einem Tag auf 8 CPU-Kernen verarbeiten, während ModernBERT über einen Monat auf 8 GPUs benötigt hätte.
Stacking und Tuning: Das Stacking von SVC und LGBM verbesserte den F1-Score auf 0,877, wobei der Recall im Vergleich zum besten Einzelmodell um 4,2 % stieg.

Bedeutung und Ansprüche
Diese Studie beansprucht für sich, die erste zu sein, die die SCPI-Erkennung in japanischen Textkorpora systematisch untersucht und damit eine kritische Lücke in der Literatur bezüglich der japanischen Datenschutzkonformität für LLMs schließt.

Praktischer Nutzen: Die Autoren zeigen, dass leichtgewichtige, traditionelle Machine-Learning-Modelle für die erste Stufe der Filterung großer Korpora ausreichend sind. Diese Modelle können Texte, die SCPI-bezogene Kategorieinformationen enthalten, schnell identifizieren und so eine skalierbare Vorverarbeitung ermöglichen, bevor eine teurere, hochpräzise Filterung (potenziell mittels LLMs) auf eine reduzierte Teilmenge angewendet wird.
Rechtliche Konformität: Die Forschung hält sich an die APPI-Ausnahmen für die akademische Forschung, indem sie LLM-basierte Annotation und manuelle Verarbeitung in einer streng lokalen Umgebung nutzt, um Datenaustausch oder Lecks zu vermeiden.
Einschränkungen: Die Autoren räumen bescheiden ein, dass ihr Ansatz stark von der Präsenz von Personennamen abhängt, wodurch SCPI potenziell übersehen werden könnten, die nur durch andere Attribute (z. B. Adressen) identifizierbar sind. Zudem bedeutet die Abhängigkeit von LLM-basierter Annotation, dass der Klassifikator kein SCPI erkennen kann, das das LLM selbst nicht identifiziert hat. Die Studie stellt zudem fest, dass sie zwar „LGBT“ als relevante Kategorie identifiziert hat, dies jedoch außerhalb der strikten rechtlichen Definition von SCPI unter aktuellem APPI liegt, und dass die Leistung bei Kategorien wie Rasse und Weltanschauung aufgrund von Datenknappheit nicht evaluiert wurde.

Zusammenfassend bietet die Arbeit einen grundlegenden Datensatz und eine Hochgeschwindigkeits-Klassifikations-Pipeline zur Erkennung sensibler personenbezogener Informationen in japanischer Sprache und betont den Trade-off zwischen der semantischen Tiefe von LLMs und der für die Korpus-Skalierung erforderlichen Recheneffizienz.