Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Technische Samenvatting: Detectie van Gevoelige Persoonlijke Informatie in Japanse Pre-training Corpora

Probleemstelling
Grootschalige pre-training corpora voor Large Language Models (LLM's) worden vaak samengesteld via web crawling, wat het risico met zich meebrengt dat onbedoeld persoonlijke informatie wordt verzameld. Als deze ongefilterd blijven, kunnen LLM's deze gegevens memoriseren en lekken. Hoewel privacyregels zoals de GDPR (EU) en de CPRA (VS) gevoelige persoonlijke informatie (SPI) definiëren, is onderzoek naar de detectie van dergelijke gegevens in Japanse tekst beperkt. In Japan definieert de Act on the Protection of Personal Information (APPI) "Special Care-required Personal Information" (SCPI), wat attributen omvat zoals ras, geloofsovertuiging, medische geschiedenis, strafrechtelijke gegevens en handicap. In tegen tegenstelling tot algemene persoonlijk identificeerbare informatie (PII), vereist SCPI speciale bescherming om onrechtvaardige discriminatie te voorkomen. Er bestaat een kritieke kloof in de literatuur: er zijn geen publiek beschikbare SCPI-datasets voor het Japans, en er zijn geen systematische studies naar de detectie van SCPI op corpusniveau. Bovendien vertrouwen bestaande praktische pipelines voor Japanse LLM's vaak op op regels gebaseerde filtering of Naive Bayes-classifiers die een gebrek aan semantische volledigheid vertonen.

Methodologie
De studie stelt een pipeline voor om een SCPI-dataset te construeren en een snelle classifier te trainen, zoals geïllustreerd in Figuur 1.

1. Dataset Constructie:

   • Bron: De auteurs bemonsterden 2,61 miljoen teksten uit llm-jp-corpus-v3 (een Japanse webcorpus van Common Crawl).
   • Extractie van Kandidaten: Om de zoekruimte te verkleinen, werd een Named Entity Recognition (NER)-model gebruikt om teksten te identificeren die persoonsnamen bevatten, aangezien namen de meest voorkomende vorm van PII in webcorpora zijn.
   • Annotatie in twee fasen:
     • Fase 1 (Modellen met lage parameterhoeveelheid): Twee open-weight modellen, Llama 3.1 Swallow 8B en Gemma 2 9B, werden gebruikt om kandidaat-teksten te annoteren. Een prompt definieerde de 11 APPI SCPI-categorieën plus een "niet-SCPI"-label. Teksten werden gefilterd op basis van betrouwbaarheidsscores en overeenstemming tussen modellen (bijv. vereisen dat beide modellen het eens zijn).
     • Fase 2 (Hogeprestatie-model): Een hogeprestatiemodel (gpt-oss-120b) verifieerde de gefilterde subset. Handmatige correctie werd toegepast om ongepaste outputs af te handelen en randgevallen te identificeren.
   • Label Verfijning: Tijdens de handmatige beoordeling werd een extra categorie, "LGBT" (dekking van seksuele geaardheid en genderidentiteit), geïntroduceerd omdat deze niet goed werd gevangen door de oorspronkelijke APPI-labels. De uiteindelijke trainingsdataset richtte zich op drie categorieën met voldoende instanties: Medische Geschiedenis, Criminaliteit (geaggregeerd uit strafblad, slachtofferschap en juridische procedures), en Handicap. De dataset werd gebalanceerd met 10% positieve voorbeelden (SCPI) en 90% negatieve voorbeelden (niet-SCPI).

2. Classificatiemodellen:

   • De studie evalueerde zowel traditionele machine learning-modellen als Transformer-gebaseerde modellen voor efficiëntie.
   • Traditionele Modellen: Support Vector Classification (SVC), LightGBM (LGBM) en een simpel Neuraal Netwerk (NN). Deze maakten gebruik van vectorrepresentaties via Doc2Vec, TF-IDF en een Japans embedding-model (ruri-v3-310m).
   • Transformer Model: modernbert-ja-310m, een BERT-gebaseerde classifier.
   • Stacking: Om de recall te verbeteren, pasten de auteurs model stacking toe, waarbij de unie werd genomen van de voorspellingen van de best presterende basismodellen (SVC en LGBM).

Belangrijkste Resultaten

• Kwaliteit van de Dataset: De geconstrueerde dataset bevatte 954 positieve voorbeelden (Medische Geschiedenis: 377, Criminaliteit: 261, Handicap: 316) en 8.586 negatieve voorbeelden. De inter-annotator overeenkomst (Cohen's $\kappa$) was 0,614, wat duidt op een substantiële overeenstemming, hoewel "slachtofferschap bij criminaliteit" een lagere overeenstemming vertoonde door grensgevallen.
• Modelprestaties:
  • Cross-validatie: ModernBERT behaalde de hoogste F1-score (>0,95) maar was computationeel duur. Onder de traditionele modellen presteerden LGBM met TF-IDF en SVC met Ruri embeddings het best.
  • Handmatige Evaluatie op Groot Corpus: Bij toepassing op 1,06 miljoen teksten vertoonden de classifiers een discrepantie tussen de cross-validatie precisie en de handmatige detectiegraad. De modellen waren zeer effectief in het detecteren van SCPI-gerelateerde categorie-informatie (bijv. algemene discussies over medische zorg), maar hadden moeite om deze te onderscheiden van daadwerkelijke SCPI-instanties (specifieke persoonlijke gegevens). Het gecombineerde aandeel van "SCPI" en "Gerelateerd" teksten kwam overeen met de hoge precisie gezien in de cross-validatie.
  • Snelheid: Traditionele modellen waren 4 tot 50 keer sneller dan Transformer-modellen. LGBM met TF-IDF kon de gehele 184-miljoen-tekst corpus in minder dan een dag verwerken op 8 CPU-kernen, terwijl ModernBERT meer dan een maand zou vereisen op 8 GPU's.
• Stacking en Tuning: Het stacken van SVC en LGBM verbeterde de F1-score naar 0,877, waarbij de recall met 4,2% toenam ten opzichte van het beste enkele model.

Betekenis en Claims
Deze studie claimt de eerste te zijn die SCPI-detectie in Japanse tekstcorpora systematisch onderzoekt, waarmee een kritieke kloof in de literatuur over Japanse privacy-compliance voor LLM's wordt gedicht.

• Praktisch Nut: De auteurs demonstreren dat lichtgewicht, traditionele machine learning-modellen voldoende zijn voor de eerste fase van filtering van grootschalige corpora. Deze modellen kunnen snel teksten identificeren die SCPI-gerelateerde categorie-informatie bevatten, wat schaalbare preprocessing mogelijk maakt voordat een duurdere, hogere-precisie filtering (mogelijk met behulp van LLM's) wordt toegepast op een gereduceerde subset.
• Juridische Naleving: Het onderzoek houdt zich aan de APPI-uitzonderingen voor academisch onderzoek, waarbij LLM-gebaseerde annotatie en handmatige verwerking plaatsvinden binnen een strikt lokale omgeving om datalekken te voorkomen.
• Beperkingen: De auteurs erkennen bescheiden dat hun aanpak sterk leunt op de aanwezigheid van persoonsnamen, waardoor SCPI die alleen via andere attributen identificeerbaar is (bijv. adressen), mogelijk wordt gemist. Daarnaast betekent de afhankelijkheid van LLM-gebaseerde annotatie dat de classifier geen SCPI kan detecteren die de LLM zelf niet kan identificeren. De studie merkt ook op dat hoewel zij "LGBT" als een relevante categorie hebben geïdentificeerd, dit buiten de strikte juridische definitie van SCPI onder de huidige APPI valt, en dat de prestaties op categorieën zoals ras en geloofsovertuiging niet zijn geëvalueerd vanwege een gebrek aan data.

Concluderend biedt het artikel een fundamentele dataset en een hogesnelheid-classificatiepipeline voor het detecteren van gevoelige persoonlijke informatie in het Japans, waarbij de nadruk ligt op de afweging tussen de semantische diepgang van LLM's en de computationele efficiëntie die vereist is voor filtering op corpusschaal.