Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Sintesi Tecnica: Rilevamento di Informazioni Personali Sensibili nei Corpora di Pre-training in Giapponese

Problematica
I corpora di pre-training su larga scala per i Large Language Models (LLM) sono spesso costruiti tramite web crawling, il che comporta il rischio di raccogliere involontariamente informazioni personali. Se non filtrati, gli LLM possono memorizzare e divulgare tali dati. Mentre le normative sulla privacy come il GDPR (UE) e il CPRA (USA) definiscono le informazioni personali sensibili (SPI), la ricerca sul rilevamento di tali dati nel testo giapponese è limitata. In Giappone, l'Act on the Protection of Personal Information (APPI) definisce le "Informazioni Personali che richiedono Cure Speciali" (SCPI), che includono attributi quali razza, credo, storia medica, precedenti penali e disabilità. A differenza delle informazioni identificabili personalmente (PII) generiche, le SCPI richiedono una protezione speciale per prevenre discriminazioni ingiuste. Esiste un vuoto critico nella letteratura: non esistono dataset di SCPI pubblicamente disponibili per il giapponese, né studi sistematici sul rilevamento delle SCPI a livello di corpus. Inoltre, le attuali pipeline pratiche per gli LLM giapponesi si affidano spesso a filtri basati su regole o classificatori Naive Bayes che mancano di completezza semantica.

Metodologia
Lo studio propone una pipeline per costruire un dataset SCPI e addestrare un classificatore rapido, come illustrato nella Figura 1.

1. Costruzione del Dataset:

   • Fonte: Gli autori hanno campionato 2,61 milioni di testi da llm-jp-corpus-v3 (un corpus web giapponese proveniente da Common Crawl).
   • Estrazione dei Candidati: Per ridurre lo spazio di ricerca, è stato utilizzato un modello di Named Entity Recognition (NER) per identificare i testi contenenti nomi di persone, poiché i nomi sono la forma più frequente di PII nei corpora web.
   • Annotazione in Due Fasi:
     • Fase 1 (Modelli a Bassa Parametrizzazione): Due modelli a pesi aperti, Llama 3.1 Swallow 8B e Gemma 2 9B, sono stati utilizzati per annotare i testi candidati. Un prompt ha definito le 11 categorie SCPI dell'APPI più un'etichetta "non-SCPI". I testi sono stati filtrati in base ai punteggi di confidenza e all'accordo tra i modelli (ad esempio, richiedendo che entrambi i modelli concordassero).
     • Fase 2 (Modello ad Alte Prestazioni): Un modello ad alte prestazioni (gpt-oss-120b) ha verificato il sottoinsieme filtrato. È stata applicata una correzione manuale per gestire output inappropriati e identificare casi limite.
   • Raffinamento delle Etichette: Durante la revisione manuale, è stata introdotta una categoria aggiuntiva, "LGBT" (che copre l'orientamento sessuale e l'identità di genere), poiché non era ben catturata dalle etichette originali dell'APPI. Il dataset di addestramento finale si è concentrato su tre categorie con istanze sufficienti: Storia Medica, Crimine (aggregata da precedenti penali, vittimizzazione e procedimenti) e Disabilità. Il dataset è stato bilanciato per includere il 10% di esempi positivi (SCPI) e il 90% di esempi negativi (non-SCPI).

2. Modelli di Classificazione:

   • Lo studio ha valutato sia i modelli tradizionali di machine learning che i modelli basati su Transformer per l'efficienza.
   • Modelli Tradizionali: Support Vector Classification (SVC), LightGBM (LGBM) e una semplice Rete Neurale (NN). Questi utilizzavano rappresentazioni vettoriali tramite Doc2Vec, TF-IDF e un modello di embedding giapponese (ruri-v3-310m).
   • Modello Transformer: modernbert-ja-310m, un classificatore basato su BERT.
   • Stacking: Per migliorare il richiamo (recall), gli autori hanno impiegato lo stacking dei modelli, prendendo l'unione delle predizioni dei migliori modelli base (SVC e LGBM).

Risultati Chiave

• Qualità del Dataset: Il dataset costruito conteneva 954 esempi positivi (Storia Medica: 377, Crimine: 261, Disabilità: 316) e 8.586 esempi negativi. L'accordo tra annotatori (Cohen's $\kappa$) era di 0,614, indicando un accordo sostanziale, sebbene la "vittimizzazione criminale" abbia mostrato un accordo inferiore a causa di casi limite.
• Prestazioni dei Modelli:
  • Validazione Incrociata: ModernBERT ha ottenuto il punteggio F1 più elevato (>0,95) ma era computazionalmente costoso. Tra i modelli tradizionali, LGBM con TF-IDF e SVC con embedding Ruri hanno ottenuto le prestazioni migliori.
  • Valutazione Manuale su Grande Corpus: Applicati a 1,06 milioni di testi, i classificatori hanno mostrato una discrepanza tra la precisione della validazione incrociata e i tassi di rilevamento manuale. I modelli erano altamente efficaci nel rilevare informazioni relative alle categorie SCPI (ad esempio, discussioni generali sulla cura medica) ma faticavano a distinguerle dalle reali istanze di SCPI (dati personali specifici). La proporzione combinata di testi "SCPI" e "Correlati" corrispondeva all'alta precisione osservata nella validazione incrociata.
  • Velocità: I modelli tradizionali erano da 4 a 50 volte più veloci dei modelli Transformer. LGBM con TF-IDF poteva elaborare l'intero corpus di 184 milioni di testi in meno di un giorno su 8 core CPU, mentre ModernBERT avrebbe richiesto oltre un mese su 8 GPU.
  • Stacking e Tuning: Lo stacking di SVC e LGBM ha migliorato il punteggio F1 a 0,877, con un aumento del richiamo del 4,2% rispetto al miglior singolo modello.

Significatività e Rivendicazioni
Questo studio rivendica di essere il primo ad esplorare sistematicamente il rilevamento delle SCPI nei corpora di testo giapponese, affrontando una lacuna critica nella letteratura riguardante la conformità alla privacy giapponese per gli LLM.

• Utilità Pratica: Gli autori dimostrano che i modelli leggeri di machine learning tradizionale sono sufficienti per la prima fase di filtraggio dei corpora su larga scala. Questi modelli possono identificare rapidamente i testi contenenti informazioni relative alle categorie SCPI, consentendo un pre-processing scalabile prima che venga applicato un filtraggio ad alta precisione (potenzialmente usando LLM) a un sottoinsieme ridotto.
• Conformità Legale: La ricerca aderisce alle eccezioni APPI per la ricerca accademica, utilizzando l'annotazione basata su LLM e l'elaborazione manuale all'interno di un ambiente strettamente locale per garantire l'assenza di fuga di dati.
• Limitazioni: Gli autori riconoscono con modestia che il loro approccio si basa fortemente sulla presenza di nomi di persone, rischiando di perdere SCPI identificabili solo attraverso altri attributi (ad esempio, indirizzi). Inoltre, la dipendenza dall'annotazione basata su LLM significa che il classificatore non può rilevare SCPI che l'LLM stesso non riesce a identificare. Lo studio nota anche che, sebbene abbia identificato "LGBT" come una categoria rilevante, questa rientra fuori dalla stretta definizione legale di SCPI secondo l'attuale APPI, e le prestazioni su categorie come razza e credo non sono state valutate a causa della scarsità di dati.

In conclusione, il documento fornisce un dataset fondamentale e una pipeline di classificazione ad alta velocità per il rilevamento di informazioni personali sensibili in giapponese, enfatizzando il compromesso tra la profondità semantica degli LLM e l'efficienza computazionale richiesta per il filtraggio su scala corpus.