Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Résumé Technique : Détection des Informations Personnelles Sensibles dans les Corpus de Pré-entraînement Japonais

Énoncé du Problème
Les corpus de pré-entraînement à grande échelle pour les modèles de langage de grande taille (LLM) sont souvent construits via le crawling de pages web, ce qui risque de collecter involontairement des informations personnelles. Si elles ne sont pas filtrées, les LLM peuvent mémoriser et divulguer ces données. Bien que les réglementations sur la confidentialité comme le RGPD (UE) et le CPRA (États-Unis) définissent les informations personnelles sensibles (IPS), la recherche sur la détection de ces données dans les textes japonais est limitée. Au Japon, la loi sur la protection des informations personnelles (APPI) définit les « informations personnelles nécessitant des soins particuliers » (SCPI), qui incluent des attributs tels que la race, la croyance, les antécédents médicaux, les casiers judiciaires et le handicap. Contrairement aux informations d'identification personnelle (PII) générales, les SCPI nécessitent une protection spéciale pour prévenir toute discrimination injuste. Il existe une lacune critique dans la littérature : il n'existe aucun ensemble de données SCPI public pour le japonais, et aucune étude systématique sur la détection des SCPI au niveau du corpus. De plus, les pipelines pratiques existants pour les LLM japonais reposent souvent sur un filtrage basé sur des règles ou des classificateurs Naive Bayes qui manquent de complétude sémantique.

Méthodologie
L'étude propose un pipeline pour construire un ensemble de données SCPI et entraîner un classificateur rapide, tel qu'illustré dans la Figure 1.

1. Construction de l'Ensemble de Données :

   • Source : Les auteurs ont échantillonné 2,61 millions de textes à partir de llm-jp-corpus-v3 (un corpus web japonais issu de Common Crawl).
   • Extraction de Candidats : Pour réduire l'espace de recherche, un modèle de reconnaissance d'entités nommées (NER) a été utilisé pour identifier les textes contenant des noms de personnes, car les noms sont la forme la plus fréquente de PII dans les corpus web.
   • Annotation en Deux Étapes :
     • Étape 1 (Modèles à Faible Paramètre) : Deux modèles à poids ouverts, Llama 3.1 Swallow 8B et Gemma 2 9B, ont été utilisés pour annoter les textes candidats. Un prompt a défini les 11 catégories de SCPI de l'APPI plus une étiquette "non-SCPI". Les textes ont été filtrés en fonction des scores de confiance et de l'accord entre les modèles (ex: exigeant que les deux modèles soient d'accord).
     • Étape 2 (Modèle de Haute Performance) : Un modèle de haute performance (gpt-oss-120b) a vérifié le sous-ensemble filtré. Une correction manuelle a été appliquée pour traiter les sorties inappropriées et identifier les cas limites.
   • Raffinement des Étiquettes : Lors de la revue manuelle, une catégorie supplémentaire, "LGBT" (couvrant l'orientation sexuelle et l'identité de genre), a été introduite car elle n'était pas bien capturée par les étiquettes originales de l'APPI. L'ensemble de données d'entraînement final s'est concentré sur trois catégories avec suffisamment d'instances : Antécédents Médicaux, Crime (agrégé à partir des casiers judiciaires, de la victimisation et des procédures) et Handicap. L'ensemble de données a été équilibré pour inclure 10 % d'exemples positifs (SCPI) et 90 % d'exemples négatifs (non-SCPI).

2. Modèles de Classification :

   • L'étude a évalué à la fois les modèles d'apprentissage automatique traditionnels et les modèles basés sur les Transformers pour l'efficacité.
   • Modèles Traditionnels : Classification par Vecteurs de Support (SVC), LightGBM (LGBM) et un réseau de neurones (NN) simple. Ceux-ci utilisaient des représentations vectorielles via Doc2Vec, TF-IDF et un modèle d'embedding japonais (ruri-v3-310m).
   • Modèle Transformer : modernbert-ja-310m, un classificateur basé sur BERT.
   • Stacking : Pour améliorer le rappel, les auteurs ont employé le stacking de modèles, prenant l'union des prédictions des meilleurs modèles de base (SVC et LGBM).

Résultats Clés

• Qualité de l'Ensemble de Données : L'ensemble de données construit contenait 954 exemples positifs (Antécédents Médicaux : 377, Crime : 261, Handicap : 316) et 8 586 exemples négatifs. L'accord inter-annotateurs (Kappa de Cohen) était de 0,614, indiquant un accord substantiel, bien que la "victimisation criminelle" ait montré un accord moindre en raison des cas limites.
• Performance des Modèles :
  • Validation Croisée : ModernBERT a obtenu le score F1 le plus élevé (>0,95) mais était coûteux en termes de calcul. Parmi les modèles traditionnels, LGBM avec TF-IDF et SVC avec les embeddings Ruri ont été les plus performants.
  • Évaluation Manuelle sur un Grand Corpus : Appliqués à 1,06 million de textes, les classificateurs ont montré une divergence entre la précision en validation croisée et les taux de détection manuelle. Les modèles étaient très efficaces pour détecter les informations de catégories liées aux SCPI (ex: discussions générales sur les soins médicaux) mais peinaient à les distinguer des véritables instances de SCPI (données personnelles spécifiques). La proportion combinée de textes "SCPI" et "Liés" correspondait à la haute précision observée en validation croisée.
  • Vitesse : Les modèles traditionnels étaient 4 à 50 fois plus rapides que les modèles Transformer. LGBM avec TF-IDF pouvait traiter l'intégralité du corpus de 184 millions de textes en moins d'une journée sur 8 cœurs CPU, tandis que ModernBERT nécessiterait plus d'un mois sur 8 GPU.
• Stacking et Réglage : Le stacking de SVC et LGBM a amélioré le score F1 à 0,877, augmentant le rappel de 4,2 % par rapport au meilleur modèle individuel.

Signification et Revendications
Cette étude prétend être la première à explorer systématiquement la détection des SCPI dans les corpus de textes japonais, comblant une lacune critique dans la littérature concernant la conformité de la vie privée japonaise pour les LLM.

• Utilité Pratique : Les auteurs démontrent que des modèles d'apprentissage automatique légers et traditionnels sont suffisants pour la première étape de filtrage des corpus à grande échelle. Ces modèles peuvent identifier rapidement les textes contenant des informations liées aux catégories SCPI, permettant un prétraitement scalable avant qu'un filtrage de haute précision plus coûteux (potentiellement utilisant des LLM) ne soit appliqué à un sous-ensemble réduit.
• Conformité Légale : La recherche respecte les exceptions de l'APPI pour la recherche académique, utilisant l'annotation par LLM et le traitement manuel dans un environnement strictement local pour garantir l'absence de fuite de données.
• Limites : Les auteurs reconnaissent modestement que leur approche repose fortement sur la présence de noms de personnes, risquant de manquer les SCPI identifiables uniquement par d'autres attributs (ex: adresses). De plus, la dépendance à l'annotation par LLM signifie que le classificateur ne peut pas détecter les SCPI que le LLM lui-même ne parvient pas à identifier. L'étude note également que bien qu'elle ait identifié "LGBT" comme une catégorie pertinente, celle-ci sort de la définition stricte des SCPI sous l'APPI actuelle, et que la performance sur des catégories comme la race et la croyance n'a pas été évaluée en raison de la rareté des données.

En conclusion, l'article fournit un ensemble de données fondateur et un pipeline de classification à haute vitesse pour la détection des informations personnelles sensibles en japonais, mettant l'accent sur le compromis entre la profondeur sémantique des LLM et l'efficacité computationnelle requise pour le filtrage à l'échelle d'un corpus.