Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Resumen Técnico: Detección de Información Personal Sensible en Corpus de Preentrenamiento en Japonés

Declaración del Problema
Los corpus de preentrenamiento a gran escala para Modelos de Lenguaje Extensos (LLMs) se construyen a menudo mediante el rastreo de la web, lo que conlleva el riesgo de recolectar involuntariamente información personal. Si no se filtran, los LLMs pueden memorizar y filtrar estos datos. Mientras que las regulaciones de privacidad como el GDPR (UE) y la CPRA (EE. UU.) definen la información personal sensible (SPI), la investigación sobre la detección de tales datos en textos japoneses es limitada. En Japón, la Ley de Protección de la Información Personal (APPI) define la "Información Personal que Requiere Especial Cuidado" (SCPI), la cual incluye atributos como la raza, la creencia, el historial médico, los antecedentes penales y la discapacidad. A diferencia de la Información de Identificación Personal (PII) general, la SCPI requiere una protección especial para prevenir la discriminación injusta. Existe una brecha crítica en la literatura: no hay conjuntos de datos de SCPI disponibles públicamente para el japonés, y no existen estudios sistemáticos sobre la detección de SCPI a nivel de corpus. Además, los procesos prácticos existentes para los LLMs japoneses suelen depender de filtrado basado en reglas o clasificadores Naive Bayes que carecen de completitud semántica.

Metodología
El estudio propone un pipeline para construir un conjunto de datos de SCPI y entrenar un clasificador rápido, como se ilustra en la Figura 1.

1. Construcción del Conjunto de Datos:

   • Fuente: Los autores muestrearon 2.61 millones de textos de llm-jp-corpus-v3 (un corpus web japonés de Common Crawl).
   • Extracción de Candidatos: Para reducir el espacio de búsqueda, se utilizó un modelo de Reconocimiento de Entidades Nombradas (NER) para identificar textos que contuvieran nombres de personas, ya que los nombres son la forma más frecuente de PII en los corpus web.
   • Anotación en Dos Etapas:
     • Etapa 1 (Modelos de Bajos Parámetros): Se utilizaron dos modelos de pesos abiertos, Llama 3.1 Swallow 8B y Gemma 2 9B, para anotar los textos candidatos. Un prompt definió las 11 categorías de SCPI de la APPI más una etiqueta de "no-SCPI". Los textos se filtraron basándose en puntuaciones de confianza y acuerdo entre modelos (por ejemplo, requiriendo que ambos modelos estuvieran de acuerdo).
     • Etapa 2 (Modelo de Alto Rendimiento): Un modelo de alto rendimiento (gpt-oss-120b) verificó el subconjunto filtrado. Se aplicó corrección manual para manejar salidas inapropiadas e identificar casos límite.
   • Refinamiento de Etiquetas: Durante la revisión manual, se introdujo una categoría adicional, "LGBT" (que cubre la orientación sexual y la identidad de género), ya que no estaba bien capturada por las etiquetas originales de la APPI. El conjunto de datos de entrenamiento final se centró en tres categorías con suficientes instancias: Historial Médico, Crimen (agregado de antecedentes penales, victimización y procedimientos) y Discapacidad. El conjunto de datos se equilibró para incluir un 10% de ejemplos positivos (SCPI) y un 90% de ejemplos negativos (no-SCPI).

2. Modelos de Clasificación:

   • El estudio evaluó tanto modelos tradicionales de aprendizaje automático como modelos basados en Transformer para la eficiencia.
   • Modelos Tradicionales: Clasificación de Vectores de Soporte (SVC), LightGBM (LGBM) y una Red Neuronal (NN) simple. Estos utilizaron representaciones vectoriales mediante Doc2Vec, TF-IDF y un modelo de embedding japonés (ruri-v3-310m).
   • Modelo Transformer: modernbert-ja-310m, un clasificador basado en BERT.
   • Stacking: Para mejorar la recuperación (recall), los autores emplearon el apilamiento de modelos (stacking), tomando la unión de las predicciones de los mejores modelos base (SVC y LGBM).

Resultados Clave

• Calidad del Conjunto de Datos: El conjunto de datos construido contenía 954 ejemplos positivos (Historial Médico: 377, Crimen: 261, Discapacidad: 316) y 8,586 ejemplos negativos. El acuerdo entre anotadores (Kappa de Cohen) fue de 0.614, lo que indica un acuerdo sustancial, aunque la "victimización por crimen" mostró un menor acuerdo debido a casos límite.
• Rendimiento de los Modelos:
  • Validación Cruzada: ModernBERT logró el F1 score más alto (>0.95) pero era computacionalmente costoso. Entre los modelos tradicionales, LGBM con TF-IDF y SVC con embeddings de Ruri fueron los que mejor funcionaron.
  • Evaluación Manual en un Gran Corpus: Al aplicarse a 1.06 millones de textos, los clasificadores mostraron una discrepancia entre la precisión de la validación cruzada y las tasas de detección manual. Los modelos fueron altamente efectivos detectando información de categoría relacionada con SCPI (por ejemplo, discusiones generales sobre atención médica) pero tuvieron dificultades para distinguir esto de instancias reales de SCPI (datos personales específicos). La proporción combinada de textos "SCPI" y "Relacionados" coincidió con la alta precisión observada en la validación cruzada.
  • Velocidad: Los modelos tradicionales fueron de 4 a 50 veces más rápidos que los modelos Transformer. LGBM con TF-IDF pudo procesar todo el corpus de 184 millones de textos en menos de un día en 8 núcleos de CPU, mientras que ModernBERT requeriría más de un mes en 8 GPUs.
  • Stacking y Ajuste: El stacking de SVC y LGBM mejoró el F1 score a 0.877, con un aumento en la recuperación de un 4.2% en comparación con el mejor modelo individual.

Significancia y Reivindicaciones
Este estudio afirma ser el primero en explorar sistemáticamente la detección de SCPI en corpus de texto en japonés, abordando una brecha crítica en la literatura respecto al cumplimiento de la privacidad japonesa para los LLMs.

• Utilidad Práctica: Los autores demuestran que los modelos de aprendizaje automático tradicionales y ligeros son suficientes para la primera etapa de filtrado de corpus a gran escala. Estos modelos pueden identificar rápidamente textos que contienen información de categorías relacionadas con SCPI, permitiendo un preprocesamiento escalable antes de que se aplique un filtrado de alta precisión (potencialmente usando LLMs) a un subconjunto reducido.
• Cumplimiento Legal: La investigación se adhiere a las excepciones de la APPI para la investigación académica, utilizando la anotación basada en LLM y el procesamiento manual dentro de un entorno estrictamente local para asegurar que no haya fuga de datos.
• Limitaciones: Los autores reconocen modestamente que su enfoque depende fuertemente de la presencia de nombres de personas, lo que podría omitir SCPI identificable solo a través de otros atributos (por ejemplo, direcciones). Además, la dependencia de la anotación basada en LLM significa que el clasificador no puede detectar SCPI que el propio LLM no logre identificar. El estudio también señala que, si bien identificó "LGBT" como una categoría relevante, esta queda fuera de la definición legal estricta de SCPI bajo la APPI actual, y el rendimiento en categorías como raza y creencia no fue evaluado debido a la escasez de datos.

En conclusión, el artículo proporciona un conjunto de datos fundacional y un pipeline de clasificación de alta velocidad para detectar información personal sensible en japonés, enfatizando el compromiso entre la profundidad semántica de los LLM y la eficiencia computacional requerida para el filtrado a escala de corpus.