Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

Resumo Técnico: Detecção de Informações Pessoais Sensíveis em Corpora de Pré-treinamento em Japonês

Definição do Problema
Corpora de pré-treinamento de larga escala para Grandes Modelos de Linguagem (LLMs) são frequentemente construídos via web crawling, o que gera o risco de coletar involuntariamente informações pessoais. Se não forem filtrados, os LLMs podem memorizar e vazar esses dados. Embora regulamentações de privacidade como o GDPR (UE) e o CPRA (EUA) definam informações pessoais sensíveis (SPI), a pesquisa sobre a detecção de tais dados em textos japoneses é limitada. No Japão, a Lei de Proteção de Informações Pessoais (APPI) define "Informações Pessoais que Requerem Cuidado Especial" (SCPI), que incluem atributos como raça, crença, histórico médico, registros criminais e deficiência. Diferente da PII (Informação de Identificação Pessoal) geral, a SCPI requer proteção especial para evitar discriminação injusta. Existe uma lacuna crítica na literatura: não existem conjuntos de dados de SCPI publicamente disponíveis para o japonês, nem estudos sistemáticos sobre a detecção de SCPI em nível de corpus. Além disso, os pipelines práticos existentes para LLMs japoneses frequentemente dependem de filtragem baseada em regras ou classificadores Naive Bayes que carecem de completude semântica.

Metodologia
O estudo propõe um pipeline para construir um conjunto de dados de SCPI e treinar um classificador rápido, conforme ilustrado na Figura 1.

1. Construção do Conjunto de Dados:

   • Fonte: Os autores amostraram 2,61 milhões de textos do llm-jp-corpus-v3 (um corpus web japonês do Common Crawl).
   • Extração de Candidatos: Para reduzir o espaço de busca, um modelo de Reconhecimento de Entidades Nomeadas (NER) foi utilizado para identificar textos contendo nomes de pessoas, visto que nomes são a forma mais frequente de PII em corpora da web.
   • Anotação em Duas Etapas:
     • Etapa 1 (Modelos de Baixo Parâmetro): Dois modelos de pesos abertos, Llama 3.1 Swallow 8B e Gemma 2 9B, foram usados para anotar os textos candidatos. Um prompt definiu as 11 categorias de SCPI da APPI mais um rótulo "não-SCPI". Os textos foram filtrados com base em pontuações de confiança e concordância entre modelos (ex: exigindo que ambos os modelos concordassem).
     • Etapa 2 (Modelo de Alto Desempenho): Um modelo de alto desempenho (gpt-oss-120b) verificou o subconjunto filtrado. A correção manual foi aplicada para lidar com saídas inapropriadas e identificar casos limítrofes.
   • Refinamento de Rótulos: Durante a revisão manual, uma categoria adicional, "LGBT" (abrangendo orientação sexual e identidade de gênero), foi introduzida, pois não era bem capturada pelos rótulos originais da APPI. O conjunto de dados de treinamento final focou em três categorias com instâncias suficientes: Histórico Médico, Crime (agregado de registro criminal, vitimização e processos) e Deficiência. O conjunto de dados foi balanceado para incluir 10% de exemplos positivos (SCPI) e 90% de exemplos negativos (não-SCPI).

2. Modelos de Classificação:

   • O estudo avaliou tanto modelos tradicionais de aprendizado de máquina quanto modelos baseados em Transformer para fins de eficiência.
   • Modelos Tradicionais: Classificação de Vetores de Suporte (SVC), LightGBM (LGBM) e uma Rede Neural (NN) simples. Estes utilizaram representações vetoriais via Doc2Vec, TF-IDF e um modelo de embedding japonês (ruri-v3-310m).
   • Modelo Transformer: modernbert-ja-310m, um classificador baseado em BERT.
   • Stacking: Para melhorar o recall, os autores empregaram stacking de modelos, realizando a união das previsões dos melhores modelos base (SVC e LGBM).

Principais Resultados

• Qualidade do Conjunto de Dados: O conjunto de dados construído continha 954 exemplos positivos (Histórico Médico: 377, Crime: 261, Deficiência: 316) e 8.586 exemplos negativos. A concordância entre anotadores (Kappa de Cohen) foi de 0,614, indicando concordância substancial, embora a "vitimização por crime" tenha apresentado menor concordância devido a casos de fronteira.
• Desempenho do Modelo:
  • Validação Cruzada: O ModernBERT alcançou o maior F1 score (>0,95), mas era computacionalmente caro. Entre os modelos tradicionais, o LGBM com TF-IDF e o SVC com embeddings Ruri tiveram o melhor desempenho.
  • Avaliação Manual em Grande Corpus: Ao ser aplicado a 1,06 milhão de textos, os classificadores mostraram uma discrepância entre a precisão da validação cruzada e as taxas de detecção manual. Os modelos foram altamente eficazes em detectar informações de categoria relacionadas à SCPI (ex: discussões gerais sobre cuidados médicos), mas tiveram dificuldade em distinguir estas de instâncias reais de SCPI (dados pessoais específicos). A proporção combinada de textos "SCPI" e "Relacionados" coincidiu com a alta precisão vista na validação cruzada.
  • Velocidade: Modelos tradicionais foram de 4 a 50 vezes mais rápidos que os modelos Transformer. O LGBM com TF-IDF pôde processar todo o corpus de 184 milhões de textos em menos de um dia em 8 núcleos de CPU, enquanto o ModernBERT exigiria mais de um mês em 8 GPUs.
• Stacking e Ajuste: O stacking de SVC e LGBM melhorou o F1 score para 0,877, com o recall aumentando em 4,2% em comparação ao melhor modelo individual.

Significância e Alegações
Este estudo alega ser o primeiro a explorar sistematicamente a detecção de SCPI em corpora de texto em japonês, abordando uma lacuna crítica na literatura referente à conformidade de privacidade japonesa para LLMs.

• Utilidade Prática: Os autores demonstram que modelos leves de aprendizado de máquina tradicional são suficientes para a primeira etapa de filtragem de corpora de larga escala. Esses modelos podem identificar rapidamente textos contendo informações de categorias relacionadas à SCPI, permitindo o pré-processamento escalável antes que uma filtragem de alta precisão (potencialmente usando LLMs) seja aplicada a um subconjunto reduzido.
• Conformidade Legal: A pesquisa adere às exceções da APPI para pesquisa acadêmica, utilizando anotação baseada em LLM e processamento manual dentro de um ambiente estritamente local para garantir que não haja vazamento de dados.
• Limitações: Os autores reconhecem modestamente que sua abordagem depende fortemente da presença de nomes de pessoas, podendo perder SCPI identificáveis apenas através de outros atributos (ex: endereços). Além disso, a dependência de anotação por LLM significa que o classificador não pode detectar SCPI que o próprio LLM falhe em identificar. O estudo também observa que, embora tenha identificado "LGBT" como uma categoria relevante, esta está fora da definição legal estrita de SCPI sob a atual APPI, e o desempenho em categorias como raça e crença não foi avaliado devido à escassez de dados.

Em conclusão, o artigo fornece um conjunto de dados fundamental e um pipeline de classificação de alta velocidade para detectar informações pessoais sensíveis em japonês, enfatizando o equilíbrio entre a profundidade semântica dos LLMs e a eficiência computacional necessária para a filtragem em escala de corpus.