PIIBench: A Unified Multi-Source Benchmark Corpus for Personally Identifiable Information Detection

Resumo Técnico: PIIBench

1. O Problema

A detecção e o mascaramento de Informações Pessoalmente Identificáveis (PII) são requisitos fundamentais para a conformidade regulatória (GDPR, HIPAA, CCPA). No entanto, a comunidade de pesquisa carece de um corpo de benchmark padronizado para avaliação de sistemas de detecção de PII. As principais lacunas identificadas são:

• Fragmentação: Os recursos existentes estão dispersos em corpora específicos de domínio (ex: financeiro, sintético, geral) com esquemas de anotação incompatíveis.
• Incompatibilidade de Rótulos: Diferentes conjuntos de dados utilizam vocabulários de etiquetas proprietários e não alinhados, impedindo comparações sistemáticas entre sistemas.
• Limitações dos Sistemas Atuais: Sistemas baseados em regras (como o Microsoft Presidio) falham em entidades inferidas contextualmente, enquanto modelos de NER (Reconhecimento de Entidades Nomeadas) de propósito geral (treinados em CoNLL, OntoNotes) não cobrem tipos críticos de PII (como identificadores financeiros ou credenciais).
• Ausência de Avaliação Cruzada: Não existe um benchmark que permita avaliar rigorosamente o desempenho de sistemas em todo o leque taxonômico de PII encontrado em sistemas de produção.

2. Metodologia

Os autores desenvolveram o PIIBench, um corpus unificado construído através de um pipeline rigoroso de consolidação e normalização:

• Seleção de Fontes: Foram consolidados 10 conjuntos de dados públicos disponíveis no HuggingFace Hub, abrangendo domínios gerais, sintéticos, multilíngues e financeiros.
  • Fontes principais: finer-139 (SEC filings), ai4privacy (sintético), isotonic, gretelai-finance, nvidia-nemotron, e benchmarks gerais de NER (CoNLL-2003, WikiANN, Few-NERD, MultiNERD).
  • Escala: O corpus consolidado contém 2.369.883 sequências anotadas e 3,35 milhões de menções de entidades.
• Pipeline de Normalização:
  • Conversão de Formato: Desenvolvimento de conversores para unificar formatos heterogêneos (tags BIO inteiras, strings, offsets de caracteres e XML) para um esquema BIO (Begin, Inside, Outside) padronizado.
  • Mapeamento de Rótulos: Criação de um mapa de normalização que mapeia 80+ variantes de rótulos específicos das fontes para 48 tipos de entidades PII canônicos.
    • Exemplos: Subtipos demográficos (Primeiro Nome, Sobrenome) são consolidados em PERSON; variantes de endereços de criptomoedas são unificadas em CRYPTO_ADDRESS.
  • Filtragem e Supressão: Entidades com menos de 500 menções (principalmente artefatos de marcação HTML ou configurações de sistema) foram suprimidas para evitar ruído e problemas de aprendizado para classes raras.
• Divisão dos Dados: Aplicação de uma divisão estratificada 80/10/10 (Treino/Validação/Teste) que preserva a distribuição de fontes e tipos de entidades em cada partição, garantindo que o conjunto de teste seja representativo da diversidade do corpus.

3. Principais Contribuições

1. Corpus Unificado: O maior e mais diverso corpus de benchmark para PII até o momento, cobrindo 48 tipos de entidades canônicas em múltiplos domínios.
2. Pipeline de Normalização Reproduzível: Um método robusto para alinhar esquemas de anotação incompatíveis, permitindo a comparação direta entre sistemas treinados em dados diferentes.
3. Avaliação de Linha de Base (Baseline): Avaliação de 8 sistemas publicados no conjunto de teste mantido, estabelecendo um limite inferior quantitativo para o estado da arte atual.
4. Prova do Problema de "Silos de Domínio": Demonstração empírica de que os modelos atuais falham ao generalizar fora de seus domínios de treinamento específicos.

4. Resultados da Avaliação

O estudo avaliou oito sistemas, incluindo motores baseados em regras, modelos NER de propósito geral, modelos específicos de PII e especialistas financeiros.

• Desempenho Geral: Todos os sistemas alcançaram um F1 span-level abaixo de 0,14. O melhor sistema foi o Microsoft Presidio (F1 = 0,1385), que se beneficiou de seus reconhecimentos baseados em regex para PII estruturada.
• Falha de Generalização:
  • Modelos gerais (BERT, XLM-RoBERTa, spaCy) tiveram desempenho muito baixo (F1 entre 0,04 e 0,09), falhando em tipos de PII não presentes em seus dados de treinamento (ex: credenciais, identificadores financeiros).
  • O modelo XtremeDistil FiNER (especialista financeiro) obteve a maior precisão (0,6990), mas uma recall quase nula (0,0213) fora do domínio financeiro, confirmando o problema de silos.
  • O modelo Piiranha (específico para PII) também falhou em generalizar para a diversidade do PIIBench, obtendo F1 de apenas 0,0463.
• Análise por Tipo de Entidade:
  • Entidades comuns como LOC e PERSON tiveram desempenho moderado.
  • Tipos críticos como FINANCIAL_ENTITY (o mais frequente no teste), USERNAME, PASSWORD, IBAN e SSN tiveram F1 = 0 para a maioria dos sistemas, exceto quando cobertos por regras específicas ou dados de treinamento muito específicos.

5. Significado e Conclusão

O PIIBench demonstra que a detecção de PII em cenários de produção é um desafio significativamente mais difícil do que sugerem os benchmarks de NER tradicionais ou conjuntos de dados de domínio único.

• Impacto Científico: O benchmark expõe a incapacidade atual dos modelos de "aprender uma vez, aplicar em tudo" (generalização cruzada de domínio) para PII.
• Requisito Futuro: Estabelece que futuros modelos devem ser projetados especificamente para lidar com a diversidade de domínios e tipos de entidades, superando o limite de F1 de 0,14 atual.
• Disponibilidade: O pipeline de construção de dados e o código de avaliação estão publicamente disponíveis, permitindo que a comunidade treine e avalie novos modelos sob condições padronizadas e rigorosas.

Em suma, o PIIBench serve como um "teste de estresse" essencial para a comunidade de NLP, evidenciando que a conformidade regulatória real exige sistemas muito mais robustos do que os atualmente disponíveis.