HybridPII: A Tunable High-Recall Ensemble for Automated PII Detection and Privacy Risk Assessment in Compliance-Critical Applications

Resumo Técnico: HybridPII – Um Ensemble Ajustável de Alta Sensibilidade para Detecção Automatizada de PII

Declaração do Problema
A rápida acumulação de dados textuais em diversos domínios cria riscos significativos de privacidade devido à presença de Informações de Identificação Pessoal (PII). Enquanto regulamentações como o GDPR e a Lei DPDP da Índia exigem proteção rigorosa de dados, os métodos de detecção automatizada existentes enfrentam uma dicotomia:

• Sistemas baseados em regras (Regex): Oferecem alta precisão para dados estruturados (ex: e-mails, cartões de crédito), mas sofrem com baixa sensibilidade (recall) e falham em capturar PII contextual (ex: nomes, endereços).
• Sistemas baseados em modelos (NER/Transformers): Excelam na compreensão contextual, mas podem ter dificuldades com entidades estruturadas fora do vocabulário (out-of-vocabulary) e podem ser computacionalmente dispendiosos.
• A Lacuna: Em aplicações críticas de conformidade, o custo de um falso negativo (perder uma PII) é significativamente maior do que o de um falso positivo. As ferramentas atuais, incluindo padrões da indústria como o Microsoft Presidio, frequentemente priorizam F1-scores equilibrados em vez da alta sensibilidade necessária para minimizar violações de privacidade.

Metodologia
Os autores propõem o HybridPII, um modelo de ensemble configurável projetado para maximizar a sensibilidade (recall), mantendo-se ajustável para necessidades específicas de conformidade. A arquitetura do sistema consiste em quatro módulos primários:

1. Geração de Dados: Um SyntheticPIIGenerator (usando a biblioteca Faker) criou 100 documentos realistas em quatro domínios: E-mail de Negócios, Registros Médicos, Documentos Financeiros e Documentos Jurídicos. Um subconjunto de 30 documentos foi utilizado para benchmarking.
2. Detector Baseado em Regex: Um RegexPIIDetector visa PII estruturada usando padrões curados para e-mails, números de telefone (formatos dos EUA/Índia), Aadhaar, PAN, cartões de crédito (com validação de Luhn), SSN, datas, IPs e URLs.
3. Detector de NER de Ensemble: Um EnsembleNERDetector utiliza modelos de NER do spaCy (en_core_web_sm e en_core_web_lg). Nota: O artigo reconhece um erro de instalação com o modelo en_core_web_lg, sugerindo que os resultados relatados podem depender efetivamente do modelo sm. Ele emprega um mecanismo de votação onde a confiança é a proporção de modelos que identificam uma entidade.
4. Estratégia de Fusão Híbrida: O núcleo HybridPIIDetector funde os resultados de ambos os detectores:
   • Os resultados de Regex são priorizados com uma confiança ponderada (base_confidence * regex_weight, padrão 0.7).
   • Os resultados de NER são adicionados se não forem detectados anteriormente, ponderados por ner_weight (padrão 0.3).
   • Um método detect_with_filtering permite o ajuste baseado em um limiar de confiança final.
5. Analisador de Risco de Privacidade: Uma estrutura integrada (PrivacyRiskAnalyzer) quantifica a sensibilidade do documento atribuindo pesos a tipos de PII (ex: SSN=10, EMAIL=5), calculando um score de risco normalizado (0–100) e sinalizando a relevância de conformidade (GDPR, DPDP, HIPAA).

Principais Contribuições

1. Modelo Híbrido de Alta Sensibilidade (High-Recall): Um novo ensemble combinando regex ponderado e NER, alcançando uma sensibilidade basal de 0.8324.
2. Benchmarking Abrangente: Avaliação contra quatro baselines: Apenas Regex, Apenas NER, um modelo de NER Transformer (BERT) e o toolkit Presidio.
3. Ajustabilidade via Estudo de Ablação: Demonstração de que o trade-off entre precisão e sensibilidade do modelo pode ser otimazado. Ao aplicar um limiar de confiança de 0.30 e uma divisão de pesos de 70/30 ou 50/50, o modelo atinge um F1-score ideal de 0.6519, superando o F1-score do baseline Presidio de 0.6211.
4. Estrutura de Quantificação de Risco: Um sistema automatizado para pontuar o risco de privacidade e gerar recomendações de mitigação alinhadas aos padrões regulatórios.

Resultados Experimentais

• Superioridade de Sensibilidade (Recall): O modelo Híbrido alcançou a maior sensibilidade (0.8324) entre todos os métodos testados, superando significativamente o Presidio (0.6768) e o Apenas Regex (0.4618). Isso confirma sua eficácia em minimizar PII perdidas.
• Trade-off de Precisão: A alta sensibilidade resultou em menor precisão basal (0.4626). O sistema produziu 129 Falsos Positivos (dominados pelo NER classificando incorretamente "PAN" como uma organização) versus apenas 23 Falsos Negativos.
• Significância Estatística: Testes t pareados mostraram que a melhoria do modelo Híbrido sobre o Apenas NER foi altamente significativa (p ≈ 0, Cohen's d = 1.03). A diferença entre o F1-score do Híbrido e do Apenas Regex não foi estatisticamente significativa (p = 0.9760).
• Otimização: O estudo de ablação revelou que ajustar o limiar para 0.30 e equilibrar os pesos (50/50 ou 70/30) rendeu o melhor F1-score (0.6519), tornando o sistema competitivo ou superior aos baselines da indústria em uma configuração equilibrada.
• Desempenho por Domínio: O sistema atribuiu com sucesso scores de risco mais altos aos domínios Financeiro (37.0) e de Saúde (21.0) em comparação ao Jurídico e E-commerce, identificando corretamente tipos de PII sensíveis como PAN e SSN.

Significância e Alegações
O artigo afirma que o HybridPII aborda a necessidade crítica de sistemas de alta sensibilidade na conformidade de privacidade, onde a penalidade por perder dados supera o custo de sinalizar informações não-PII. Os autores afirmam que seu sistema não é meramente um especialista em alta sensibilidade, mas uma ferramenta ajustável que pode ser adaptada para atingir F1-scores de estado da arte (0.6519) superando o Presidio. Além disso, a integração de uma estrutura de quantificação de risco eleva a ferramenta de um simples detector para uma solução abrangente de governança de dados.

Limitações e Trabalhos Futuros
Os autores reconhecem modestamente algumas limitações:

• Dados Sintéticos: A dependência de dados gerados pode não capturar totalmente as complexidades do mundo real.
• Idioma: O sistema é atualmente apenas para o inglês.
• Restrições Técnicas: O problema de instalação do en_core_web_lg pode ter suprimido potenciais ganhos de desempenho.
• Escopo: O sistema detecta menções explícitas de PII, mas não informações sensíveis inferidas ou implícitas.

Trabalhos futuros focam em reduzir falsos positivos via filtros de pós-processamento, integrar transformers ajustados (fine-tuned), adicionar suporte multilíngue e validar o sistema em conjuntos de dados diversos do mundo real.