Subject-level Inference for Realistic Text Anonymization Evaluation

1. O Problema

A avaliação atual de anonimização de texto enfrenta duas limitações críticas que impedem a proteção real da privacidade em cenários do mundo real:

• Foco em "Spans" (Trechos) em vez de Indivíduos: As métricas tradicionais baseiam-se na detecção e mascaramento de trechos explícitos de Informação Pessoalmente Identificável (PII), como nomes ou endereços. No entanto, elas falham em capturar riscos de inferência, onde um adversário pode deduzir dados sensíveis a partir do contexto, mesmo que os trechos originais estejam ocultos.
• Suposição de um Único Sujeito: A maioria dos métodos e benchmarks assume que o documento contém apenas um alvo de proteção (ex: o autor de um post ou o requerente de um caso legal). Isso ignora documentos que mencionam múltiplos indivíduos (como testemunhas em processos judiciais ou familiares em redes sociais), deixando esses "sujeitos não-alvo" desprotegidos.

2. Metodologia: O Benchmark SPIA

Os autores propõem o SPIA (Subject-level PII Inference Assessment), o primeiro benchmark que desloca a unidade de avaliação de "trechos de texto" para indivíduos.

• Construção do Dataset:
  • O SPIA contém 675 documentos de dois domínios distintos: documentos legais (baseados no TAB - Tribunal Europeu dos Direitos Humanos) e conteúdo online (baseado no PANORAMA).
  • Inclui 1.712 sujeitos identificados e 7.040 instâncias de PII anotadas.
  • Define 15 categorias de PII divididas em dois tipos: CODE (formatos fixos como e-mail, telefone, passaporte) e NON-CODE (texto livre como nome, idade, ocupação, nacionalidade).
• Framework de Avaliação em Duas Etapas:
  1. Identificação de Sujeitos: Um modelo de LLM identifica todos os indivíduos únicos no texto, distinguindo-os por papéis e descrições contextuais.
  2. Inferência de PII por Sujeito: Para cada sujeito identificado, o modelo tenta inferir as 15 categorias de PII, separando a tarefa em chamadas para tipos CODE e NON-CODE.
• Métricas Propostas:
  • IPR (Individual Protection Rate): A taxa média de proteção por sujeito, dando peso igual a cada indivíduo, independentemente de quantos dados ele tenha.
  • CPR (Collective Protection Rate): A proporção total de PIIs protegidos em todo o documento, ponderada pelo número de dados de cada sujeito.
  • 1-AAC: Uma métrica existente adaptada para avaliar apenas o sujeito-alvo, usada para comparação.

3. Contribuições Principais

• Novo Paradigma de Avaliação: SPIA é o primeiro benchmark a avaliar a privacidade no nível do sujeito e a considerar múltiplos sujeitos simultaneamente, cobrindo também a inferência contextual.
• Métricas de Proteção Realista: Introduz IPR e CPR, que medem o que um adversário pode realmente inferir, em vez de apenas contar quantos trechos foram substituídos por [redacted].
• Análise de Trade-offs: Fornece uma análise empírica robusta sobre como diferentes métodos de anonimização e modelos de linguagem (LLMs) afetam a privacidade e a utilidade do texto.

4. Resultados Chave

Os experimentos envolveram 4 métodos de anonimização (Longformer, DeID-GPT, DP-Prompt e Anonimização Adversarial) e 6 backbones de LLM. Os principais achados foram:

• O Mascaramento de Spans não Garante Proteção: Mesmo com taxas de mascaramento de trechos (Token Recall) superiores a 90%, a proteção baseada em inferência (CPR) caiu para níveis tão baixos quanto 33%. Isso significa que, embora os nomes tenham sido removidos, o contexto permitiu que adversários inferissem a identidade ou atributos dos indivíduos.
• Desigualdade na Proteção de Múltiplos Sujeitos: Métodos focados em um único sujeito-alvo (como a Anonimização Adversarial) frequentemente deixam os sujeitos não-alvo significativamente mais expostos. Em documentos legais, a proteção do sujeito-alvo foi até 11 pontos percentuais maior do que a proteção coletiva dos outros indivíduos mencionados.
• Variação por Domínio: A eficácia da anonimização varia drasticamente entre domínios. Documentos legais longos (TAB) apresentam uma lacuna maior entre mascaramento e inferência devido à riqueza de contexto, enquanto textos online curtos (PANORAMA) comportam-se de maneira diferente.
• Desempenho dos Modelos: Modelos baseados em LLMs (como DeID-GPT) geralmente superaram modelos baseados em NER tradicional (Longformer) na proteção contra inferência, embora o Longformer tenha tido melhor desempenho no mascaramento literal de trechos.

5. Significado e Impacto

O trabalho demonstra que as métricas atuais de anonimização são insuficientes para garantir a privacidade em cenários reais.

• Mudança de Foco: A comunidade deve abandonar a avaliação baseada apenas em "spans" e adotar avaliações baseadas em inferência de sujeitos.
• Proteção Equitativa: É crucial desenvolver técnicas que protejam todos os indivíduos mencionados em um documento, não apenas o autor ou o sujeito principal.
• Base para Futuras Pesquisas: O SPIA e seu framework fornecem a infraestrutura necessária para desenvolver e testar novas técnicas de anonimização que realmente previnam ataques de reidentificação e inferência, alinhando-se melhor com regulamentações como o GDPR.

Em resumo, o SPIA revela que a anonimização de texto é muito mais frágil do que se pensava, pois a simples remoção de palavras-chave não impede que a inteligência artificial reconstrua a identidade das pessoas a partir do contexto restante.