A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage

Título: Uma Falsa Sensação de Privacidade: Avaliando a Sanitização de Dados Textuais Além do Vazamento de Privacidade Superficial

1. O Problema

A proteção da privacidade em dados textuais não estruturados (como registros médicos ou diálogos com IA) é crítica para pesquisas e colaborações comerciais. As abordagens atuais de sanitização baseiam-se frequentemente na remoção de Informações Pessoalmente Identificáveis (PII) explícitas (nomes, endereços) ou na geração de dados sintéticos.

No entanto, o artigo identifica uma falha fundamental: a ilusão de privacidade. Métodos atuais são avaliados principalmente por métricas lexicais (como correspondência exata de palavras ou ROUGE), que medem apenas o vazamento superficial. Eles ignoram marcadores textuais sutis e contextuais (como rotinas sociais, hábitos ou detalhes médicos específicos) que, quando combinados com informações auxiliares (ex: redes sociais), permitem que adversários reidentifiquem indivíduos e infiram atributos sensíveis (idade, histórico de uso de substâncias, condições de saúde mental), mesmo após a remoção de PII explícita.

2. Metodologia Proposta

Os autores introduzem um novo framework de avaliação de privacidade baseado em semântica que simula um ataque de reidentificação para quantificar o risco real de vazamento de informações. O framework opera em duas etapas principais:

1. Vinculação (Linking):
   • Utiliza um recuperador semântico denso (GRIT) para conectar informações auxiliares (obtidas por um adversário de fontes externas) aos registros sanitizados.
   • Diferente de métodos anteriores que assumem um mapeamento um-para-um, este método busca correspondências semânticas entre "afirmações atômicas" (atomic claims) extraídas dos dados.
2. Avaliação Semântica (Semantic Scoring):
   • Compara o registro sanitizado vinculado com o registro original privado em nível de afirmação atômica.
   • Utiliza um Modelo de Linguagem (LLM) para classificar a similaridade semântica em uma escala de 1 a 3 (1 = informação idêntica, 3 = não suportada).
   • Métrica de Privacidade: Calculada como a distância semântica média. Um escore baixo indica vazamento significativo (falha de privacidade), enquanto um alto escore indica proteção.
   • Métrica de Utilidade: Avalia se o texto sanitizado mantém sua utilidade para tarefas downstream (ex: responder perguntas médicas ou manter a distribuição de categorias de conversa).

O estudo compara duas categorias de sanitização:

• Remoção de Identificadores (Nível de Amostra): Ferramentas comerciais (Azure AI), detecção de spans e anonimização iterativa com LLMs.
• Síntese de Dados (Nível de Conjunto de Dados): Geração de texto sintético com e sem Privacidade Diferencial (DP).

3. Principais Contribuições

• Novo Framework de Avaliação: Propõe uma métrica de privacidade baseada em semântica que supera as limitações das métricas lexicais tradicionais, capturando vazamentos de informações contextuais e inferenciais.
• Evidência de "Falsa Sensação de Privacidade": Demonstra empiricamente que métodos de estado da arte, incluindo ferramentas comerciais de remoção de PII, falham em proteger dados contra ataques de reidentificação semântica.
• Análise de Trade-off Privacidade-Utilidade: Avalia sistematicamente o custo da privacidade na qualidade dos dados, mostrando que a Privacidade Diferencial (DP) protege bem, mas degrada severamente a utilidade do texto.
• Benchmarking Abrangente: Testa múltiplos métodos em dois conjuntos de dados reais: MedQA (registros médicos) e WildChat (diálogos humanos-IA).

4. Resultados Chave

Os experimentos revelaram descobertas alarmantes sobre a eficácia das técnicas atuais:

• Falha da Remoção de PII Superficial:
  • A ferramenta comercial de remoção de PII da Azure AI falhou em proteger 74% das informações no conjunto de dados MedQA. Embora nomes e datas fossem removidos, o contexto semântico (ex: "histórico social", "resultados diagnósticos") permanecia intacto, permitindo a reidentificação.
  • Métricas lexicas (como ROUGE) superestimaram a privacidade, mostrando escores altos enquanto a distância semântica (vazamento real) era baixa.
• Vazamento em Dados Sintéticos:
  • Dados sintéticos gerados sem Privacidade Diferencial ainda apresentaram vazamento de 48% das informações reidentificáveis.
• O Custo da Privacidade Diferencial (DP):
  • Métodos de síntese com DP forneceram a melhor proteção de privacidade (escores de vazamento muito baixos).
  • Contudo, isso veio a um custo proibitivo de utilidade. No MedQA, os registros sintéticos com DP tiveram utilidade inferior à de uma linha de base degenerada (que removia as notas originais). A qualidade do texto caiu drasticamente (36% de queda avaliada pelo GPT-4o), gerando inconsistências semânticas e contradições (ex: um paciente com saúde geral boa, mas com exames físicos anormais).
• Robustez do Ataque:
  • O ataque funcionou mesmo com informações auxiliares parciais ou parafraseadas, demonstrando que a vulnerabilidade é inerente à estrutura semântica dos dados sanitizados, não apenas a palavras-chave específicas.

5. Significado e Conclusão

O artigo conclui que as técnicas atuais de sanitização de texto oferecem uma falsa sensação de segurança. A simples remoção de identificadores explícitos ou a reescrita superficial não é suficiente para proteger a privacidade em dados não estruturados.

• Mudança de Paradigma: A comunidade deve abandonar a dependência exclusiva de avaliações lexicais e adotar avaliações semânticas que considerem como informações auxiliares podem ser combinadas com dados sanitizados para inferir atributos sensíveis.
• Desafio Futuro: Existe um trade-off crítico não resolvido: os métodos que oferecem proteção robusta (como DP) destroem a utilidade dos dados para tarefas complexas, enquanto os métodos que mantêm a utilidade falham em proteger a privacidade.
• Recomendação: É urgente desenvolver novos métodos de sanitização que protejam contra vazamentos de informações em nível semântico sem sacrificar a qualidade e a utilidade dos dados para fins de pesquisa e aplicação.

Em suma, o trabalho serve como um alerta crítico para pesquisadores e profissionais de dados: sanitizar texto não é apenas esconder nomes; é garantir que a narrativa completa do indivíduo não possa ser reconstruída através de pistas contextuais.