Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation

Título: De-identificação Diferencialmente Privada de Notas Clínicas Holandesas: Uma Avaliação Comparativa

1. Problema e Motivação

O compartilhamento de dados de saúde para pesquisa secundária é fundamental, mas enfrenta barreiras rigorosas impostas por regulamentações como o GDPR (Europa) e o HIPAA (EUA), que exigem a remoção de Informações Pessoais Identificáveis (PII).

• Desafio Atual: A de-identificação manual é o padrão-ouro, mas é lenta, cara e inconsistente.
• Limitações das Abordagens Atuais:
  • Métodos baseados em Reconhecimento de Entidades Nomeadas (NER) e Modelos de Linguagem (LLMs) oferecem boa utilidade, mas não fornecem garantias formais de privacidade.
  • Métodos baseados em Privacidade Diferencial (DP) oferecem garantias matemáticas contra vazamento de dados, mas frequentemente degradam severamente a utilidade dos dados (qualidade para tarefas downstream) devido ao ruído adicionado.
• Lacuna de Pesquisa: Não existiam estudos comparativos robustos focados em notas clínicas em holandês, nem investigações sobre a combinação de pré-processamento linguístico (NER/LLM) com DP para mitigar a perda de utilidade.

2. Metodologia

Os autores realizaram um estudo comparativo utilizando o corpus Dutch ADE (102 notas clínicas de UTI, com 107.110 palavras), anotado manualmente para servir como referência (gold standard).

2.1. Pipelines de De-identificação

Foram avaliadas cinco abordagens distintas:

1. PNER: De-identificação puramente baseada em NER (usando o modelo gliner-multi-v2.1 pré-treinado).
2. PLLM: De-identificação puramente baseada em LLMs (Zero-shot), testando modelos como GPT-4o, DeepSeek (8B/70B), LLaMA-3.1 e MedGEMMA.
3. PDP: Aplicação direta de mecanismos de Privacidade Diferencial (DP) no texto bruto. Foram testados dois mecanismos:
   • Metric-DP: Adição de ruído geométrico no espaço de embeddings (usando BERTje).
   • RANTEXT: Substituição de tokens baseada em listas de adjacência aleatória geradas dinamicamente.
4. PNER→DP: Pré-processamento com NER seguido de DP.
5. PLLM→DP: Pré-processamento com LLM seguido de DP (usando o DeepSeek-70B como melhor modelo de código aberto para privacidade).

2.2. Métricas de Avaliação

• Vazamento de Privacidade (Intrínseco): Percentual de PII restante no texto de-identificado em comparação com a versão manual. Diferenciação entre PII Direta (nome, telefone, data de nascimento) e PII Indireta (quase-identificadores).
• Utilidade (Extrínseco): Desempenho de modelos de classificação treinados nos dados de-identificados em duas tarefas downstream:
  1. Classificação de Entidades: Identificação de menções a drogas e distúrbios.
  2. Classificação de Relações: Detecção de Eventos Adversos a Medicamentos (ADE) entre pares droga-distúrbio.

3. Contribuições Principais

1. Primeiro Estudo em Holandês: É a primeira investigação comparativa de métodos de anonimização de texto clínico em holandês, preenchendo uma lacuna significativa em relação aos estudos existentes em inglês e francês.
2. Estratégia Híbrida Proposta: Demonstra que a combinação de LLMs (ou NER) como etapa de pré-processamento seguida de Privacidade Diferencial oferece um equilíbrio superior entre privacidade e utilidade, superando a aplicação direta de DP.
3. Análise de Vazamento Direto vs. Indireto: Fornece uma análise granular de como diferentes pipelines vazam tipos específicos de PII, mostrando que métodos híbridos conseguem manter o vazamento de PII direta abaixo de níveis críticos.
4. Avaliação de Eficiência Operacional: Compara o custo temporal da de-identificação manual (47+ horas) versus pipelines automatizados (minutos), destacando a viabilidade prática das soluções automáticas.

4. Resultados Chave

4.1. Privacidade e Vazamento

• DP Pura (PDP): Apresentou o maior vazamento de privacidade em todos os orçamentos de privacidade ($\epsilon$), falhando em proteger dados sensíveis sem sacrificar drasticamente a utilidade.
• Abordagens Híbridas (LLM→DP e NER→DP):
  • Reduziram significativamente o vazamento de PII.
  • A combinação LLM + Metric-DP foi a única estratégia a manter o vazamento de PII total abaixo de 10%, com a maioria sendo PII indireta.
  • O pré-processamento com LLM removeu a maior parte das PII diretas antes da aplicação do ruído DP, permitindo que o mecanismo DP focasse em proteger os dados residuais com menos ruído.
• Mecanismos DP: O Metric-DP geralmente preservou melhor a privacidade em orçamentos baixos a médios em comparação ao RANTEXT, que mostrou um aumento mais acentuado no vazamento à medida que $\epsilon$ aumentava.

4.2. Utilidade (Desempenho Downstream)

• Classificação de Entidades: A utilidade melhorou conforme $\epsilon$ aumentou. O pipeline LLM→DP superou consistentemente o NER→DP e o DP puro, atingindo pontuações F1 próximas às do baseline não privado em orçamentos moderados ($\epsilon \ge 128$).
• Classificação de Relações (ADE): Esta tarefa foi mais sensível ao ruído. O DP puro degradou severamente o desempenho (F1 próximo de zero em orçamentos baixos). No entanto, as abordagens híbridas recuperaram parte significativa da utilidade, embora ainda não tenham alcançado o desempenho do baseline não privado.
• LLMs Isolados: O GPT-4o (proprietário) e o MedGEMMA (open-weight) mostraram excelente desempenho em utilidade e baixo vazamento quando usados sozinhos, mas a estratégia híbrida é recomendada para garantir garantias formais de privacidade.

4.3. Eficiência

• A de-identificação manual levou mais de 47 horas.
• Os pipelines automatizados (ex: Metric-DP) levaram apenas 3 minutos e 16 segundos por execução, permitindo iteração rápida e escalabilidade.

5. Significado e Conclusões

O estudo conclui que não existe uma solução única que ofereça privacidade perfeita e utilidade máxima. A chave para a de-identificação eficaz em textos clínicos complexos reside em estratégias híbridas:

1. Utilizar um modelo linguístico forte (preferencialmente um LLM, mas NER é uma alternativa viável) para remover explicitamente os identificadores diretos.
2. Aplicar a Privacidade Diferencial como uma segunda camada de proteção sobre o texto já "limpo", garantindo proteção contra inferências residuais e ataques de re-identificação.

Recomendações para Praticantes:

• Priorizar pipelines híbridos (LLM/NER + DP) em vez de aplicar DP diretamente ao texto bruto.
• Validar o desempenho em tarefas downstream específicas (não apenas medir vazamento intrínseco), pois a utilidade para tarefas de relação é mais difícil de preservar sob perturbação.
• Manter um conjunto de referência manual para auditoria, mesmo ao adotar métodos automatizados.

Limitações: O estudo foca exclusivamente em dados holandeses e em um corpus pequeno (devido à sensibilidade dos dados), o que pode limitar a generalização para outros idiomas ou contextos sem a criação de benchmarks públicos sintéticos. Além disso, a métrica de vazamento é empírica (baseada em comparação com referência manual) e não substitui as garantias teóricas da DP.