Surrogate Substitution Preserves PHI Detectability: A Multi-Detector Equivalence Study

Resumo Técnico: A Substituição por Surrogates Preserva a Detectabilidade de PHI

Definição do Problema
A desidentificação de textos clínicos segue tipicamente dois caminhos: a redação (substituir Informações de Saúde Protegidas, ou PHI, por etiquetas como [NOME]) ou a substituição preservadora de estrutura (substituir PHI por surrogates realistas e do mesmo tipo, como "Anna S." $\to$ "Maria S."). Embora a redação seja segura, ela destrói a fluência e as propriedades distributivas necessárias para tarefas de PLN (Processamento de Linguagem Natural) a jusante. A substituição preservadora de estrutura visa manter essas propriedades, mas baseia-se em uma premissa não declarada: que o surrogate carrega o mesmo sinal para as tarefas subsequentes que o valor original.

Se uma substituição degradar silenciosamente as características das quais os detectores de PHI, modelos de Reconhecimento de Entidades Nomeadas (NER) ou parsers clínicos dependem, a transformação efetivamente "lava" o PHI para formas que as ferramentas não conseguem mais detectar. Isso cria um risco duplo: um problema de utilidade (modelos a jusante falham) e um problema de privacidade (uma rede de segurança de segunda passagem falha em capturar os dados). Avaliações anteriores frequentemente confundiram cobertura (quanto PHI é encontrado e substituído) com utilidade (se a substituição permanece detectável), ou basearam-se em testes de hipótese nula (NHST), que, com grandes amostras, tornam diferenças até mesmo negligenciáveis "estatisticamente significativas", mas operacionalmente sem sentido.

Metodologia
Os autores introduzem um protocolo de avaliação rigoroso, baseado em múltiplos detectores pareados, projetado para isolar o efeito da substituição de outras variáveis.

1. Design de Múltiplos Detectores Pareados: O estudo avalia 11 detectores diversos (abrangendo regras baseadas, transformers ajustados e LLMs de fronteira) através de 7 benchmarks (incluindo textos clínicos e de PII geral em 7 idiomas). Cada documento é pontuado em duas condições: o original ($d$) e o transformado ($d'$). Como a única variável alterada é a substituição, qualquer mudança na detecção é atribuível exclusivamente ao surrogate.
2. Desacoplamento de Cobertura e Utilidade: A utilidade é medida apenas nos spans que o desidentificador efetivamente mascara. Isso evita que uma ferramenta de baixa cobertura pareça eficaz (por mascarar apenas casos fáceis) ou que uma ferramenta de alta cobertura pareça ineficaz (devido ao ruído de spans não mascarados).
3. Teste de Equivalência (TOST): Em vez de NHST, o estudo utiliza o procedimento de Testes de Uma Cauda Dupla (TOST). Com um tamanho de amostra de 57.112 spans pareados, os autores definem uma margem de equivalência ($\Delta$) de $\pm 2$ pontos percentuais. O objetivo é provar que a mudança na detectabilidade reside dentro deste intervalo delimitado, em vez de simplesmente rejeitar uma hipótese nula de diferença zero.
4. Tipologia de Erros: Para os spans onde a detecção é perdida, os autores categorizam manualmente as falhas em defeitos do gerador (surrogates malformados, truncamento, perda de saliência) versus limites intrínsecos do detector.
5. Condições de Controle:
   • Piso de Redação: Substituir PHI por ***** para estabelecer a linha de base da perda de detectabilidade.
   • Baseline de Código Aberto: Utilizar a biblioteca open-source Faker como gerador de surrogate para determinar se os resultados são específicos de uma ferramenta ou inerentes à substituição bem formada.

Resultos Principais

• Equivalência Estatística: Através de 11 detectores e 7 benchmarks, o recall nos spans mascarados caiu de 76,1% (original) para 74,9% (transformado). A análise TOST rejeita a não-equivalência ($p \approx 3 \times 10^{-9}$), confirmando que a mudança é estatisticamente limitada dentro da margem de $\pm 2$ pontos.
• Preservação de Ranking: O ranking relativo de desempenho dos 11 detectores permaneceu estável após a transformação.
• Fonte da Perda Residual: A pequena perda residual (1,2 pontos) não se deve aos detectores tornarem-se "piores" em detectar PHI. Em vez disso, ela se concentra em defeitos específicos do gerador:
  • Surrogates Malformados/Truncados: ex., "Chicago" $\to$ "Illino" ou "Ciudad de la Habana" $\to$ "Cuidad de la Havana".
  • Perda de Saliência: Substituir uma entidade famosa (ex., "Cedars-Sinai") por uma obscura (ex., "Vidant") reduz a detecção em modelos que dependem da familiaridade do pré-treinamento.
  • X-Masking: Substituir IDs/emails por sequências de x (ex., nachorutor@... $\to$ nxxxxxxxxx@...) quebra padrões de tokens realistas, embora isso seja positivo para a privacidade.
• Generalidade: O baseline de código aberto Faker teve um desempenho pelo menos tão bom quanto a ferramenta comercial (Custodian Guardian Layer) nos spans mascarados, e significativamente melhor em benchmarks de idiomas não ingleses difíceis, onde a ferramenta comercial produziu surrogates truncados. Isso sugere que a preservação da detectabilidade é uma propriedade da substituição bem formada, e não de um algoritmo específico de um fornecedor.
• Comparação com Redação: Enquanto a redação colapsou o recall para quase 0–4%, a transformação preservadora de estrutura reteve 93–100% da detectabilidade nos spans mascarados (dependendo do detector e modo de correspondência).

Significância e Alegações
O artigo afirma fornecer um framework rigoroso para auditar transformações de privacidade que preservam a estrutura. Sua principal contribção não é a validação de uma ferramenta comercial específica, mas o estabelecimento de um protocolo que desacopla cobertura de utilidade e utiliza teste de equivalência para evitar a "armadilha do grande N".

Os autores concluem que a substituição preservadora de estrutura não esconde bem o PHI de detecções a jusante. O efeito é limitado dentro de uma margem negligenciável ($\pm 2$ pontos) e preserva os rankings dos detectores através de um painel heterogêneo. Consequentemente, tais transformações podem ser inseridas em pipelines de análise e detecção sem degradar materialmente o desempenho a jusante. O estudo enfatiza que qualquer perda de detectabilidade remanescente é atribuível à qualidade da geração do surrogate (ex.: truncamento ou corrupção de dados) e não a uma falha fundamental do conceito de substituição em si. Os autores disponibilizam os subconjuntos de avaliação, o código de pontuação e um dashboard interativo para permitir que a comunidade audite qualquer futura transformação de estrutura preservada utilizando este protocolo.