Resumo Técnico: Avaliação de Privacidade Clinicamente Fundamentada para LMs Médicos

Definição do Problema

Modelos de linguagem (LMs) médicos treinados em notas clínicas longitudinais capturam práticas de tratamento e dados específicos de pacientes que corpora de domínio geral não possuem. No entanto, esse codificação introduz riscos significis de privacidade. Trabalhos anteriores demonstraram que LMs podem memorizar e reproduzir dados de treinamento, uma preocupação exacerbada em ambientes clínicos pelas práticas de documentação "copy-forward" (copiar e colar), que criam sequências duplicadas ou quase duplicadas altamente suscetíveis à memorização.

As avaliações de privacidade existentes frequentemente dependem de modelos de ameaça de domínio geral, onde os adversários possuem prefixos de treinamento arbitrários ou buscam extrair atributos pessoais genéricos. Essas abordagens falham em considerar as normas contextuais da privacidade clínica. Em ambientes clínicos, o risco não depende meramente de se o modelo reproduz texto, mas de se a divulgação vincula-se a um indivíduo específico e revela informações sensíveis (ex: diagnósticos) que poderiam levar à discriminação ou danos. Além disso, métricas padrão como memorização de correspondência exata podem confundir a vazão de dados específicos de pacientes com artefatos de documentação benignos e padronizados, comuns em prontuários eletrônicos (EHRs).

Metodologia

Os autores introduzem um framework de avaliação de privacidade clinicamente fundamentado, projetado para sondar LMs médicos sob condições adversárias realistas. A metodologia consiste em três componentes principais:

1. Acesso Adversário Graduado (Priors)

Em vez de assumir o acesso a prefixos completos de notas, o framework simula atacantes com níveis variáveis de conhecimento plausível sobre um paciente alvo. Os priors ($\pi$) são organizados ao longo de um eixo de acesso crescente:

• Público: Demografia (idade, gênero, ocupação, etc.) inferível de registros públicos.
• Público + Nome: Demografia mais o nome do paciente.
• Público + Nome + Medicamentos: Inclui uma lista parcial de medicamentos (acessível a farmacêuticos ou cuidadores).
• Informações do Atendimento (Encounter Info): Metadados rotineiros (nome, data de nascimento, data da visita, provedor, local da prática) visíveis para pessoal de faturamento ou familiares.
• Informações do Atendimento + Queixa Principal / HPI: Fragmentos privilegiados da própria nota clínica, modelando vazamentos parciais de pior cenário.

2. Medidas de Privacidade de Duas Dimensões

O framework avalia o vazamento através de duas dimensões complementares:

• Memorização Verbatim (Literal): Medida via correspondência de $n$-gramas ao nível de token ($\tau=30$) entre o texto gerado e as notas de treinamento. Crucialmente, os autores decompõem as regiões memorizadas por tipo de conteúdo (clinicamente revelador vs. padronizado/template) e especificidade do paciente (único para o alvo vs. duplicado entre vários pacientes). Isso distingue a vazão prejudicial da reprodução benigna de artefatos de documentação compartilhados (ex: "Negativo para dor torácica").
• Vazão Semântica de Diagnósticos Sensíveis: Avalia se o modelo divulga diagnósticos de alto risco (Aborto, HIV, Depressão, Ansiedade, Bipolar, PTSD) através de menção direta, sintomas associados ou medicamentos, mesmo sem sobreposição de texto exato.

3. Design de Coorte Pareada

Para atribuir o vazamento à inclusão nos dados de treinamento em vez da inferência demográfica, os autores utilizam um design de coorte pareada de treino/não-treino. Usando pareamento por escore de propensão em idade, sexo e volume de notas, eles comparam o desempenho do modelo em pacientes presentes no corpus de treinamento versus aqueles ausentes. Isso isola a "vazão atribuível ao treinamento" de correlações populacionais.

Configuração Experimental

O framework foi aplicado a um LM moderno do tipo decoder-only (Qwen3.5-9B) continuamente pré-treinado em 1 bilhão de tokens de notas clínicas longitudinais de 26.948 pacientes de 192 práticas de medicina de família rurais nos EUA. O conjunto de dados abrange de 2019 a 2025, com um acompanhamento mediano de 3,8 anos por paciente.

Principais Resultados

1. O Vazamento Escala com o Acesso Adversário

A vazão de privacidade aumenta significativamente conforme o acesso do adversário aos metadados do paciente cresce:

• Memorização Verbatim: Sob o prior de Informações do Atendimento (nome, data de nascimento, data da visita, provedor, local), o modelo reproduz o conteúdo literal de uma média de 2,81 notas distintas ao longo da linha do tempo de um paciente. As taxas de memorização saltam de 4,8% (prior Público) para 85,6% (Informações do Atendimento + Queixa Principal + HPI).
• Divulgação Semântica: Metadados rotineiros sozinhos (Informações do Atendimento) permitem a recuperação de diagnósticos sensíveis com alta precisão. O modelo atinge um AUROC de 0,91 para aborto e 0,81 para HIV, com Valores Preditivos Positivos (VPP) atingindo 0,98 e 1,0, respectivamente.
• Atribuição de Treinamento: Uma lacuna significativa emerge entre as coortes de treino e não-treino no nível de Informações do Atendimento (+0,191 delta de AUROC), confirmando que a vazão é atribuível à presença do paciente nos dados de treinamento, e não apenas à inferência por demografia.

2. Métricas de Correspondência Exata Superestimam o Dano

O estudo revela que métricas padrão de correspondência exata podem inflar as estimativas de risco de privacidade:

• Sob o prior de Informações do Atendimento, 36% dos tokens memorizados são padronizados/templates (ex: negativos de revisão de sistemas padrão) em vez de clinicamente reveladores.
• 45% das regiões memorizadas recorrem em múltiplos pacientes, indicando que grande parte do texto "memorizado" é boilerplate compartilhado.
• No entanto, dentro da linha do tempo de um único paciente, 37,5% das regiões clinicamente reveladoras e específicas do paciente recorrem em múltiplas notas, sugerindo que a documentação "copy-forward" amplifica a memorização de conteúdo sensível.

Significância e Alegações

O artigo afirma fornecer um framework prático para avaliação de privacidade contextual de LMs médicos. Suas principais contribuições são:

1. Modelagem de Ameaça Realista: Demonstrar que adversários com apenas metadados rotineiros de atendimento (frequentemente visíveis para funcionários não clínicos ou familiares) podem elicitar memorização literal substancial e recuperação de diagnósticos sensíveis, desafiando a suposição de que a desidentificação ou a falta de acesso total à nota mitiga o risco.
2. Medição de Vazão Matizada: Destacar que tratar toda memorização como equivalente obscurece a natureza do risco. O framework distingue entre vazão específica do paciente e clinicamente reveladora e a reprodução benigna de artefatos de documentação compartilhados.
3. Risco Longitudinal: Fornecer evidências de que o treinamento em dados longitudinais cria um risco onde um único dado (ex: uma data de visita) pode desbloquear todo o histórico de um paciente, incluindo diagnósticos sensíveis como HIV e aborto.

Os autores concluem que auditorias de privacidade para LMs clínicos devem ir além de testes genéricos de memorização para avaliar a vazão sob níveis realistas de acesso e caracterizar a significância clínica e a especificidade do paciente da informação revelada. Eles observam limitações, incluindo o uso de dados identificáveis (em vez de desidentificados) para avaliação e o foco em modelos base sem pós-treinamento, sugerindo que trabalhos futuros devem abordar esses fatores.