Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks

Resumo Técnico: Vazamento de Privacidade em Aprendizado Federado em Relatórios de Radiologia

Definição do Problema
O Aprendizado Federado (FL - Federated Learning) permite o treinamento de modelos de aprendizado de máquina multi-institucionais sem o compartilhamento de dados brutos, um requisito crítico para cumprir regulamentações como HIPAA e GDPR na área da saúde. No entanto, pesquisas recentes indicam que as atualizações de modelo compartilhadas (gradientes) podem ser exploradas via ataques de inversão de gradiente para reconstruir dados de entrada sensíveis. Embora essa vulnerabilidade tenha sido explorada em conjuntos de dados de linguagem genérica e imagens médicas, a extensão do vazamento de privacidade em relatórios de radiologia (texto clínico não estruturado) e o papel específico do design do tokenizador em mediar esse risco permanecem incertos. Os relatórios de radiologia contêm informações clínicas densas (diagnósticos, procedimentos, estruturas anatômicas) que, se reconstruídas, poderiam levar à reidentificação de pacientes.

Metodologia
O estudo conduz uma avaliação controlada, de pior caso, de reconstrução de texto baseada em gradiente em um ambiente de FL simulado.

• Configuração: Seis clientes de FL simulados treinaram um transformador compacto, estilo GPT-2 (codificador de 3 camadas, ~13,4M de parâmetros), em dois corpora públicos de radiologia: o conjunto de dados Dischargesum (98.206 sumários, 368.751 relatórios diagnósticos) e uma amostra de 1.500 relatórios de texto livre do MIMIC-CXR.
• Variáveis: A arquitetura do modelo subjacente foi mantida constante enquanto variava-se o tokenizador entre três estratégias:
  1. GPT-2 (Propósito geral, 50.257 tokens)
  2. RadBERT (Tokenizador de radiologia específico do domínio, 30.522 tokens)
  3. LLaMA-2 (Propósito geral, 32.000 tokens)
• Modelo de Ameaça: Um cenário de servidor malicioso ativo. O servidor controla o agregador central, observa os gradientes por cliente e insere um "módulo de impressão" leve (uma sonda linear) na arquitetura do modelo antes da distribuição. Este módulo permite que o servidor recupere analiticamente os embeddings de tokens a partir dos gradientes sem necessidade de otimização.
• Mecanismo de Ataque: O servidor utiliza um método de inversão analítica de forma fechada. Ao inserir uma sonda antes dos embeddings posicionais, o servidor captura gradientes que separam estruturalmente as contribuições de tokens individuais dentro de um lote (batch). O servidor recupera o vetor oculto para cada token e o decodifica para o token mais próximo na tabela de embeddings do respectivo tokenizador usando similaridade de cosseno, resolvendo empates com os logits da cabeça de linguagem do modelo.
• Avaliação: A fidelidade da reconstrução foi medida ao longo de cinco execuções independentes usando:
  • Acurácia de Sentença Exata: Porcentagem de sentenças que correspondem exatamente à verdade fundamental (ground truth).
  • S-BLEU, G-BLEU, ROUGE-L: Métricas para recuperação parcial de texto e sobreposição de n-gramas.
  • Recall de Termos Clínicos: Recuperação de entidades médicas específicas (diagnósticos, procedimentos, etc.) usando o modelo NER Google MedGemma contra um conjunto de referência de 1.440 termos únicos.
• Parâmetros: Experimentos variaram os tamanhos de lote (64, 128, 256) para avaliar o impacto da granularidade de agregação no vazamento.

Principais Resultados

• Vazamento Significativo: Porções substanciais dos relatórios de radiologia foram reconstruídas. A acurácia de reconstrução de sentença exata variou de 31% a 44% entre todos os tokenizadores e conjuntos de dados.
  • No tamanho de lote 64 (conjunto de dados Discharge), a acurácia foi de 42,1% (GPT-2), 42,3% (RadBERT) e 39,4% (LLaMA-2).
  • A acurácia diminuiu com tamanhos de lote maiores (por exemplo, caindo para ~34–37% no lote 256), mas permaneceu não negligenciável.
• Impacto do Tokenizador: O RadBERT demonstrou consistentemente uma maior fidelidade de reconstrução do que o GPT-2 e o LLaMA-2.
  • O RadBERT alcançou pontuações S-BLEU mais altas e recuperou mais termos clínicos (260 termos, 18,1% de recall) comparado ao GPT-2 (180 termos, 12,5%) e LLaMA-2 (136 termos, 9,4%).
  • A análise qualitativa mostrou que o RadBERT preservou entidades medicamente relevantes (ex: "cateter", "nodularidade") de forma mais fiel, enquanto tokenizadores de propósito geral frequentemente fragmentavam esses termos em subpalavras, levando a taxas de abandono (dropout) mais altas.
• Efeito do Tamanho do Lote: O aumento do tamanho do lote reduziu o vazamento (devido à média de gradientes e colisões de bins na recuperação analítica), mas não o eliminou. Mesmo no maior tamanho de lote, quase um terço das sentenças foram totalmente recuperadas.
• Recuperação de Entidades Clínicas: O ataque recuperou conceitos clínicos específicos (diagnósticos, procedimentos, medicamentos), não apenas textos padronizados (boilerplate). Um total de 380 termos clínicos únicos foi recuperado através de todos os modelos, representando uma taxa de recuperação cumulativa de 26,4% contra o conjunto de referência.

Principais Contribuições

1. Primeira Avaliação Sistemática de Tokenizadores: Este trabalho é o primeiro a isolar o design do tokenizador como a variável primária em ataques de inversão de gradiente em texto clínico, mantendo a arquitetura do modelo constante.
2. Descoberta do Trade-off Privacidade-Utilidade: O estudo revela um achado paradoxal: tokenizadores específicos de domínio (RadBERT), embora benéficos para o desempenho clínico e fidelidade semântica, inadvertidamente aumentam o risco de privacidade em ambientes de FL. Ao codificar conceitos clínicos como tokens únicos, eles reduzem o "diâmetro da superfície de ataque", tornando entidades sensíveis mais fáceis de reconstruir em comparação com os tokens de subpalavras fragmentadas de modelos de propósito geral.
3. Quantificação do Risco de Pior Caso: O artigo estabelece um limite superior de vazamento para relatórios de radiologia, demonstrando que até 44% das sentenças e 18% dos termos clínicos podem ser reconstruídos sem o compartilhamento de dados brutos, desafiando a suposição de que o FL por si só garante a privacidade para NLP clínico.

Significância e Alegações
O artigo argumenta que o design do tokenizador é uma decisão de design sensível à privacidade, não meramente uma otimização de desempenho. Os resultados sugerem que as mesmas estratégias de segmentação de vocabulário que aumentam a utilidade dos modelos clínicos (ao capturar nuances semânticas médicas) podem elevar a suscetibilidade a ataques de inversão de gradiente.

Os autores enfatizam que seus resultados representam um cenário de pior caso (servidor malicioso, sem defesas como privacidade diferencial ou agregação segura). Consequentemente, as taxas de reconstrução relatadas servem como um limite superior para o vazamento residual. O estudo conclui que o uso de FL para NLP de radiologia sem salvaguardas adicionais (ex: agregação segura, privacidade diferencial ou atestação de arquitetura do lado do cliente) impõe um risco significativo à confidencialidade do paciente sob os atuais padrões HIPAA e GDPR. O trabalho clama por auditorias de privacidade futuras que considerem explicitamente as estratégias de tokenização e motiva o desenvolvimento de proteções de privacidade robustas e conscientes do domínio para modelos de fundação clínica.