REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Resumo Técnico: REMEDI – Um Benchmark para Avaliação de Retenção e Desaprendizado em Inferência de Doenças Clínicas Multirrótulo

Declaração do Problema
O artigo aborda o desafio do "desaprendizado de máquina" (machine unlearning - MU) no domínio clínico, especificamente no que diz respeito à remoção de dados sensíveis de pacientes de modelos de linguagem treinados. Embora regulamentações como o GDPR estabeleçam o "direito ao esquecimento", o retreinamento de modelos do zero após a remoção de dados é computacionalmente proibitivo. Os métodos e benchmarks de MU existentes são amplamente restritos a domínios não médicos ou dependem de conjuntos de dados curados sinteticamente que falham em representar as complexidades dos sistemas clínicos do mundo real. Os autores argumentam que os benchmarks atuais não capturam adequadamente as restrições únicas dos dados médicos, tais como correlações de rótulos, estruturas longitudinais e requisitos rigorosos de segurança, deixando a eficácia dos métodos de desaprendizado na saúde amplamente incerta.

Metodologia e Construção do Benchmark
Para abordar essas lacunas, os autores introduzem o REMEDI (Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference), um benchmark adaptado para inferência de doenças clínicas multirrótulo e multiclasse.

• Fonte de Dados: O benchmark utiliza o banco de dados clínico MIMIC-III, focando em sumários de alta e resultados diagnósticos associados. A tarefa envolve o mapeamento de registros eletrônicos de saúde (EHRs) para códigos ICD-9-CM. Para equilibrar a complexidade da tarefa com a relevância clínica, os autores selecionaram as dez categorias de doenças mais frequentes (ex: Hipertensão, Insuficiência cardíaca, Diabetes mellitus), enquadrando a tarefa como um problema de classificação multirrótulo, onde os pacientes podem apresentar múltiplos diagnósticos simultâneos.
• Configuração da Tarefa: A tarefa de desaprendizado é definida como remoção ao nível de instância. Dado um modelo treinado $f_\theta$, um conjunto de esquecimento $D_f$ (registros sensíveis a serem removidos) e um conjunto de retenção $D_r$ (registros a serem preservados), o objetivo é produzir um modelo desaprendido $f_{\theta'}$ que se comporte como se tivesse sido treinado exclusivamente em $D_r$, enquanto satisfaz restrições de privacidade.
• Níveis de Severidade do Desaprendizado: O REMEDI define três cenários distintos para testar a robustez:
  1. Instâncias Distintas (Baixa Severidade): Simula solicitações de exclusão de pacientes individuais sem sobreposição entre os conjuntos de esquecimento e retenção. Os tamanhos do conjunto de esquecimento variam de 64 a 512 instâncias.
  2. Instâncias Concorrentes (Média Severidade): Simula cenários realistas onde os conjuntos de esquecimento e retenção contêm características clínicas sobrepostas (ex: demografia ou padrões de admissão semelhantes). Metade das instâncias de esquecimento sobrepõe-se ao conjunto de retenção.
  3. Instâncias de Grande Escala (Alta Severidade): Simula solicitações de remoção de dados em massa (ex: conformidade regulatória), com conjuntos de esquecimento compreendendo 3%, 4% e 5% dos dados de treinamento.
• Métricas de Avaliação: O benchmark avalia duas dimensões críticas:
  1. Utilidade: Medida via pontuações Macro-F1 nos conjuntos de teste, retenção e esquecimento. O modelo ideal desaprendido deve igualar o desempenho de um modelo totalmente retreinado nos conjuntos de retenção e de teste, enquanto apresenta desempenho degradado no conjunto de esquecimento.
  2. Privacidade: Avaliada via Ataques de Inferência de Membros (MIA). Um classificador binário é treinado para distinguir entre amostras do conjunto de esquecimento e amostras do conjunto de reserva (holdout) com base na perda do modelo. Uma pontuação MIA mais baixa (próxima de 0) indica garantias de privacidade mais fortes, sendo 0,5 representando o acaso perfeito (desaprendizado perfeito).

Configuração Experimental
Os autores avaliam quatro métodos representativos de desaprendizado em dois modelos de linguagem biomédicos: BioLinkBERT e BioBERT. Os baselines incluem:

1. Ascensão de Gradiente (Gradient Ascent - GA): Maximiza a perda nos dados de esquecimento (com uma variante GA+R que incorpora a consciência da retenção).
2. Desaprendizado Adversário (Adversarial Unlearning - AU): Utiliza perturbações adversárias para diminuir a influência das amostras de esquecimento (com uma variante AU+WR que utiliza regularização de peso).
3. Bad Teacher (BT): Utiliza destilação de conhecimento com um professor fraco para os dados de esquecimento e um professor forte para a retenção.
4. SCRUB: Ajusta finamente o modelo para maximizar o desacordo entre as representações das amostras de esquecimento e de retenção.

Principais Resultados

• Compromisso Utilidade-Privacidade: Os experimentos revelam um compromisso significativo entre a preservação da utilidade e a eficácia do desaprendizado.
• Desempenho dos Métodos:
  • Ascensão de Gradiente (GA): Causou uma degradação severa de desempenho, anulando efetivamente as capacidades de predição do modelo. A variante consciente da retenção (GA+R) mitigou isso, mas ainda mostrou limitações.
  • Desaprendizado Adversário (AU): Demonstrou eficácia moderada, mas teve dificuldades com estabilidade, particularmente em cenários de grande escala.
  • Bad Teacher (BT): Alcançou preservação de utilidade moderada, mas sofreu quedas significativas de desempenho em cenários de esquecimento de grande escala devido à influência residual do professor.
  • SCRUB: Alcançou o melhor equilíbrio entre utilidade e privacidade. Manteve o desempenho próximo ao do modelo retreinado em vários tamanhos de conjunto de esquecimento e manteve métricas de privacidade fortes.
• Sensibilidade do Modelo: O BioLinkBERT superou consistentemente o BioBERT tanto na preservação da utilidade quanto na manutenção da privacidade, atribuído ao seu pré-treinamento de ligação de entidades que captura semânticas clínicas mais ricas. O BioBERT exibiu maior sensibilidade às intervenções de desaprendizado.
• Escalabilidade: A maioria dos métodos de desaprendizado otimizados para remoção de dados em pequena escala teve dificuldade em manter a utilidade ao enfrentar solicitações de desaprendizado de grande escala. O SCRUB foi o único método a manter consistentemente o desempenho próximo ao do modelo retreinado em todos os tamanhos de conjunto de esquecimento para o BioBERT.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Ambiente de Teste Médico Realista: O REMEDI permite a avaliação de métodos de desaprendizado em dados de pacientes reais (MIMIC-III), proporcionando uma avaliação mais realista do que os benchmarks sintéticos.
2. Cenários de Remoção Diversos: Introduz três níveis de severidade de desaprendizado (distinto, concorrente e de grande escala) que capturam diversas necessidades reais de remoção de dados, incluindo cenários desafiadores de sobreposição entre esquecimento e retenção.
3. Tarefa Multirrótulo Complexa: Ao focar na classificação multirrótulo com rótulos de doenças correlacionados, o REMEDI apresenta um ambiente de teste mais exigente do que os benchmarks de rótulo único existentes. Essa complexidade destaca a dificuldade de desvincular representações aprendidas sem interromper as correlações de rótulos válidas no conjunto de retenção.

Os autores concluem que o REMEDI revela modos de falha de métodos que apresentam bom desempenho em benchmarks não médicos, enfatizando a necessidade de métodos que possam lidar com as complexidades únicas dos dados clínicos, como correlações de rótulos e solicitações de exclusão de grande escala.