REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Resumen Técnico: REMEDI – Un Benchmark para la Evaluación de Retención y Olvido en la Inferencia de Enfermedades Clínicas Multietiqueta

Declaración del Problema
El artículo aborda el desafío del "olvido de máquinas" (machine unlearning - MU) en el dominio clínico, específicamente en lo que respecta a la eliminación de datos sensibles de pacientes de modelos de lenguaje entrenados. Mientras que regulaciones como el GDPR establecen un "derecho al olvido", el reentrenamiento de modelos desde cero tras la eliminación de datos es computacionalmente prohibitivo. Los métodos y benchmarks de MU existentes están mayoritariamente restringidos a dominios no médicos o dependen de conjuntos de datos curados sintéticamente que no logran representar las complejidades de los sistemas clínicos del mundo real. Los autores argumentan que los benchmarks actuales no capturan adecuadamente las restricciones únicas de los datos médicos, tales como las correlaciones de etiquetas, las estructuras longitudinales y los estrictos requisitos de seguridad, dejando sin claridad la efectividad de los métodos de olvido en el sector sanitario.

Metodología y Construcción del Benchmark
Para abordar estas brechas, los autores introducen REMEDI (Retención y Evaluación de Olvido en la Inferencia de Enfermedades Clínicas Multietiqueta), un benchmark diseñado para la inferencia de enfermedades clínicas multietiqueta y multiclase.

• Fuente de Datos: El benchmark utiliza la base de datos clínica MIMIC-III, centrándose en los resúmenes de alta y los diagnósticos asociados. La tarea consiste en mapear registros de salud electrónicos (EHR) con códigos ICD-9-CM. Para equilibrar la complejidad de la tarea con la relevancia clínica, los autores seleccionaron las diez categorías de enfermedades más frecuentes (p. ej., Hipertensión, Insuficiencia cardíaca, Diabetes mellitus), planteando la tarea como un problema de clasificación multietiqueta donde los pacientes pueden tener múltiples diagnósticos concurrentes.
• Configuración de la Tarea: La tarea de olvido se define como eliminación a nivel de instancia. Dado un modelo entrenado $f_\theta$, un conjunto de olvido $D_f$ (registros sensibles a eliminar) y un conjunto de retención $D_r$ (registros a preservar), el objetivo es producir un modelo con olvido $f_{\theta'}$ que se comporte como si hubiera sido entrenado exclusivamente con $D_r$, satisfaciendo al mismo tiempo las restricciones de privacidad.
• Niveles de Severidad del Olvido: REMEDI define tres escenarios distintos para probar la robustez:
  1. Instancias Distintas (Severidad Baja): Simula solicitudes de eliminación de pacientes individuales sin solapamiento entre los conjuntos de olvido y retención. El tamaño del conjunto de olvido varía de 64 a 512 instancias.
  2. Instancias Concurrentes (Severidad Media): Simula escenarios realistas donde los conjuntos de olvido y retención contienen características clínicas superpuestas (p. ej., demografía o patrones de admisión similares). La mitad de las instancias de olvido se solapan con el conjunto de retención.
  3. Instancias a Gran Escala (Severidad Alta): Simula solicitudes de eliminación masiva de datos (p. ej., cumplimiento regulatorio), con conjuntos de olvido que comprenden el 3%, 4% y 5% de los datos de entrenamiento.
• Métricas de Evaluación: El benchmark evalúa dos dimensiones críticas:
  1. Utilidad: Medida mediante puntuaciones Macro-F1 en los conjuntos de prueba, de retención y de olvido. El modelo ideal con olvido debería igualar el rendimiento de un modelo totalmente reentrenado en los conjuntos de retención y de prueba, mientras muestra un rendimiento degradado en el conjunto de olvido.
  2. Privacidad: Evaluada mediante Ataques de Inferencia de Membresía (MIA). Se entrena un clasificador binario para distinguir entre muestras del conjunto de olvido y muestras del conjunto de control basado en la pérdida del modelo. Una puntuación MIA más baja (cercana a 0) indica garantías de privacidad más fuertes, donde 0.5 representa un azar perfecto (olvido perfecto).

Configuración Experimental
Los autores evalúan cuatro métodos de olvido representativos a través de dos modelos de lenguaje biomédicos: BioLinkBERT y BioBERT. Los baselines incluyen:

1. Ascenso de Gradiente (GA): Maximiza la pérdida en los datos de olvido (con una variante GA+R que incorpora la conciencia de la retención).
2. Olvido Adversario (AU): Utiliza perturbaciones adversarias para disminuir la influencia de las muestras de olvido (con una variante regularizada por peso AU+WR).
3. Mal Maestro (BT): Utiliza destilación de conocimiento con un maestro débil para los datos de olvido y un maestro fuerte para los datos de retención.
4. SCRUB: Ajusta finamente el modelo para maximizar el desacuerdo entre las representaciones de las muestras de olvido y las de retención.

Resultados Clave

• Compromiso Utilidad-Privacidad: Los experimentos revelan un compromiso significativo entre la preservación de la utilidad y la eficacia del olvido.
• Desempeño de los Métodos:
  • Ascenso de Gradiente (GA): Causó una degradación severa del rendimiento, anulando efectivamente las capacidades de predicción del modelo. La variante consciente de la retención (GA+R) mitigó esto, pero aun así mostró limitaciones.
  • Olvido Adversario (AU): Demostró una efectividad moderada, pero tuvo dificultades con la estabilidad, particularmente en escenarios de gran escala.
  • Mal Maestro (BT): Logró una utilidad moderada, pero sufrió caídas significativas de rendimiento en escenarios de olvido a gran escala debido a la influencia residual del maestro.
  • SCRUB: Logró el mejor equilibrio entre utilidad y privacidad. Mantuvo un rendimiento cercano al del modelo reentrenado en los conjuntos de retención y de prueba, y mantuvo métricas de privacidad sólidas.
• Sensibilidad del Modelo: BioLinkBERT superó consistentemente a BioBERT tanto en la preservación de la utilidad como en el mantenimiento de la privacidad, atribuido a su preentrenamiento vinculado a entidades que captura una semántica clínica más rica. BioBERT exhibió una mayor sensibilidad a las intervenciones de olvido.
• Escalabilidad: La mayoría de los métodos de olvido optimizados para la eliminación de datos a pequeña escala tuvieron dificultades para mantener la utilidad cuando se enfrentaron a solicitudes de olvido a gran escala. SCRUB fue el único método que mantuvo consistentemente un rendimiento cercano al del modelo reentrenado en todos los tamaños de conjuntos de olvido para BioBERT.

Significancia y Contribuciones
El artículo reclama tres contribuciones principales:

1. Testbed Médico Realista: REMEDI permite la evaluación de métodos de olvido sobre datos de pacientes reales (MIMIC-III), proporcionando una evaluación más realista que los benchmarks sintéticos.
2. Escenarios de Eliminación Diversos: Introduce tres niveles de severidad de olvido (distinto, concurrente y a gran escala) que capturan diversas necesidades de eliminación de datos del mundo real, incluyendo los desafiantes escenarios de solapamiento entre olvido y retención.
3. Tarea Multietiqueta Compleja: Al centrarse en la clasificación multietiqueta con etiquetas de enfermedades correlacionadas, REMEDI presenta un banco de pruebas más exigente que los benchmarks existentes de etiqueta única. Esta complejidad resalta la dificultad de desentrelazar las representaciones aprendidas sin interrumpir las correlaciones de etiquetas válidas en el conjunto de retención.

Los autores concluyen que REMEDI revela modos de fallo de los métodos de olvido que funcionan bien en benchmarks no médicos, enfatizando la necesidad de métodos que puedan manejar las complejidades únicas de los datos clínicos, como las correlaciones de etiquetas y las solicitudes de eliminación a gran escala.