AMNESIA: A Large Scale Medical Unlearning Benchmark Suite with Disease-Informed Analysis

Resumen Técnico: AMNESIA

Planteamiento del Problema
El conocimiento médico es dinámico, lo que requiere la capacidad de actualizar o eliminar selectivamente la información de los Modelos de Lenguaje de Gran Escala (LLM) entrenados sin necesidad de un reentrenamiento completo. Esta capacidad, conocida como desaprendizaje de máquinas (machine unlearning), es crítica para el cumplimiento de las regulaciones de privacidad (por ejemplo, el "derecho al olvido" del RGPD) y para corregir registros médicos erróneos. Sin embargo, los bancos de pruebas de desaprendizaje actuales dependen de datos sintéticos o tareas de dominio general a pequeña escala, dejando el desaprendizaje clínico poco estudiado. Los métodos actuales carecen de una evaluación estandarizada para el cuestionario-respuesta (QA) médico, donde la distinción entre olvidar los datos de un paciente específico y preservar el conocimiento clínico compartido es compleja.

Metodología
Los autores presentan AMNESIA, el primer banco de pruebas de gran escala y código abierto para el desaprendizaje médico. La metodología abarca la construcción del conjunto de datos, el diseño del banco de pruebas y las métricas de evaluación:

• Construcción del Conjunto de Datos: El conjunto de datos comprende 70,560 pares de pregunta-respuesta (QA) derivados de 8,820 notas de pacientes desidentificadas procedentes de PMC-Patients-v2. Estas notas abarcan 11 categorías de enfermedades (p. ej., Cáncer, Cardiovascular, Infecciosa/Inmune).
  • Generación de QA: Para cada paciente, se generan 8 QA: 4 preguntas factuales (que prueban el recuerdo directo) y 4 preguntas de razonamiento (que prueban la inferencia clínica a través de múltiples hallazgos).
  • Validación: Una evaluación con intervención humana utilizando un panel de tres LLM (MedGemma, Qwen, GPT-5-Mini) validó las etiquetas de las enfermedades y la calidad de los QA, logrando altas tasas de concordancia.
• Partición de Datos: El banco de pruebas admite dos escenarios de olvido:
  1. Paciente Aleatorio a Nivel de Paciente: Se seleccionan subconjuntos aleatorios de pacientes (del 5% al 25%) para el olvido.
  2. A Nivel de Enfermedad: Se seleccionan pacientes que comparten categorías de enfermedades específicas para el olvido, probando la capacidad del modelo para desaprender condiciones específicas mientras retiene otras.
  • Se crea un Conjunto de Reserva (Holdout Set) con QAs no vistos por paciente para evaluar la generalización.
• Modelo Base y Métodos de Desaprendizaje: El banco de pruebas utiliza LLaMA 3-8B como modelo base, preentrenado en notas de pacientes y ajustado (fine-tuned) en los pares de QA. Se evalúan cuatro métodos representativos de desaprendizaje del marco de trabajo OpenUnlearning:
  • RMU: Dirige las representaciones internas de las entradas del conjunto de olvido hacia objetivos aleatorios.
  • GradDiff: Maximiza la pérdida en el conjunto de olvido mientras minimiza la pérdida en el conjunto de retención mediante ascenso de gradiente.
  • KL-Min: Utiliza el ascenso de gradiente en el conjunto de olvido con regularización de divergencia KL para preservar las salidas del conjunto de retención.
  • SimNPO: Trata las muestras olvidadas como preferencias negativas sin un modelo de referencia.
  • Nota: Para mayor eficiencia y consistencia con trabajos previos, el desaprendizaje se aplica selectivamente a la capa 7 del modelo.
• Métricas de Evaluación:
  • Métricas Estándar: Utilidad del Modelo (MU) en conjuntos de retención y Eficacia de Olvido de la Respuesta (AFE) en conjuntos de olvido, calculadas mediante la media armónica de ROUGE, Coincidencia Exacta (EM), Similitud de Coseno (CS) y Puntuación de Implicación (ES). La Entropía de Tokens (TE) y la Puntuación de Degradación (DS) miden el colapso de la salida.
  • Métrica Novedosa: Fuga de Palabras Clave de la Enfermedad (LS). Esta métrica cuantifica la reaparición de terminología médica específica de la enfermedad (extraída mediante scispaCy y cotejada con listas semilla) en las salidas del modelo, abordando las violaciones de privacidad donde los términos específicos persisten a pesar de una AFE alta.

Contribuciones Clave

1. Primer Banco de Pruebas Clínico a Gran Escala: AMNESIA proporciona 70,560 QA de 8,820 pacientes a través de 11 categorías de enfermedades, distinguiendo entre el recuerdo factual y el razonamiento clínico.
2. Evaluación Multinivel: Introduce escenarios de olvido a nivel de enfermedad, yendo más allá de las divisiones aleatorias de pacientes para analizar cómo el desaprendizaje afecta al conocimiento médico compartido.
3. Análisis Exhaustivo: El artículo evalúa cuatro métodos de desaprendizaje diversos, revelando sus limitaciones en contextos clínicos.
4. Métrica de Fuga de Dominio Específico: La introducción de una evaluación de palabras clave centrada en la enfermedad para detectar la fuga de terminología médica, una preocupación de privacidad crítica en la atención médica.
5. Lanzamiento Abierto: El conjunto de datos, el código y los modelos entrenados se liberan públicamente sin restricciones.

Resultados y Análisis

• Desaprendizaje de Paciente Aleatorio: Los métodos existentes tienen dificultades significativas.
  • RMU y SimNPO mantienen una alta Utilidad del Modelo (MU) pero fallan en olvidar eficazmente (baja AFE), lo que sugiere que no borran la información del paciente.
  • KL-Min y GradDiff logran una alta AFE pero a costa de la Utilidad del Modelo, resultando a menudo en el colapso del modelo (salidas repetitivas e incoherentes) en lugar de un borrado selectivo.
  • Evaluación de Reserva (Holdout): Los modelos tienden a olvidar QAs de entrenamiento específicos en lugar de las notas de los pacientes subyacentes, ya que no logran responder preguntas no vistas sobre el mismo paciente.
• Desaprendizaje a Nivel de Enfermedad:
  • El desaprendizaje de pacientes con la misma enfermedad revela un compromiso (trade-off): a medida que aumenta el tamaño del conjunto de olvido, la AFE mejora, pero la MU para los pacientes retenidos con la misma enfermedad se degrada sustancialmente. Esto indica que eliminar una masa crítica de pacientes con una condición específica erosiona el conocimiento clínico compartido de dicha condición.
  • KL-Min y GradDiff muestran un desaprendizaje dirigido a la enfermedad (preservando la utilidad para pacientes fuera de la enfermedad), pero aún sufren pérdida de utilidad para los pacientes retenidos con la misma enfermedad.
• Fuga de Palabras Clave:
  • Métodos como RMU y SimNPO exhiben una fuga significativa de términos específicos de la enfermedad (tasas de fuga del 10–25%), incluso cuando la AFE parece moderada.
  • KL-Min y GradDiff logran una fuga cercana a cero, pero esto se atribuye a la generación de salidas incoherentes (altas puntuaciones de degradación) en lugar de un desaprendizaje exitoso y seguro.
  • En las divisiones a nivel de enfermedad, la fuga disminuye a medida que el conjunto de olvido crece, correlacionándose con la erosión del conocimiento médico compartido.

Significado y Reivindicaciones
El artículo afirma que AMNESIA expone limitaciones críticas en los métodos actuales de desaprendizaje aplicados a datos médicos. Los autores sostienen que:

1. Los métodos actuales son insuficientes: O bien fallan en olvidar eficazmente, o bien logran el olvido mediante el colapso del modelo, siendo ninguna de las dos opciones aceptable para aplicaciones clínicas.
2. Separación entre Paciente y Conocimiento: El desaprendizaje de pacientes individuales a menudo erosiona el conocimiento de otros con la misma condición, resaltando la dificultad de separar los datos específicos del paciente del conocimiento clínico compartido.
3. Riesgos de Privacidad: Una AFE alta no garantiza la privacidad; los modelos aún pueden filtrar terminología médica específica o permitir la recuperación de información mediante consultas parafraseadas.
4. Necesidad de Técnicas Especializadas: Los hallazgos subrayan la necesidad de técnicas de desaprendizaje médicas específicas que puedan borrar la información del paciente sin comprometer la utilidad del conocimiento médico compartido.

Los autores concluyen que AMNESIA sirve como un banco de pruebas esencial para avanzar en el campo, reconociendo modestamente limitaciones como la dependencia de métricas basadas en respuestas, el uso de un único modelo base y la simplificación de comorbilidades en categorías de enfermedades únicas. Declaran explícitamente que ninguno de los modelos evaluados está validado para uso clínico.