AMNESIA: A Large Scale Medical Unlearning Benchmark Suite with Disease-Informed Analysis

Technische Samenvatting: AMNESIA

Probleemstelling
Medische kennis is dynamisch, wat het vermogen vereist om informatie uit getrainde Large Language Models (LLMs) bij te werken of selectief te verwijderen zonder volledige hertraining. Deze capaciteit, bekend als machine unlearning (machine-ontlerning), is cruciaal voor naleving van privacyregels (bijv. het "recht om vergeten te worden" onder de AVG/GDPR) en voor het corrigeren van foutieve medische dossiers. Bestaande unlearning-benchmarks vertrouwen echter op synthetische data of kleinschalige taken uit algemene domeinen, waardoor klinische unlearning onderbelicht blijft. Huidige methoden missen een gestandaardiseerde evaluatie voor medische vraag-antwoordsystemen (QA), waarbij het onderscheid tussen het vergeten van de specifieke gegevens van een patiënt en het behouden van gedeelde klinische kennis complex is.

Methodologie
De auteurs introduceren AMNESIA, de eerste grootschalige, open-source benchmark voor medische unlearning. De methodologie omvat datasetconstructie, benchmarkontwerp en evaluatiemetrieken:

• Datasetconstructie: De dataset bestaat uit 70.560 vraag-antwoordparen (QA) afgeleid van 8.820 gede-identificeerde patiëntendossiers afkomstig van PMC-Patients-v2. Deze dossiers beslaan 11 ziektecategorieën (bijv. Kanker, Cardiovasculair, Infectieus/Immuun).
  • QA-generatie: Voor elke patiënt worden 8 QA-paren gegenereerd: 4 feitelijke vragen (testen van directe herinnering) en 4 redeneervragen (testen van klinische inferentie over meerdere bevindingen heen).
  • Validatie: Een human-in-the-loop evaluatie met een panel van drie LLM's (MedGemma, Qwen, GPT-5-Mini) en een biologie-student-annotator valideerde de ziekte-labels en de kwaliteit van de QA, waarbij hoge overeenstemming werd bereikt.
• Data-partitionering: De benchmark ondersteunt twee scenario's voor forgetting:
  1. Random Patient-Level: Willekeurige subsets van patiënten (5% tot 25%) worden geselecteerd voor forgetting.
  2. Disease-Level: Patiënten die dezelfde ziektecategorieën delen, worden geselecteerd voor forgetting, om het vermogen van het model te testen om specifieke condities te ontlernen terwijl andere behouden blijven.
  • Een Holdout Set wordt aangemaakt met ongeziene QA's per patiënt om generalisatie te evalueren.
• Base Model & Unlearning Methoden: De benchmark gebruikt LLaMA 3-8B als het basismodel, dat is voorgetraind op patiëntendossiers en is gefinetuned op de QA-paren. Vier representatieve unlearning-methoden uit het OpenUnlearning-framework worden geëvalueerd:
  • RMU: Stuurt de interne representaties van forget-set inputs naar willekeurige targets.
  • GradDiff: Maximaliseert de loss op de forget set en minimaliseert de loss op de retain set via gradiëntascensie.
  • KL-Min: Gebruikt gradiëntascensie op de forget set met KL-divergentie regularisatie om de outputs van de retain-set te behouden.
  • SimNPO: Behandelt vergeten samples als negatieve voorkeuren zonder referentiemodel.
  • Opmerking: Voor efficiëntie en consistentie met eerder werk wordt unlearning selectief toegepast op laag 7 van het model.
• Evaluatiemetrieken:
  • Standaard Metrieken: Model Utility (MU) op retain sets en Answer Forget Efficacy (AFE) op forget sets, berekend via het harmonisch gemiddelde van ROUGE, Exact Match (EM), Cosine Similarity (CS) en Entailment Score (ES). Token Entropy (TE) en Degradation Score (DS) meten output-instorting (output collapse).
  • Nieuwe Metriek: Disease Keyword Leakage (LS). Deze metriek kwantificeert de herverschijning van ziektespecifieke medische terminologie (geëxtraheerd via scispaCy en gematcht tegen seed-lijsten) in modeloutputs, wat privacy-schendingen aanpakt waarbij specifieke termen persistent blijven ondanks een hoge AFE.

Belangrijkste Bijdragen

1. Eerste Grootschalige Klinische Benchmark: AMNESIA biedt 70.560 QA's van 8.820 patiënten over 11 ziektecategorieën, waarbij onderscheid wordt gemaakt tussen feitelijke herinnering en klinisch redeneren.
2. Multi-Level Evaluatie: Het introduceert ziekte-niveau forgetting-scenario's, waarmee verder wordt gegaan dan willekeurige patiënt-splitsingen om te analyseren hoe unlearning de gedeelde medische kennis beïnvloedt.
3. Uitgebreide Analyse: Het artikel evalueert vier diverse unlearning-methoden en legt hun beperkingen in klinische contexten bloot.
4. Domeinspecifieke Leakage Metriek: De introductie van een ziekte-gerichte keyword-evaluatie om de lekkage van medische terminologie te detecteren, een kritieke privacyzorg in de gezondheidszorg.
5. Open Release: De dataset, code en getrainde modellen worden zonder restricties publiekelijk vrijgegeven.

Resultaten en Analyse

• Random Patient-Level Unlearning: Bestaande methoden worstelen aanzienlijk.
  • RMU en SimNPO behouden een hoge Model Utility (MU) maar falen in effectief vergeten (lage AFE), wat suggereert dat ze patiëntinformatie niet wissen.
  • KL-Min en GradDiff bereiken een hoge AFE, maar ten koste van de Model Utility, wat vaak resulteert in model collapse (repetitieve, incoherente outputs) in plaats van selectieve uitwissing.
  • Holdout Evaluatie: Modellen hebben de neiging om specifieke training-QA's te vergeten in plaats van de onderliggende patiëntendossiers, aangezien ze er niet in slagen ongeziene vragen over dezelfde patiënt te beantwoorden.
• Disease-Level Unlearning:
  • Unlearning van patiënten met dezelfde ziekte onthult een trade-off: naarmate de forget set groter wordt, verbetert de AFE, maar degradeert de MU voor behouden patiënten met dezelfde ziekte aanzienlijk. Dit geeft aan dat het verwijderen van een kritieke massa patiënten met een specifieke conditie de gedeelde klinische kennis voor die conditie uitholt.
  • KL-Min en GradDiff vertonen ziekte-gerichte unlearning (behoud van utility voor patiënten buiten de ziekte), maar lijden nog steeds onder utility-verlies voor behouden patiënten met dezelfde ziekte.
• Keyword Leakage:
  • Methoden zoals RMU en SimNPO vertonen significante lekkage van ziektespecifieke termen (lekkagepercentages van 10–25%), zelfs wanneer de AFE matig lijkt.
  • KL-Min en GradDiff bereiken een bijna nul-lekkage, maar dit wordt toegeschreven aan het genereren van incoherente outputs (hoge degradatiescores) in plaats van succesvolle, veilige unlearning.
  • In disease-level splitsingen neemt de lekkage af naarmate de forget set groter wordt, wat correleert met de erosie van gedeelde medische kennis.

Betekenis en Claims
Het artikel beweert dat AMNESIA de kritieke beperkingen van huidige unlearning-methoden blootlegt wanneer deze op medische data worden toegepast. De auteurs stellen dat:

1. Huidige methoden zijn onvoldoende: Ze falen of bereiken forgetting door middel van model collapse, wat beide onacceptabel is voor klinische toepassingen.
2. Scheiding tussen Patiënt en Kennis: Het unlearnen van individuele patiënten erodeert vaak de kennis van anderen met dezelfde conditie, wat de moeilijkheid benadrukt om patiëntspecifieke data te scheiden van gedeelde klinische kennis.
3. Privacyrisico's: Een hoge AFE garandeert geen privacy; modellen kunnen nog steeds specifieke medische terminologie lekken of informatieherstel mogelijk maken via geparafraseerde queries.
4. Behoefte aan Gespecialiseerde Technieken: De bevindingen onderstrepen de noodzaak voor medische-specifieke unlearning-technieken die patiëntinformatie kunnen wissen zonder de utility van gedeelde medische kennis in gevaar te brengen.

De auteurs concluderen dat AMNESIA dient als een essentiële benchmark voor de vooruitgang van het vakgebied, terwijl ze bescheiden de beperkingen erkennen zoals de afhankelijkheid van answer-level metrieken, het gebruik van een enkel basismodel en de vereenvoudiging van comorbiditeiten tot enkele ziektecategorieën. Ze verklaren expliciet dat geen van de geëvalueerde modellen is gevalideerd voor klinisch gebruik.