REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Technische Samenvatting: REMEDI – Een Benchmark voor het Evalueren van Retentie en Unlearning bij Multi-label Klinische Ziekte-inferentie

Probleemstelling
Het artikel behandelt de uitdaging van "machine unlearning" (MU) in de klinische sector, specifiek met betrekking tot het verwijderen van gevoelige patiëntgegevens uit getrainde taalmodellen. Hoewel regelgeving zoals de AVG (GDPR) het "recht om vergeten te worden" vastlegt, is het vanaf nul hertrainen van modellen na gegevensverwijdering computationeel onhaalbaar. Bestaande MU-methoden en benchmarks zijn grotendeels beperkt tot niet-medische domeinen of vertrouwen op synthetisch samengestelde datasets die de complexiteit van echte klinische systemen niet vertegenwoordigen. De auteurs stellen dat huidige benchmarks de unieke beperkingen van medische gegevens, zoals labelcorrelaties, longitudinale structuren en strikte veiligheidseisen, niet adequaat vastleggen, waardoor de effectiviteit van unlearning-methoden in de gezondheidszorg grotendeels onduidelijk blijft.

Methodologie en Benchmark-constructie
Om deze hiaten aan te pakken, introduceren de auteurs REMEDI (Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference), een benchmark die is afgestemd op multi-label en multiclass klinische ziekte-inferentie.

• Databron: De benchmark maakt gebruik van de MIMIC-III klinische database, waarbij de focus ligt op ontslagverslagen en de bijbehorende diagnostische uitkomsten. De taak bestaat uit het mappen van elektronische gezondheidsakten (EHR's) naar ICD-9-CM codes. Om de taakcomplexiteit in balans te brengen met de klinische relevantie, hebben de auteurs de tien meest frequente ziektecategorieën geselecteerd (bijv. hypertensie, hartfalen, diabetes mellitus), waarbij de taak wordt geformuleerd als een multi-label classificatieprobleem waarbij patiënten meerdere gelijktijdige diagnoses kunnen hebben.
• Taakinstelling: De unlearning-taak wordt gedefinieerd als instantie-niveau verwijdering. Gegeven een getraind model $f_\theta$, een forget set $D_f$ (gevoelige records die verwijderd moeten worden), en een retain set $D_r$ (records die behouden moeten blijven), is het doel om een unlearned model $f_{\theta'}$ te produceren dat zich gedraagt alsof het uitsluitend getraind is op $D_r$, terwijl het aan privacybeperkingen voldoet.
• Unlearning Ernstniveaus: REMEDI definieert drie verschillende scenario's om robuustheid te testen:
  1. Distinct Instances (Lage ernst): Simuleert individuele patiëntverwijderingsverzoeken zonder overlap tussen de forget set en de retain set. De grootte van de forget set varieert van 64 tot 512 instanties.
  2. Concurrent Instances (Medium ernst): Simuleert realistische scenario's waarin de forget set en de retain set overlappende klinische kenmerken bevatten (bijv. vergelijkbare demografie of opnamepatronen). De helft van de forget instanties overlapt met de retain set.
  3. Large-Scale Instances (Hoge ernst): Simuleert bulkverwijderingsverzoeken van gegevens (bijv. voor naleving van regelgeving), waarbij de forget sets bestaan uit 3%, 4% en 5% van de trainingsdata.
• Evaluatiemetrieken: De benchmark evalueert twee cruciale dimensies:
  1. Utility (Bruikbaarheid): Gemeten via Macro-F1 scores op test-, retain- en forget-sets. Het ideale unlearned model zou qua prestaties overeen moeten komen met het volledig hertrainde model op de retain- en testsets, terwijl het een verminderde prestatie vertoont op de forget set.
  2. Privacy: Beoordeeld via Membership Inference Attacks (MIA). Een binaire classifier wordt getraind om forget set samples te onderscheiden van holdout set samples op basis van modelverlies. Een lagere MIA-score (dichter bij 0) duidt op sterkere privacygaranties, waarbij 0,5 staat voor willekeurige gokken (perfecte unlearning).

Experimentele Opstelling
De auteurs evalueren vier representatieve unlearning-methoden over twee biomedische taalmodellen: BioLinkBERT en BioBERT. De baselines zijn:

1. Gradient Ascent (GA): Maximaliseert de loss op de forget data (met een variant GA+R die retain-bewustzijn incorporeert).
2. Adversarial Unlearning (AU): Gebruikt adversariële perturbaties om de invloed van forget samples te verminderen (met een variant AU+WR met gewichtsregulering).
3. Bad Teacher (BT): Gebruikt kennisdistillatie met een zwakke teacher voor forget data en een sterke teacher voor de retain data.
4. SCRUB: Fine-tunt het model om het verschil in representaties tussen forget en retain samples te maximaliseren.

Belangrijkste Resultaten

• Utility-Privacy Trade-off: De experimenten onthullen een significante trade-off tussen het behoud van bruikbaarheid en de effectiviteit van unlearning.
• Prestaties van de methoden:
  • Gradient Ascent (GA): Veroorzaakte ernstige prestatiedegradatie, waardoor de voorspellende vermogens van het model effectief werden tenietgedaan. De retain-bewuste variant (GA+R) verzachtte dit, maar toonde nog steeds beperkingen.
  • Adversarial Unlearning (AU): Toonde matige effectiviteit, maar had moeite met stabiliteit, vooral in grootschalige scenario's.
  • Bad Teacher (BT): Bereikte een matig behoud van bruikbaarheid, maar leed onder aanzienlijke prestatiedalingen in grootschalige forgetting scenario's door residuele invloed van de teacher.
  • SCRUB: Bereikte de beste balans tussen bruikbaarheid en privacy. Het behield prestaties die dicht bij het hertrainde model lagen over diverse forget set groottes en handhaafde sterke privacy-metrieken.
• Modelgevoeligheid: BioLinkBERT presteerde consequent beter dan BioBERT in zowel het behoud van bruikbaarheid als het handhaven van privacy, wat wordt toegeschreven aan de entity-linked pretraining die rijkere klinische semantiek vastlegt. BioBERT vertoonde een hogere gevoeligheid voor unlearning-interventies.
• Schaalbaarheid: De meeste unlearning-methoden die geoptimaliseerd zijn voor kleinschalige gegevensverwijdering, hadden moeite om de bruikbaarheid te behouden wanneer ze geconfronteerd werden met grootschalige unlearning-verzoeken. SCRUB was de enige methode die er consistent in slaagde om de prestaties dicht bij het hertrainde model te houden over alle forget set groottes voor BioBERT.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Realistische Medische Testomgeving: REMEDI maakt het mogelijk om unlearning-methoden te evalueren op echte patiëntgegevens (MIMIC-III), wat een realistischerere beoordeling biedt dan synthetische benchmarks.
2. Diverse Verwijderingsscenario's: Het introduceert drie unlearning-ernstniveaus (distinct, concurrent en large-scale) die diverse real-world dataverwijderingsbehoeften vangen, inclusief uitdagende scenario's met overlap tussen forget en retain sets.
3. Complexe Multi-label Taak: Door te focussen op multi-label classificatie met gecorreleerde ziekte-labels, biedt REMEDI een veeleisender testbed dan bestaande single-label benchmarks. Deze complexiteit benadrukt de moeilijkheid van het ontwarren van geleerde representaties zonder de geldige labelcorrelaties in de retain set te verstoren.

De auteurs concluderen dat REMEDI faalmodi onthult van unlearning-methoden die goed presteren op niet-medische benchmarks, wat de noodzaak onderstreept voor methoden die de unieke complexiteiten van klinische data, zoals labelcorrelaties en grootschalige verwijderingsverzoeken, kunnen aanpakken.