Machine Unlearning for GDPR Right-to-Erasure in Antimicrobial Resistance Prediction Models

Deze studie toont aan dat het SISA-framework (Sharded, Isolated, Sliced and Aggregated) een efficiëntere en schaalbare oplossing biedt dan volledige hertraining voor het voldoen aan het GDPR-recht op verwijdering in antimicrobiële resistentievoorspellingsmodellen, met aanzienlijke tijdwinst en verwaarloosbare nauwkeurigheidsverliezen.

De kern

Hoe je een "vergeten" computermodel maakt: Een verhaal over antibiotica en privacy

Stel je voor dat je een super-slimme kok hebt die een recept heeft ontwikkeld om te voorspellen welke antibiotica werken tegen bacteriën. Deze kok heeft geleerd door naar miljoenen patiëntdossiers te kijken. Hij is nu zo goed dat hij bijna altijd het juiste medicijn kan aanraden.

Maar er is een probleem: de privacy-wet (GDPR) zegt dat als een patiënt zegt: "Ik wil dat mijn gegevens uit jullie systeem worden verwijderd," dat diegene dan ook echt moet verdwijnen. Niet alleen uit de papieren map, maar ook uit het hoofd van de kok.

Het probleem: De hele keuken opnieuw opstarten

Tot nu toe was de enige manier om dit te doen: de kok volledig vergeten laten wat hij wist en hem alles opnieuw laten leren, maar dan zonder de gegevens van die ene patiënt.

• De analogie: Stel je voor dat je een enorme bibliotheek hebt met 1 miljoen boeken. Iemand vraagt om één specifiek boek te verwijderen. De enige manier die je kende, was om de hele bibliotheek leeg te maken, alle boeken opnieuw te ordenen en te lezen, en dan pas het ene boek weg te gooien.
• Het nadeel: Dit kost enorm veel tijd en energie. Voor een ziekenhuis is dit te duur en te traag. Ze kunnen niet elke maand wachten tot de "kok" opnieuw is opgeleid.

De oplossing: Het "SISA"-systeem (De deeltjes-methode)

De auteurs van dit onderzoek, Saniya en Abdullah, hebben een slimme truc bedacht die SISA heet. Laten we het uitleggen met een pizza-analogie.

In plaats van één gigantische pizza (het hele model) te bakken, bakken ze de pizza in 5 losse stukken (shards).

1. Elke kok (een klein modelletje) leert alleen van zijn eigen stukje pizza.
2. Als een patiënt zegt: "Verwijder mijn gegevens!", dan hoeft de chef-kok alleen maar één klein stukje pizza opnieuw te bakken. De andere 4 stukken blijven gewoon zoals ze zijn.
3. Aan het einde worden de 5 stukken weer samengevoegd tot één hele pizza.

Het resultaat?

• Snelheid: In plaats van 67 seconden (om de hele pizza opnieuw te maken), duurt het nu slechts 7,5 seconden (om één stukje te maken). Dat is bijna 9 keer sneller!
• Kwaliteit: De pizza smaakt nog steeds precies hetzelfde. De voorspellingen over antibiotica zijn net zo goed als voorheen.

Wat hebben ze getest?

Ze hebben dit getest op twee verschillende soorten data:

1. Klinische dossiers: De echte medische papieren van ziekenhuizen (zoals Stanford).
2. Genetische data: De DNA-gegevens van bacteriën uit de hele wereld.

In beide gevallen werkte de "pizza-methode" perfect. Andere methoden die ze probeerden (zoals "de labels omdraaien" of "bomen snoeien") waren ofwel te traag, of ze maakten de pizza te lelijk (de voorspellingen werden onbetrouwbaar).

Waarom is dit belangrijk?

• Voor de patiënt: Je hebt het recht om je gegevens te laten wissen, en nu kan het ziekenhuis dat echt doen zonder dat het systeem craspt.
• Voor het ziekenhuis: Ze hoeven niet te wachten op een dure, nachtelijke herstart van hun computers. Ze kunnen de verwerking in enkele seconden doen.
• Voor de wereld: Antibiotica-resistentie is een groot gevaar. Als we betere, snellere modellen hebben die ook privacy-respecteren, kunnen artsen sneller de juiste medicijnen kiezen en levens redden.

Conclusie in één zin

Dit onderzoek laat zien dat je een slim computermodel kunt "leren vergeten" door het op te delen in stukjes, net zoals je een grote taart in plakken snijdt: als je één plak wilt weggooien, hoef je de rest van de taart niet te vernietigen. Hierdoor wordt privacy wettelijk haalbaar, snel en veilig.

Technische samenvatting

Probleemstelling

De opkomst van machine learning (ML) modellen voor het voorspellen van antimicrobiële resistentie (AMR) op basis van patiëntgegevens (zoals elektronische gezondheidsdossiers of EHR's en genomische surveillance data) vormt een kritieke bedreiging voor de privacy in het licht van de Algemene Verordening Gegevensbescherming (AVG/GDPR). Artikel 17 van de AVG verleent patiënten het "recht op vergetelheid" (right-to-erasure), wat betekent dat hun gegevens niet alleen uit databases moeten worden verwijderd, maar ook uit de getrainde ML-modellen.

De huidige standaardmethode om hieraan te voldoen is het volledig opnieuw trainen van het model zonder de verwijderde data. Voor grote klinische datasets (bijvoorbeeld meer dan 1 miljoen records) is dit echter computationally prohibitief (te duur en te langzaam). Het artikel stelt dat het opnieuw trainen van een model op 1 miljoen records ongeveer 67 seconden kost per verwijderingsverzoek, wat leidt tot onhoudbare cumulatieve kosten bij frequente verzoeken. Er is dus behoefte aan efficiënte "machine unlearning" technieken die de impact van individuele data verwijderen zonder het model volledig opnieuw te hoeven trainen.

Methodologie

De auteurs evalueren en vergelijken verschillende benaderingen voor machine unlearning, specifiek toegepast op AMR-voorspellingsmodellen.

1. Datasets:

   • ARMD: Een klinisch EHR-dataset van Stanford Health Care met 1.245.767 records (microbiologische kweek- en gevoeligheidsgegevens).
   • PATRIC/BV-BRC: Een genomisch surveillance-dataset met 400.372 records van de NIH.
   • In beide gevallen werd een "forget set" van 500 unieke records gedefinieerd om een realistisch scenario van een maandelijkse GDPR-verwijdering na te bootsen.

2. Model:

   • Er werd gebruikgemaakt van Random Forest-classificatoren (500 estimators) voor de voorspelling van resistentie.

3. Geëvalueerde Unlearning-methoden:

   • Full Retraining (Gouden Standaard): Het model wordt volledig opnieuw getraind op de resterende data. Dit dient als baseline voor snelheid en nauwkeurigheid.
   • SISA (Sharded, Isolated, Sliced, and Aggregated): De trainingsdata wordt verdeeld in $k=5$ onafhankelijke shards. Bij een verwijderingsverzoek wordt alleen het shard opnieuw getrainen waarin de te verwijderen data zit. De uiteindelijke voorspelling is het gemiddelde van de sub-modellen.
   • Label-Flip Retraining: De te verwijderen records krijgen een omgekeerd label (bijv. resistent wordt gevoelig) en het model wordt opnieuw getraind op de volledige dataset inclusief deze "verkeerde" labels.
   • Influence Reweighting: De te verwijderen records krijgen een extreem lage steekproefgewicht ($10^{-6}$) tijdens het opnieuw trainen van de volledige dataset.
   • Selective Tree Pruning: Bomen in de Random Forest die een lage foutenrate hebben op de te verwijderen set, worden verwijderd zonder opnieuw te trainen.

4. Evaluatiemetrics:

   • Nauwkeurigheid: Accuracy en AUC-ROC. Een drempel van $\leq 0,5\%$ degradatie in nauwkeurigheid werd vastgesteld als klinisch aanvaardbaar.
   • Efficiëntie: Wandklok-tijd voor unlearning en snelheidswinst (speedup) ten opzichte van full retraining.
   • Privacy: De "Membership Inference Attack" (MIA) gap, die meet of een aanvaller kan bepalen of een record in de trainingsset zat.
   • Cumulatieve Kosten: De totale tijd over een periode van 12 maanden bij 50 verwijderingsverzoeken per maand.

Belangrijkste Bijdragen

• Eerste systematische evaluatie: Dit is het eerste onderzoek dat machine unlearning-methoden specifiek toetst op AMR-voorspellingsmodellen, rekening houdend met de heterogeniteit van klinische EHR-data en genomische data.
• Validatie van SISA in de kliniek: Het bewijst dat SISA een haalbare, schaalbare oplossing is voor GDPR-compliance in complexe medische ML-systemen.
• Kritische bevindingen over andere methoden: Het onderzoek toont aan dat veelbelovende theoretische methoden (zoals Label-Flip en Influence Reweighting) in de praktijk geen snelheidswinst bieden voor tree-based modellen, en dat snelle methoden (zoals Pruning) onbetrouwbaar kunnen zijn afhankelijk van het type dataset.

Resultaten

1. Snelheid en Efficiëntie:

• SISA boekte een aanzienlijke snelheidswinst:
  • Op ARMD: 8,9x sneller (7,5 seconden vs. 66,7 seconden voor full retraining).
  • Op PATRIC: 9,8x sneller (1,4 seconden vs. 13,4 seconden).
• Label-Flip en Influence Reweighting waren niet sneller dan full retraining (snelheidswinst $\leq 1,0$x), omdat ze toch de volledige dataset moeten verwerken.
• Tree Pruning was het snelst (0,2 - 0,8 seconden), maar had een hoge prijs in nauwkeurigheid.

2. Nauwkeurigheid en Klinische Drempel:

• SISA verloor slechts 0,024% (ARMD) en 0,048% (PATRIC) aan nauwkeurigheid, wat ruim onder de klinisch aanvaardbare drempel van 0,5% ligt.
• Tree Pruning overschreed de drempel op de EHR-dataset met +0,648%, waardoor deze methode ongeschikt is voor klinische toepassing, hoewel het op het genomische dataset binnen de grenzen bleef.
• Label-Flip leidde tot een degradatie van 0,389% op het genomische dataset, wat dicht bij de limiet lag.

3. Cumulatieve Kosten (12 maanden):

• Bij 50 verzoeken per maand reduceerde SISA de totale jaarlijkse last van 800 seconden naar 90 seconden (ARMD) en van 160 seconden naar 16 seconden (PATRIC).

4. Privacy (MIA):

• De MIA-gap was laag voor alle methoden en zelfs voor het originele model. Dit suggereert dat Random Forest-modellen op tabulaire AMR-data van nature robuust zijn tegen lidmaatschapsinference-aanvallen. De primaire drijfveer voor unlearning is hier dus wettelijke compliance (GDPR) en niet het mitigeren van actieve privacy-aanvallen.

Betekenis en Conclusie

De studie concludeert dat SISA de enige methode is die voldoet aan de drie cruciale eisen voor klinische implementatie:

1. Computational efficiency: Significante snelheidswinst.
2. Accuracy preservation: Geen significante verlies in voorspellende kracht.
3. Cross-modality generalizability: Werkt betrouwbaar op zowel klinische EHR-data als genomische data.

De auteurs benadrukken dat benaderingen die geen structurele beperkingen opleggen aan het opnieuw trainen (zoals Label-Flip en Influence Reweighting) geen reële snelheidswinst bieden. Tree Pruning is te riskant vanwege de variabele impact op de nauwkeurigheid afhankelijk van het datatyp.

SISA biedt een praktische, schaalbare oplossing voor zorginstellingen om GDPR-compliance te garanderen zonder de operationele last van volledige modelhertrainingen. Het stelt compliance-officieren in staat om verwijderingsverzoeken interactief en binnen seconden te verwerken, in plaats van te vertrouwen op nachtelijke batch-jobs. Dit onderzoek vormt een belangrijke basis voor de toekomstige ontwikkeling van privacy-bewuste, regelgevings-conforme AI-systemen in de gezondheidszorg.