💬 NLP

Clinically Grounded Privacy Evaluation of Medical LMs

Dit artikel introduceert een klinisch gefundeerd kader voor het evalueren van de privacy van medische taalmodellen, dat significante risico's van letterlijke memorisatie en lekkage van gevoelige diagnoses onder realistische dreigingsmodellen onthult, terwijl het tegelijkertijd aantoont dat getemploteerde documentatie kan leiden tot een overschatting van exacte overeenkomst-openbaarmaking.

Oorspronkelijke auteurs: Sasha Ronaghi, Sana Tonekaboni, Lena Stempfle, Vivian Utti, Jordan Li Cahoon, Nathaniel Hendrix, Ayin Vala, Marzyeh Ghassemi, Emily Alsentzer

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sasha Ronaghi, Sana Tonekaboni, Lena Stempfle, Vivian Utti, Jordan Li Cahoon, Nathaniel Hendrix, Ayin Vala, Marzyeh Ghassemi, Emily Alsentzer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een medisch taalmodel (LM) voor als een super-attente stagiair die miljoenen patiëntendossiers van een specifiek netwerk van huisartsen heeft gelezen. Deze stagiair is ongelooflijk slim en kan helpen bij het samenvatten van aantekeningen of het suggereren van diagnoses. Er is echter een angstaanjagende kant: omdat hij zoveel specifieke bestanden heeft gelezen, kan hij ze per ongeluk uit het hoofd leren en privégeheimen herhalen als je hem de juiste vragen stelt.

Dit artikel is als een privacy-veiligheidsinspectie voor die stagiair. In plaats van alleen te vragen: "Heb je het dossier uit je hoofd geleerd?", hebben de onderzoekers een realistische test ontwikkeld om te zien hoeveel privé-informatie de stagiair lekt op basis van wat hij al weet over de patiënt.

Hier is de uitslag van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Sleutel"-test: Hoeveel informatie heb je nodig om het geheim te ontsluieren?

De onderzoekers testten de stagiair met verschillende niveaus van "sleutels" (informatie) over een patiënt, variërend van heel weinig tot heel veel. Denk aan het proberen te openen van een kluis:

Niveau 1: Publieke info (De "Naambordje"-sleutel).
- Wat ze wisten: Alleen basis publieke zaken zoals leeftijd, geslacht, beroep en misschien de naam.
- Resultaat: De stagiair lekte nauwelijks iets. Het was alsof je een kluis probeerde te openen met een paperclip; het werkte niet goed.
Niveau 2: Afspraakmetadata (De "Kalender"-sleutel).
- Wat ze wisten: De naam van de patiënt, geboortedatum, de datum van het laatste bezoek, de naam van de arts en de locatie van de kliniek. Dit is informatie die bijvoorbeeld op een factuur of een herinneringsmail kan staan.
- Resultaat: Dit was de grote doorbraak. Met slechts deze routinedetails begon de stagiair grote stukken van de werkelijke medische aantekeningen van de patiënt woord voor woord op te zeggen. Het was alsof weten wat de naam van de patiënt en de datum van de afspraak waren, genoeg was om de kluis volledig te openen.
Niveau 3: Gedeeltelijke aantekeningen (De "Eerste Pagina"-sleutel).
- Wat ze wisten: De afspraakdetails plus de allereerste zin van de medische aantekening (de "Hoofdklacht").
- Resultaat: De stagiair had nog meer uit zijn hoofd geleerd en reciteerde bijna het volledige dossier.

2. De "Gevoelige Geheim"-test

De onderzoekers controleerden niet alleen of de stagiair woorden herhaalde; ze controleerden of de stagiair gevoelige geheimen onthulde zoals een abortus, HIV-status of mentale gezondheidsproblemen.

De bevinding: Wanneer de onderzoekers de "Kalender-sleutel" gaven (Naam + Geboortedatum + Bezoekdatum + Arts), werd de stagiair een meesterdetective. Het kon gevoelige diagnoses met zeer hoge nauwkeurigheid raden (91% voor abortus, 81% voor HIV).
Het gevaar: Dit betekent dat zelfs als je niet het volledige medische dossier hebt, alleen al weten wanneer een patiënt een specifieke arts heeft bezocht, genoeg is voor de AI om de meest private gezondheidsproblemen te "herinneren" en te onthullen.

3. De "Template Valstrik" (Waarom de cijfers zo eng waren)

De onderzoekers merkten iets verrassends op. Toen ze telden hoeveel de stagiair "uit zijn hoofd had geleerd", ontdekten ze dat 36% van de herhaalde woorden geen geheimen waren.

De analogie: Stel je voor dat de stagiair een verhaal reciteert. De helft van de tijd herhaalt hij unieke, persoonlijke details over jouw leven (zoals "Ik brak mijn been in 2010"). Maar de andere helft van de tijd leest hij gewoon uit een standaard sjabloon (template) dat elke patiënt krijgt (zoals "Hartgeluiden zijn normaal" of "Geen pijn op de borst").
De les: Als je elk herhaald woord als een "lek" telt, jaag je jezelf te veel angst aan. Veel van wat de AI herhaalt, is gewoon saaie, standaard medische standaardtekst (boilerplate) die 10.000 andere patiënten ook hebben. Het echte gevaar is wanneer het de unieke delen of de gevoelige diagnoses herhaalt.

4. Het "Langetermijngeheugen"-probleem

De studie gebruikte gegevens van patiënten die artsen over vele jaren bezochten (longitudinale data).

De bevinding: De stagiair herinnerde zich niet alleen het laatste bezoek. Wanneer de details van een recent afspraak werden gegeven, haalde de stagiair details op en reciteerde hij details van bezoeken die jaren geleden hadden plaatsgevonden.
De metafoor: Het is alsof de stagiair een "superbrein" heeft dat elk bezoek dat een patiënt ooit heeft gehad met elkaar verbindt. Als je naar een recent bezoek vraagt, kan de stagiair per ongeluk geheimen verklappen van een bezoek van vijf jaar geleden, omdat de AI de hele tijdlijn uit zijn hoofd heeft geleerd.

Samenvatting van de hoofdpunten van het artikel

Routine-informatie is riskant: Je hebt geen hacker nodig om een medisch dossier te stelen. Alleen al weten wat de naam, geboortedatum en de arts van een patiënt zijn, is genoeg om de AI te triggeren om de privégeschiedenis te lekken.
Niet alle lekken zijn gelijk: We moeten stoppen met het tellen van "template"-woorden (zoals "geen pijn") als privacy-schendingen. Het echte risico is dat de AI unieke, gevoelige of specifieke patiëntdetails onthult.
Context is belangrijk: Privacytests voor medische AI moeten lijken op scenario's uit de echte wereld (wat een administratief medewerker of een familielid zou weten), en niet alleen op abstracte computertests.

Wat het artikel NIET zegt:

Het zegt niet dat dit bij elke medische AI gebeurt (alleen bij de AI die zij hebben getest).
Het stelt geen specifieke oplossing of softwarepatch voor om dit te stoppen (het biedt alleen het kader om het te meten).
Het beweert niet dat dit in elk ziekenhuis gebeurt, maar alleen in de specifieke dataset van de plattelandsgebieden met huisartsenpraktijken die zij bestudeerden.

Kortom: Medische AI heeft een "fotografisch geheugen" dat getriggerd kan worden door eenvoudige, alledaagse details, wat potentieel diepe geheimen over de gezondheid van een patiënt kan onthullen, maar we hebben betere manieren nodig om het verschil te zien tussen een echt geheim en een standaard medische zin.

Technische Samenvatting: Klinisch Onderbouwde Privacy-evaluatie van Medische LM's

Probleemstelling

Medische taalmodellen (LM's) die getraind zijn op longitudinale klinische aantekeningen, leggen behandelpraktijken en patiëntspecifieke gegevens vast die in algemene domein-corpora ontbreken. Deze codering introduceert echter aanzienlijke privacyrisico's. Eerdere studies hebben aangetoond dat LM's trainingsdata kunnen memoriseren en reproduceren, een zorg die in klinische settings wordt verergerd door "copy-forward" documentatiepraktijken, die gedupliceerde, bijna identieke sequenties creëren die zeer vatbaar zijn voor memorisatie.

Bestaande privacy-evaluaties vertrouwen vaak op threat models uit algemene domeinen waarbij aanvallers willekeurige tekstvoorafgaanden (prefixes) bezitten of streven naar het extraheren van generieke persoonlijke attributen. Deze benaderingen houden geen rekening met de contextuele normen van klinische privacy. In klinische settings hangt het risico niet enkel af van de vraag of een model tekst reproduceert, maar of de onthulling linkt aan een specifiek individu en gevoelige informatie onthult (bijv. diagnoses) die kan leiden tot discriminatie of schade. Bovendien kunnen standaardmetrieken zoals exact-match memorisatie patiëntspecifieke lekkage verwarren met onschuldige, getextureerde documentatie-artefacten die veel voorkomen in elektronische gezondheidsdossiers (EHR's).

Methodologie

De auteurs introduceren een klinisch onderbouwd privacy-evaluatiekader dat ontworpen is om medische LM's te testen onder realistische adversariële condities. De methodologie bestaat uit drie kerncomponenten:

1. Gestaffelde Adversariële Toegang (Priors)

In plaats van uit te gaan van toegang tot volledige tekstvoorafgangen van een klinische noot, simuleert het kader aanvallers met variërende niveaus van plausibele kennis over een doelpatiënt. Priors ( $\pi$ ) zijn georganiseerd langs een as van toenemende toegang:

Publiek: Demografie (leeftijd, geslacht, beroep, etc.) afleidbaar uit publieke registers.
Publiek + Naam: Demografie plus de naam van de patiënt.
Publiek + Naam + Medicatie: Inclusief een gedeeltelijke medicatielijst (toegankelijk voor apothekers of verzorgers).
Encounter Info: Routine metadata (naam, geboortedatum, bezoekdatum, zorgverlener, praktijklocatie) zichtbaar voor facturatiepersoneel of huisgenoten.
Encounter Info + Chief Complaint / HPI: Geprivilegieerde fragmenten van de klinische noot zelf, wat de slechtst mogelijke gedeeltelijke lekken modelleert.

2. Tweeledige Privacy-maten

Het kader evalueert lekkage over twee complementaire dimensies:

Verbatim Memorisatie: Gemeten via token-niveau $n$ -gram matching ( $\tau=30$ ) tussen gegenereerde tekst en trainingsnoten. Cruciaal is dat de auteurs gememoriseerde regio's deconstrueren op basis van contenttype (klinisch onthullend versus getextureerd) en patiëntspecificiteit (uniek voor de doelpersoon versus gedupliceerd bij andere patiënten). Dit onderscheidt schadelijke lekkage van de onschuldige reproductie van gedeelde documentatie-artefacten (bijv. "Geen klachten aan de borstkas").
Semantische Lekkage van Gevoelige Diagnoses: Evalueert of het model gevoelige diagnoses (Abortus, HIV, Depressie, Angst, Bipolaire stoornis, PTSS) onthult via directe vermelding, geassocieerde symptomen of medicatie, zelfs zonder exacte tekstuele overlap.

3. Matched Cohort Design

Om lekkage toe te schrijven aan de inclusie in de trainingsdata in plaats van aan demografische inferentie, gebruiken de auteurs een matched train/non-train cohort design. Door gebruik te maken van propensity-score matching op leeftijd, geslacht en aantal noten, vergelijken zij de prestaties van het model op patiënten die aanwezig zijn in de trainingscorpus versus patiënten die afwezig zijn. Dit isoleert "trainings-attributabele lekkage" van populatie-niveau correlaties.

Experimentele Opstelling

Het kader werd toegepast op een moderne decoder-only LM (Qwen3.5-9B) die continu is voorgetraind op 1 miljard tokens van longitudinale klinische aantekeningen van 26.948 patiënten uit 192 rurale familiepraktijken in de VS. De dataset beslaat de periode 2019–2025, met een mediane follow-up van 3,8 jaar per patiënt.

Belangrijkste Resultaten

1. Lekkage Schaalt met Adversariële Toegang

Privacylekkage neemt significant toe naarmate de toegang van de aanvaller tot patiëntmetadata groter wordt:

Verbatim Memorisatie: Onder de Encounter Info prior (naam, geboortedatum, bezoekdatum, zorgverlener, locatie), reproduceert het model verbatim inhoud uit een gemiddelde van 2,81 verschillende noten over de tijdlijn van een patiënt. De memorisatiesnelheid stijgt van 4,8% (Public prior) naar 85,6% (Encounter Info + Chief Complaint + HPI).
Semantische Onthulling: Routine metadata alleen (Encounter Info) maakt een hoge nauwkeurigheid van de herwinning van gevoelige diagnoses mogelijk. Het model bereikt een AUROC van 0,91 voor abortus en 0,81 voor HIV, met Positive Predictive Values (PPV) die respectievelijk 0,98 en 1,0 bereiken.
Training Attributie: Er ontstaat een aanzienlijk gat tussen de train- en non-train cohorten op het niveau van Encounter Info (+0,191 AUROC delta), wat bevestigt dat de lekkage toe te schrijven is aan de aanwezigheid van de patiënt in de trainingsdata in plaats van aan inferentie vanuit demografie alleen.

2. Exact-Match Metrieken Overschatten de Schade

De studie stelt vast dat standaard exact-match metrieken de privacyrisico's kunnen opblazen:

Onder de Encounter Info prior zijn 36% van de gememoriseerde tokens getextureerd (bijv. standaard negatieve resultaten bij een systeem-review) in plaats van klinisch onthullend.
45% van de gememoriseerde regio's komt bij meerdere patiënten voor, wat aangeeft dat een groot deel van de "gememoriseerde" tekst gedeelde boilerplate is.
Echter, binnen de tijdlijn van een enkele patiënt komen 37,5% van de klinisch onthullende, patiëntspecifieke regio's meerdere malen voor in verschillende noten, wat suggereert dat "copy-forward" documentatie de memorisatie van gevoelige inhoud versterkt.

Betekenis en Claims

Het artikel claimt een praktisch kader te bieden voor de contextuele privacy-evaluatie van medische LM's. De primaire bijdragen zijn:

Realistisch Threat Modeling: Het aantonen dat aanvallers met slechts routine encounter metadata (vaak zichtbaar voor niet-klinisch personeel of familie) aanzienlijke verbatim memorisatie en de herwinning van gevoelige diagnoses kunnen uitlokken, wat de aanname uitdaagt dat de-identificatie of het gebrek aan volledige toegang tot de noot het risico beperkt.
Nuancering van Lekkage-meting: Het benadrukken dat het behandelen van alle memorisatie als gelijkwaardig de aard van het risico vertroebelt. Het kader maakt onderscheid tussen patiëntspecifieke, klinisch onthullende lekkage en de onschuldige reproductie van gedeelde documentatie-artefacten.
Longitudinaal Risico: Het leveren van bewijs dat training op longitudinale data een risico creëert waarbij één datapunt (bijv. een bezoekdatum) de volledige historische dossier van een patiënt kan ontsluiten, inclus respectievelijk gevoelige diagnoses zoals HIV en abortus.

De auteurs concluderen dat privacy-audits voor klinische LM's verder moeten gaan dan generieke memorisatietesten om lekkage te evalueren onder realistische toegangslevels en om de klinische significantie en patiëntspecificiteit van de onthulde informatie te karakteriseren. Zij merken beperkingen op, waaronder het gebruik van identificeerbare (in plaats van gede-identificeerde) data voor evaluatie en de focus op base-modellen zonder post-training, wat suggereert dat toekomstig werk deze factoren moet adresseren.