Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation

Titel: Differently Private De-identificatie van Nederlandse Klinische Notities: Een Comparatieve Evaluatie

Auteurs: Michele Miranda, Xinlan Yan, Nishant Mishra, et al.
Affiliaties: Sapienza University of Rome, Translated, Amsterdam UMC, University of Amsterdam.

---

1. Probleemstelling

Het delen van klinische data voor secundair onderzoek (zoals het detecteren van bijwerkingen van medicijnen) is essentieel voor de gezondheidszorg, maar botst met privacywetgeving zoals de AVG (GDPR) en HIPAA. Deze wetgeving vereist dat alle persoonlijk identificeerbare informatie (PII) uit patiëntnotities wordt verwijderd (geanonimiseerd).

• Huidige situatie: Handmatige de-identificatie is de "gouden standaard" maar is kostbaar, tijdrovend en niet schaalbaar.
• Automatisering: Bestaande geautomatiseerde methoden gebruiken vaak Named Entity Recognition (NER) of Large Language Models (LLM's). Hoewel deze methoden effectief zijn, bieden ze geen formele privacygaranties.
• Differential Privacy (DP): DP biedt wiskundig bewezen privacygaranties, maar toepassing op tekst (vooral complexe klinische narratives) leidt vaak tot een sterke afname van de bruikbaarheid (utility) van de data door de toegevoegde ruis.
• Kennislacune: Er is weinig onderzoek gedaan naar de effectiviteit van DP-methoden voor Nederlandse klinische notities, en er ontbreekt een vergelijking tussen DP, NER, LLM's en hybride strategieën.

2. Methodologie

De auteurs hebben een vergelijkende studie uitgevoerd met vijf verschillende de-identificatie-pijplijnen op een dataset van 102 Nederlandse ICU-notities (het Dutch ADE corpus).

De Dataset:

• Bron: Raw data ($D_{raw}$) met 0,83% PII.
• Referentie: Handmatig geanonimiseerde versie ($D_{manual}$) met 17 soorten placeholders (bijv. <NAAM>, <ZIEKENHUIS>, <GEBOORTEDATUM>).
• Taak: De-identificatie van directe PII (namen, telefoonnummers) en indirecte PII (zeldzame ziekten, afdelingen).

De Geëvalueerde Pijplijnen:

1. $P_{NER}$: Gebruik van een voorgeïnstalleerd multilinguaal NER-model (gliner-multi-v2.1) zonder fine-tuning.
2. $P_{LLM}$: Zero-shot prompting van verschillende LLM's (GPT-4o, DeepSeek-R1, LLaMA-3, MedGEMMA) om PII te maskeren.
3. $P_{DP}$: Toepassing van Differential Privacy direct op de ruwe tekst. Twee DP-mechanismen werden getest:
   • Metric-DP: Voegt geometrische ruis toe aan token-embeddings (gebruikmakend van BERTje).
   • RANTEXT: Gebruikt een LLM voor contextbewuste token-substitutie via een random adjacency list.
4. Hybride Strategieën:
   • $P_{NER \to DP}$: Eerst NER toepassen, daarna DP.
   • $P_{LLM \to DP}$: Eerst LLM toepassen (voorafgaande redactie), daarna DP.

Evaluatiemetrics:

• Privacy Leckage: Het percentage PII dat nog aanwezig is in de gegenereerde tekst ten opzichte van de handmatige referentie. Onderscheid wordt gemaakt tussen directe (hoog risico) en indirecte PII.
• Utility (Bruikbaarheid): Prestaties van downstream taken getraind op de geanonimiseerde data:
  1. Entiteitsclassificatie (herkennen van medicijnen en aandoeningen).
  2. Relatieclassificatie (herkennen van bijwerkingen tussen medicijn en aandoening).

3. Belangrijkste Resultaten

Privacy Leckage:

• Standalone DP ($P_{DP}$): Toont de hoogste lekken. Zelfs bij hoge privacybudgetten ($\epsilon$) blijft de lekking significant, omdat DP de tekst direct verstoort zonder eerst expliciete identifiers te verwijderen.
• Hybride Benadering: Het combineren van een sterke de-identificatiestap (NER of LLM) voorafgaand aan DP, vermindert de lekking drastisch.
  • De $P_{LLM \to DP}$ pijplijn (met DeepSeek-70B) presteerde het beste, waarbij de empirische lekking onder de 10% bleef, zelfs bij hogere $\epsilon$-waarden.
  • De meeste resterende lekken in hybride modellen waren van het indirecte type, wat minder kritiek is dan directe lekken.
• LLM's alleen: Zonder DP lekken LLM's en NER aanzienlijk meer dan de hybride modellen, maar minder dan pure DP bij lage budgetten.

Utility (Bruikbaarheid):

• Entiteitsclassificatie: De prestaties verbeteren naarmate $\epsilon$ toeneemt (minder ruis), maar bereiken nooit de prestaties van de niet-geanonimiseerde baseline. Hybride modellen ($P_{LLM \to DP}$) behouden de beste balans tussen privacy en utility.
• Relatieclassificatie: Deze taak is gevoeliger voor DP-verstoring. Bij lage $\epsilon$-waarden is de data vaak onbruikbaar voor training. Hybride methoden zijn hier cruciaal om voldoende signaal te behouden voor het herkennen van complexe relaties (bijv. bijwerkingen).
• Conclusie Utility: Taalverwerking (via NER of LLM) vóór DP is essentieel om de utility te behouden; DP alleen is te destructief voor complexe klinische taken.

Operationele Efficiëntie:

• Handmatige annotatie kostte >47 uur.
• Geautomatiseerde pijplijnen (zoals Metric-DP) draaiden in minuten, wat een enorme schaalbaarheidsvoordelen biedt.

4. Kernbijdragen

1. Eerste studie voor Nederlands: Dit is het eerste werk dat DP, NER en LLM's vergelijkt voor de-identificatie van Nederlandse klinische notities.
2. Hybride Strategie Validatie: Het bewijst dat een hybride aanpak (LLM/NER + DP) de "privacy-utility trade-off" aanzienlijk verbetert ten opzichte van het toepassen van DP op ruwe tekst.
3. Empirische Evaluatie: Een uitgebreide evaluatie van zowel privacylekken (direct vs. indirect) als downstream utility voor specifieke klinische NLP-taken.
4. Modelvergelijking: Een analyse van verschillende LLM-architecturen (van open-source tot proprietary) in een zero-shot setting voor de-identificatie.

5. Betekenis en Conclusie

De studie concludeert dat voor het veilig delen van Nederlandse klinische data, hybride strategieën de voorkeur hebben. Praktici moeten eerst een sterke, hoog-recall masking-stap toepassen (bij voorkeur met een LLM, of anders NER) om expliciete identifiers te verwijderen, en vervolgens DP toepassen als een tweede veiligheidslaag op de resterende tekst.

Dit ontwerp:

• Vermindert het "aanvalsoppervlak" voor DP.
• Behoudt de bruikbaarheid van de data voor complexe taken (zoals relatieclassificatie).
• Biedt een expliciete privacyknop ($\epsilon$) voor risicobeheer.

Hoewel GPT-4o de beste resultaten liet zien, suggereert het werk dat kleinere, open-source modellen (zoals MedGEMMA) ook competitief kunnen zijn, wat de toepasbaarheid in privacy-kritieke omgevingen vergroot waar cloud-API's mogelijk niet zijn toegestaan. De auteurs benadrukken echter dat handmatige validatie of auditprotocollen nog steeds noodzakelijk blijven voor betrouwbare evaluatie.