Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation

1. Il Problema

La condivisione dei dati sanitari per la ricerca secondaria è ostacolata da normative rigorose sulla privacy come il GDPR (in Europa) e l'HIPAA (negli USA), che richiedono la rimozione o l'anonimizzazione di tutte le informazioni personali identificabili (PII) dai testi clinici.

• Limiti attuali: Il metodo manuale è lo standard aureo ma è costoso, lento e soggetto a incoerenze.
• Limiti delle soluzioni automatiche esistenti:
  • I metodi basati sul NER (Named Entity Recognition) e sugli LLM (Large Language Models) offrono buone prestazioni ma non forniscono garanzie formali di privacy.
  • I metodi basati sulla Differential Privacy (DP) offrono garanzie matematiche formali contro la fuga di dati, ma spesso degradano drasticamente l'utilità dei dati (rendendoli inutili per l'analisi), specialmente in testi clinici complessi e ad alta dimensionalità.
• Gap di ricerca: Mancava uno studio comparativo su testi clinici reali in olandese, che si concentrasse su come bilanciare privacy e utilità, specialmente esplorando strategie ibride.

2. Metodologia

Gli autori hanno condotto uno studio comparativo su un corpus di 102 note cliniche olandesi (dall'ICU) annotate per entità (farmaci, disturbi) e relazioni (eventi avversi ai farmaci - ADE).

Pipeline Sperimentali

Hanno valutato cinque pipeline di de-identificazione:

1. PNER: Solo NER (modello gliner-multi-v2.1 pre-addestrato, zero-shot).
2. PLLM: Solo LLM (vari modelli inclusi GPT-4o, DeepSeek, LLaMA, MedGEMMA in modalità zero-shot).
3. PDP: Solo Differential Privacy applicata direttamente al testo grezzo.
4. PNER→DP: Pre-elaborazione con NER seguita da DP.
5. PLLM→DP: Pre-elaborazione con LLM seguita da DP.

Meccanismi di Differential Privacy (DP)

Sono stati utilizzati due approcci DP a livello di token:

• Metric-DP: Introduce rumore geometrico nello spazio degli embedding (usando BERTje) per perturbare i token basandosi sulla similarità semantica.
• RANTEXT: Un framework che costruisce dinamicamente liste di adiacenza casuali per la sostituzione dei token, utilizzando un meccanismo esponenziale per favorire sostituti semanticamente vicini.

Valutazione

La valutazione è stata condotta su due fronti:

• Privacy (Intrinseca): Calcolo della percentuale di PII residua (fuga di dati) rispetto a una versione de-identificata manualmente. Distinzione tra PII dirette (es. nomi, indirizzi) e PII indirette (es. date, città).
• Utilità (Estrinseca): Valutazione delle prestazioni di modelli downstream addestrati sui dati de-identificati per due compiti:
  1. Classificazione delle entità (farmaci e disturbi).
  2. Classificazione delle relazioni (rilevamento di eventi avversi ai farmaci).

3. Contributi Chiave

• Primo studio su testi clinici olandesi: Colma un vuoto nella letteratura, finora focalizzata su inglese o francese.
• Valutazione comparativa completa: Confronto diretto tra NER, LLM e DP, sia singolarmente che in combinazione.
• Dimostrazione dell'efficacia delle strategie ibride: L'idea centrale è che applicare la DP dopo una rimozione linguistica forte (tramite NER o LLM) riduce la quantità di dati sensibili esposti al rumore, migliorando il compromesso privacy-utilità.
• Analisi operativa: Confronto dei tempi di elaborazione, evidenziando la superiorità in termini di efficienza delle pipeline automatizzate rispetto all'annotazione manuale.

4. Risultati Principali

Privacy Leakage (Fuga di Dati)

• DP pura (PDP): Mostra la peggiore privacy tra le pipeline DP, con un leakage che aumenta drasticamente all'aumentare del budget privacy ($\epsilon$).
• Pre-elaborazione: L'uso di NER o LLM prima della DP riduce significativamente il leakage.
• Risultato migliore: La pipeline LLM→DP (in particolare con DeepSeek-70B o GPT-4o) è l'unica strategia che riesce a mantenere il leakage empirico di PII sotto il 10%, anche con budget di privacy elevati. La maggior parte della fuga residua è costituita da PII indirette, non dirette.
• Confronto DP: Metric-DP tende a preservare meglio la privacy rispetto a RANTEXT a budget bassi/medi, ma entrambi beneficiano enormemente della pre-identificazione tramite LLM.

Utilità (Prestazioni Downstream)

• Degradazione della DP pura: L'applicazione diretta della DP degrada pesantemente le prestazioni, specialmente per la classificazione delle relazioni (che richiede coerenza a lungo raggio).
• Recupero dell'Utilità: Le pipeline ibride (NER→DP e LLM→DP) recuperano significativamente l'utilità rispetto alla DP pura.
• LLM come Pre-processing: La pipeline LLM→DP ottiene i punteggi F1 più alti per entrambi i compiti (Entità e Relazione), avvicinandosi alle prestazioni dei modelli non privati (baselines), specialmente a budget $\epsilon \ge 128$.
• Baseline LLM: I modelli LLM usati da soli (senza DP) offrono utilità quasi perfetta (F1 $\approx$ 0.97 per le entità), ma con un rischio di privacy elevato se non combinati con DP. Tra i modelli testati, MedGEMMA 27B e GPT-4o hanno mostrato le migliori prestazioni.

Efficienza Operativa

La creazione manuale del corpus di riferimento ha richiesto oltre 47 ore di annotazione. Al contrario, le pipeline automatizzate (es. Metric-DP) richiedono pochi minuti per esecuzione, offrendo un vantaggio operativo enorme per iterazioni rapide e su larga scala.

5. Significato e Implicazioni

Questo studio dimostra che la Differential Privacy non deve essere applicata direttamente al testo grezzo per ottenere un compromesso accettabile tra privacy e utilità nei testi clinici.

• Raccomandazione per la pratica: Gli operatori sanitari e i ricercatori dovrebbero adottare strategie ibride: utilizzare un modello linguistico avanzato (LLM) o un NER robusto per rimuovere le entità identificabili esplicite, e applicare successivamente la DP come "secondo livello di sicurezza" sul testo residuo.
• Scalabilità: Questo approccio permette di condividere dati clinici olandesi (e potenzialmente di altre lingue) con garanzie formali di privacy senza sacrificare la capacità di eseguire task complessi di NLP clinico, come il rilevamento di eventi avversi ai farmaci.
• Limiti: Lo studio è limitato alla lingua olandese e a un dataset privato (non pubblico), il che rende difficile la riproducibilità esterna immediata, sebbene i risultati siano promettenti per l'espansione ad altre lingue e domini.

In sintesi, il lavoro propone un nuovo paradigma per la de-identificazione: non scegliere tra "privacy forte ma dati inutili" (DP pura) o "dati utili ma privacy debole" (LLM/NER puri), ma combinare i due approcci per ottenere il meglio di entrambi i mondi.