Towards the Anonymization of the Language Modeling

Riepilogo Tecnico: Verso l'Anonimizzazione della Modellazione del Linguaggio

Enunciato del Problema
Il rapido avanzamento dell'elaborazione del linguaggio naturale (NLP), in particolare nel settore sanitario, ha creato una domanda per la condivisione di modelli linguistici su larga scala (LLM) specializzati. Tuttavia, i modelli pre-addestrati e perfezionati su dati sensibili affrontano rischi significativi per la privacy. Questi modelli possono "memorizzare" e successivamente "rigurgitare" o diffondere informazioni personali, inclusi sia identificatori diretti (ad esempio, nomi, date) sia identificatori indiretti (ad esempio, combinazioni uniche di termini medici o frasi specifiche del contesto). Le attuali strategie di mitigazione, come la pseudonimizzazione tramite riconoscimento di entità nominate (NER), sono insufficienti perché non affrontano gli identificatori indiretti. Inoltre, tecniche come la privacy differenziale (DP) spesso degradano significativamente l'utilità del modello. Il Comitato europeo per la protezione dei dati (EDPB) ha chiarito che i modelli addestrati su dati personali non possono essere considerati anonimi a meno che la probabilità di rigurgitare informazioni personali non sia insignificante, uno standard spesso non soddisfatto dalle attuali pratiche di perfezionamento.

Metodologia: Modellazione del Linguaggio Mascherata a Protezione della Privacy (PPmlm-bert)
Gli autori propongono un approccio "privacy-by-design" che utilizza una metodologia specializzata di modellazione del linguaggio mascherato (MLM) per prevenire la memorizzazione di informazioni identificative durante il perfezionamento di modelli simili a BERT. Il meccanismo principale prevede un passaggio di pre-elaborazione per generare una "lista nera" di termini sensibili, seguita da una strategia di mascheramento vincolata durante l'addestramento.

1. Identificazione degli Identificatori:

   • Identificatori Diretti: Rilevati utilizzando modelli NER pronti all'uso (ad esempio, EDS-Pseudo) per trovare le informazioni di identificazione personale (PII) standard.
   • Identificatori Indiretti: Rilevati costruendo un grafo bipartito che collega gli individui (utenti) alle parole nei loro documenti. Le parole (o n-grammi) collegate a un solo individuo vengono segnalate come identificatori indiretti. Questo approccio è parametrizzato da $k$, dove il sistema può essere configurato per segnalare le parole utilizzate da meno di $k$ individui (con default a $k=2$ per garantire l'indistinguibilità).
   • Costruzione della Lista Nera: Sia gli identificatori diretti che quelli indiretti vengono aggregati in una lista nera.

2. Strategia di Mascheramento Vincolata:

   • Durante la fase di perfezionamento, il processo di mascheramento casuale standard (in cui il 15% dei token viene mascherato) viene modificato.
   • Al modello è vietato selezionare parole presenti nella lista nera come obiettivo della previsione (il token mascherato).
   • Tuttavia, le parole nella lista nera possono ancora apparire nel contesto (i token non mascherati che circondano la maschera) per aiutare a prevedere altre parole. Questo preserva l'utilità del contesto senza costringere il modello a imparare a prevedere i termini sensibili stessi.

Contributi Chiave

• Oltre il NER: Il documento mette in discussione l'assunzione secondo cui la rimozione degli identificatori diretti tramite NER sia sufficiente per la privacy. Dimostra che gli identificatori indiretti presentano un rischio significativo di fuga di dati e propone un metodo per rilevarli e proteggerne la diffusione.
• Framework PPmlm-bert: Uno schema di perfezionamento innovativo che integra il rilevamento degli identificatori con il processo di mascheramento per prevenire la memorizzazione mantenendo la ricchezza del contesto.
• Valutazione Completa: L'approccio è stato valutato su dataset medici (sintesi di dimissione clinica N2c2) e testi legali, confrontando le prestazioni con il perfezionamento standard, il perfezionamento pseudonimizzato e le linee di base della privacy differenziale (DP).

Risultati
La valutazione ha utilizzato modelli tra cui BERT Base, RoBERTa Large e DistilRoBERTa.

• Compromesso tra Privacy e Utilità:
  • Perfezionamento Standard (mlm-bert): Ha mostrato un significativo degrado della privacy nel corso delle epoche, con il modello che impara a prevedere gli identificatori (il punteggio di privacy è sceso da 0,97 a 0,92 per RoBERTa Large).
  • Perfezionamento Pseudonimizzato (mlmA-bert): Ha migliorato leggermente la privacy rimuovendo gli identificatori diretti, ma non ha impedito la memorizzazione degli identificatori indiretti. Ha inoltre ridotto l'utilità (punteggio F1) perché il contesto mancava di identificatori diretti.
  • Privacy Differenziale (DP-bert): Ha raggiunto un'alta privacy (~0,98) ma ha drasticamente ridotto l'utilità (i punteggi F1 sono scesi a ~0,20–0,50).
  • PPmlm-bert: Ha raggiunto il miglior compromesso. La privacy è rimasta stabile intorno a 0,99 (indicando quasi nessuna memorizzazione di identificatori) mantenendo un'alta utilità paragonabile al perfezionamento standard.
• Compiti a valle: Nei compiti di classificazione (prevedere le comorbidità dell'obesità e lo stato di fumo), PPmlm-bert ha ottenuto punteggi F1 identici alle linee di base standard e pseudonimizzate, dimostrando che la prevenzione della memorizzazione degli identificatori non degrada le prestazioni del compito.
• Attacchi di Inferenza dell'Appartenenza (MIA): PPmlm-bert ha dimostrato una forte resistenza agli MIA. A un tasso di falsi positivi dell'1%, il tasso di veri positivi per l'inferenza dell'appartenenza è sceso a ~2% per PPmlm-bert, rispetto a ~31% per i modelli standard e ~26% per i modelli pseudonimizzati.
• Analisi del Rigurgito: Gli identificatori più frequentemente rigurgitati nei modelli non protetti erano quelli più ripetuti nei dati di addestramento. PPmlm-bert ha ridotto drasticamente la frequenza di tali rigurgiti.

Significato e Affermazioni
Gli autori collocano questo lavoro come un passo pratico verso l'allineamento del perfezionamento degli LLM con il GDPR e il Parere 28/2024 dell'EDPB. Affermano che la loro metodologia facilita la condivisione sicura dei modelli garantendo che la "probabilità di rigurgito di informazioni personali sia insignificante".

Il documento riconosce modestamente le limitazioni:

• La soluzione si basa sul NER per gli identificatori diretti, il che significa che parole con errori di ortografia o straniere potrebbero essere perse dal NER ma vengono catturate come identificatori indiretti dall'approccio del grafo bipartito.
• Lo studio si basa su un dataset relativamente piccolo; la validazione su dataset più ampi è indicata come lavoro futuro.
• Il modello di minaccia presuppone che l'auditor (progettista del sistema) conosca i dati di addestramento; non affronta scenari in cui un attaccante ha una conoscenza parziale della popolazione di addestramento.
• L'approccio offre un allineamento comportamentale con le norme sulla privacy piuttosto che garanzie matematiche formali (a differenza della DP).

In definitiva, il documento sostiene che prevenire la memorizzazione di identificatori diretti e indiretti tramite MLM vincolato è un'alternativa praticabile e a basso costo alla DP, che preserva l'utilità del modello riducendo significativamente i rischi di fuga di dati sulla privacy.