Randomized Masked Finetuning: An Efficient Way to Mitigate Memorization of PIIs in LLMs

Titolo: Randomized Masked Finetuning: Un metodo efficiente per mitigare la memorizzazione delle PII negli LLM

1. Il Problema: Memorizzazione e Privacy negli LLM

I modelli linguistici di grandi dimensioni (LLM) sono noti per memorizzare i dati di addestramento, potendo successivamente "rigurgitarli" (regurgitate) quando sollecitati da prompt specifici. Questo fenomeno comporta gravi rischi per la privacy, specialmente quando i dataset di addestramento contengono Informazioni Personalmente Identificabili (PII), come indirizzi email, numeri di telefono o indirizzi fisici.
Studi precedenti hanno dimostrato che la memorizzazione è guidata principalmente dalla duplicazione dei dati: le sequenze di token che appaiono frequentemente nel dataset tendono a essere memorizzate con maggiore probabilità rispetto a quelle uniche. Di conseguenza, la presenza ripetuta di una specifica PII (ad esempio, un indirizzo email che appare centinaia di volte) aumenta drasticamente il rischio che il modello la impari a memoria e la esca durante l'inferenza.

2. Metodologia: Randomized Masked Fine-Tuning (RMFT)

Gli autori propongono una nuova tecnica di fine-tuning chiamata Randomized Masked Fine-Tuning (RMFT). L'obiettivo è ridurre la frequenza di apparizione delle PII nel dataset di addestramento senza eliminare i dati, preservando così la diversità linguistica e il contesto originale.

Funzionamento di RMFT:

• Identificazione: Il sistema identifica tutte le occorrenze di una PII specifica (nel caso di studio, gli indirizzi email) nel dataset.
• Preservazione della prima occorrenza: Viene mantenuta intatta la prima apparizione di ogni indirizzo email originale.
• Mascheramento Randomizzato: Tutte le occorrenze successive (duplicati) vengono sostituite con indirizzi email generati casualmente.
  • La generazione mantiene la struttura originale (es. nome.cognome@dominio.tld).
  • I componenti (nome, cognome, dominio) vengono selezionati casualmente da un pool predefinito di nomi e domini comuni.
  • Questo processo riduce le occorrenze di una specifica PII da centinaia/migliaia a una singola apparizione, rompendo il pattern di memorizzazione senza rimuovere il contesto semantico dell'email.

Confronto con la Deduplicazione:
Per valutare l'efficacia, RMFT è stato confrontato con una tecnica di deduplicazione adattata (rimozione dei datapoint contenenti email duplicate). A differenza della deduplicazione standard che cancella intere sequenze di testo, RMFT modifica i dati mantenendo la dimensione del dataset e la ricchezza contestuale.

3. Contributi Chiave

1. RMFT: Una tecnica di fine-tuning privacy-preserving che riduce significativamente la memorizzazione delle PII minimizzando l'impatto sulle prestazioni del modello.
2. MaxTER (Framework di Valutazione): Introduzione di un nuovo framework di analisi Pareto-ottimale per valutare i compromessi tra privacy e utilità.
   • Definisce metriche di privacy: TER (Total Extraction Rate) e SER (Seen Extraction Rate).
   • Definisce una metrica di utilità: MDP (Mean Delta Perplexity).
   • Utilizza l'AURC (Area Under the Response Curve) per quantificare l'efficienza complessiva del compromesso privacy-utilità.
3. Validazione Sperimentale: Dimostrazione empirica su dataset reali (Enron Email Dataset) e su diversi architetture di modelli (GPT-2-XL e GPT-Neo-1.3B).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Enron Email (10.000 datapoint per l'addestramento) e valutati su 30 checkpoint di addestramento.

• Riduzione della Memorizzazione:
  • Rispetto al fine-tuning di base (baseline), RMFT ha ottenuto una riduzione del 80,81% del TER e dell'80,17% del SER.
  • RMFT ha superato la deduplicazione, che ha ottenuto riduzioni rispettivamente del 69,38% e 68,84%.
• Prestazioni del Modello (Perplexity):
  • L'impatto sulle prestazioni è stato minimo: RMFT ha causato un aumento della perplexity (MDP) di soli 5,73% rispetto al baseline.
  • Al contrario, la deduplicazione ha portato a un aumento della perplexity del 23,85%, indicando una degradazione delle prestazioni molto più significativa.
• Efficienza Temporale:
  • La deduplicazione è computazionalmente più veloce nella fase di pre-processing (10 min vs 15 min per RMFT su GPU H200), ma RMFT compensa questo svantaggio con risultati di privacy superiori e minore impatto sulle prestazioni.
• Analisi MaxTER e AURC:
  • L'analisi del trade-off privacy-utilità mostra che RMFT domina la deduplicazione.
  • RMFT ha raggiunto un AURC di 92,52 unità², contro le sole 17,09 unitಠdella deduplicazione, dimostrando una capacità superiore di bilanciare la riduzione della memorizzazione con il mantenimento della qualità del modello.

5. Significato e Conclusioni

Il lavoro dimostra che RMFT è una strategia scalabile ed efficace per rendere gli LLM più robusti alla privacy, specialmente in scenari di deployment dove le condizioni di distribuzione corrispondono a quelle di addestramento (in-distribution).

• Vantaggi Principali: RMFT offre un compromesso privacy-utilità superiore rispetto alla deduplicazione tradizionale, riducendo drasticamente il rischio di fughe di dati sensibili (PII) senza penalizzare significativamente la capacità generativa del modello.
• Limitazioni: L'efficacia attuale è legata alla natura strutturata delle PII (come le email). Estendere il metodo a sequenze di token arbitrarie o a scenari di pre-training su larga scala rimane una sfida aperta. Inoltre, la deduplicazione potrebbe generalizzare meglio su domini fuori distribuzione (out-of-distribution).
• Impatto Sociale: Questo approccio facilita il deployment sicuro di LLM in settori sensibili come sanità, finanza e servizi legali, permettendo di utilizzare dati reali senza compromettere la privacy degli individui.

In sintesi, RMFT rappresenta un passo avanti significativo verso l'addestramento di modelli linguistici che rispettano la privacy, offrendo una soluzione pratica per mitigare i rischi di memorizzazione delle informazioni sensibili.