Personal Information Parroting in Language Models

Titolo: Parroting di Informazioni Personali nei Modelli Linguistici

1. Il Problema

I moderni Modelli Linguistici (LM) sono addestrati su enormi quantità di dati web (trilioni di token) che contengono milioni di istanze di Informazioni Personali (PI), come indirizzi email, numeri di telefono e indirizzi IP.
Il problema centrale identificato dagli autori è il memorizzazione e il successivo parroting (ripetizione verbatim) di queste informazioni da parte dei modelli.

• Rischio: I modelli possono essere indotti a rivelare dati sensibili tramite prompt semplici, senza bisogno di attacchi di estrazione complessi.
• Gap nella ricerca: Sebbene si sappia che i modelli memorizzano i dati, la documentazione e il filtraggio delle PI nei dataset di pre-addestramento sono spesso carenti. Le soluzioni esistenti si basano su espressioni regolari (regex) semplici che non sono sufficientemente precise o complete.

2. Metodologia

A. Sviluppo del Rilevatore R&R (Regex & Rules)

Per affrontare le limitazioni dei rilevatori esistenti (come WIMBD), gli autori hanno sviluppato una nuova suite di rilevatori chiamata R&R.

• Componenti: La suite include quattro rilevatori specifici per:
  1. Indirizzi email.
  2. Indirizzi IP (incluso IPv6, spesso ignorato dai precedenti).
  3. Numeri di telefono USA/Canada.
  4. Numeri di telefono USA/Canada con prefisso internazionale (+1).
• Innovazione: Oltre a migliorare i pattern delle espressioni regolari (regex), R&R introduce regole di post-elaborazione contestuali per ridurre i falsi positivi. Ad esempio:
  • Filtra numeri che appaiono in contesti come ISBN, codici di tracciamento o numeri casuali (es. MAXINT).
  • Convalida i codici di area e i codici centrali secondo il North American Numbering Plan (NANP).
  • Rimuove esempi placeholder (es. 123-456-7890).
• Validazione: La suite è stata testata su un set curato manualmente di 1.750 rilevazioni dal dataset "The Pile", dimostrando una precisione superiore rispetto a WIMBD, specialmente per i numeri di telefono con prefisso internazionale.

B. Misurazione della Memorizzazione (Memorization)

Gli autori hanno quantificato la memorizzazione utilizzando la definizione di p-memorization (Carlini et al., 2022).

• Dataset di Test: Un set "gold" di 483 istanze di PI (email, IP, telefoni) estratte da "The Pile".
• Modelli Sperimentali: La suite Pythia (da 160M a 6.9B parametri), che offre checkpoint intermedi durante l'addestramento (fino a 143k iterazioni).
• Procedura:
  1. Si prende il prefisso (fino a 80 token) che precede la PI nel documento originale.
  2. Si usa questo prefisso come prompt per il modello.
  3. Si genera il testo con greedy decoding.
  4. Si calcola il PARROTSCORE (basato sulla distanza di Levenshtein) tra la generazione e la PI originale. Un punteggio di 1 indica una ripetizione verbatim esatta.

3. Risultati Chiave

A. Performance del Rilevatore R&R

• R&R supera significativamente i rilevatori basati su regex precedenti (WIMBD) in 17 casi su 20.
• Miglioramento critico: WIMBD ha una precisione del 0% per i numeri di telefono con prefisso +1, mentre R&R raggiunge una precisione media del 30% (0.3).
• Stima del dataset: Applicando R&R a "The Pile", si stima che ci siano oltre 12 milioni di email e 4,4 milioni di indirizzi IP, con un numero significativo di telefoni.

B. Memorizzazione e Parroting

• Tasso di Parroting Verbatim: Il modello Pythia-6.9b ripete verbatim il 13.6% delle istanze di PI nel set di test quando fornito con il prefisso corretto.
• Correlazione con le Dimensioni del Modello: Esiste una correlazione positiva tra la dimensione del modello e la memorizzazione.
  • Anche il modello più piccolo (Pythia-160m) ripete verbatim il 2.7% delle istanze.
  • Le email sono le più soggette a parroting (fino al ~20% per i modelli più grandi), seguite dagli IP. I numeri di telefono hanno tassi più bassi ma significativi.
• Correlazione con i Passi di Addestramento: La memorizzazione è presente già a metà dell'addestramento (70k step) e rimane stabile o aumenta fino alla fine (143k step).
• Lunghezza del Prefisso: Anche con prompt molto brevi (solo 10 token di prefisso), il modello da 6.9B riesce a generare la PI con un PARROTSCORE medio di 0.34, indicando che la memorizzazione è robusta anche con pochi indizi.

C. Memorizzazione delle Parti Costitutive

L'analisi delle parti separate (es. nome utente vs dominio per le email, o prefisso vs numero per i telefoni) rivela rischi specifici:

• Email: Sia il nome utente che il dominio sono spesso ripetuti verbatim (fino al 31% per i domini nel modello 6.9B).
• Numeri di Telefono: Sebbene l'intero numero sia raramente ripetuto, il codice di area viene ripetuto verbatim nel 19.67% dei casi per il modello 6.9B. Questo è critico perché il codice di area rivela la posizione geografica dell'utente.

4. Contributi Principali

1. Suite R&R: Sviluppo di un nuovo set di rilevatori per PI che combina regex avanzate e regole contestuali, superando lo stato dell'arte (WIMBD) in termini di precisione e copertura (incluso IPv6 e prefissi +1).
2. Quantificazione Sistematica: Prima analisi su larga scala che misura il "parroting" verbatim di PI su una suite di modelli di dimensioni variabili e checkpoint di addestramento.
3. Analisi dei Fattori di Rischio: Dimostrazione empirica che la memorizzazione aumenta con la dimensione del modello e la durata dell'addestramento, e che persiste anche in modelli piccoli.
4. Rilevamento di Rischi Nascosti: Identificazione che parti specifiche delle PI (come i codici di area telefonica) sono memorizzate e ripetute con frequenza molto superiore rispetto all'intero dato, aumentando il rischio di de-anonimizzazione.

5. Significato e Raccomandazioni

Il paper evidenzia un problema di privacy urgente: i modelli linguistici non solo "imparano" le informazioni personali, ma le ripetono fedelmente se sollecitati, anche senza attacchi sofisticati.

• Implicazioni: La semplice presenza di PI nei dati di addestramento è sufficiente per creare rischi di privacy, indipendentemente dalla complessità del modello.
• Raccomandazioni: Gli autori invitano la comunità a:
  • Adottare filtri più aggressivi e accurati (come R&R) per i dataset di pre-addestramento.
  • Implementare processi di anonimizzazione rigorosi prima dell'addestramento.
  • Riconoscere che anche i modelli "piccoli" o parzialmente addestrati rappresentano un rischio per la privacy.

In sintesi, il lavoro dimostra che la memorizzazione delle informazioni personali è un fenomeno pervasivo e strutturale nei LLM attuali, rendendo essenziale un filtraggio dei dati di addestramento più rigoroso e intelligente.