Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy

1. Il Problema

L'adozione diffusa dei Large Language Models (LLM) ha aumentato la necessità di condividere dati testuali preservando la privacy. Un approccio promettente è il Local Differential Privacy (LDP) applicato al riscrittura del testo, dove i dati vengono offuscati localmente prima della pubblicazione.

Il problema centrale affrontato dagli autori è l'inadeguatezza del parametro teorico $\epsilon$ (privacy budget) come unica metrica per valutare la privacy reale:

• Interpretabilità scarsa: Un valore numerico di $\epsilon$ (es. $\epsilon=10$) non comunica direttamente quanto informazione viene effettivamente rivelata sull'input originale.
• Incomparabilità: Diversi meccanismi di riscrittura definiscono la privacy a granularità diverse (livello di token vs. livello di frase). Due meccanismi con lo stesso $\epsilon$ nominale possono offrire livelli di protezione empirica drasticamente differenti.
• Mancanza di standard empirici: Mentre nell'ambito del DP centralizzato esistono metodi di audit empirico (es. attacchi di inferenza di appartenenza), non esiste un framework standardizzato per calibrare empiricamente i meccanismi di riscrittura del testo sotto LDP, a causa della complessità dello spazio dei dati testuali (alto dimensionale, discreto e semanticamente strutturato).

2. Metodologia: TeDA (Text Distinguishability Audit)

Gli autori propongono TeDA, un framework di calibrazione empirica basato su un approccio di audit della distinguibilità. L'obiettivo è misurare la probabilità che un avversario possa identificare correttamente l'input originale partendo dall'output privatizzato.

Componenti Chiave del Framework:

1. Formulazione basata su Candidati:
   Invece di tentare l'esaurimento dello spazio delle possibili uscite (impossibile per il testo), TeDA formula il problema come un'ipotesi di test: dato un output privatizzato $y$ e un insieme finito di candidati $S$ (incluso l'input vero $v_i$), l'avversario deve indovinare quale candidato ha generato $y$.
2. Attacchi di Distinguibilità Multi-Livello:
   Per catturare le diverse nature della perdita di privacy, vengono implementati due tipi di attacchi:
   • Attribuzione basata sul testo (Surface-level): Utilizza un LLM (Qwen3-8B) per analizzare indizi superficiali come sintassi, lessico e struttura, simulando un avversario umano.
   • Attribuzione basata su Embedding (Semantic-level): Utilizza modelli di embedding pre-addestrati (es. MPNet) per calcolare la distanza vettoriale nello spazio semantico. Questo rileva perdite di privacy che persistono anche quando la forma superficiale del testo è alterata.
3. Strategia di Selezione dei Candidati:
   A differenza dei dati tabulari, la scelta dei "distrattori" (candidati falsi) nel testo è cruciale. Gli autori introducono una Probabilistic Transition Sampling controllata da un parametro di temperatura $\lambda$:
   • $\lambda < 0$: Campionamento più diversificato (candidati semanticamente lontani).
   • $\lambda > 0$: Campionamento più simile (candidati semanticamente vicini, rendendo l'attacco più difficile).
   • $\lambda \to 0$: Campionamento uniforme.
     Lo studio utilizza principalmente il campionamento diversificato per massimizzare la pressione sull'avversario.
4. Stima Efficiente:
   Per ridurre il costo computazionale (che richiederebbe milioni di trial Monte Carlo), gli autori derivano uno stimatore ridotto. Sfruttando la simmetria tra falsi positivi e veri positivi in ipotesi scambiate, il framework stima la probabilità di successo aggregata, dimezzando il numero di query necessarie ai modelli linguistici.

3. Contributi Chiave

• Estensione dell'Audit al Testo: Adattamento del concetto di distinguibilità (originariamente per dati tabulari) al dominio del linguaggio naturale, affrontando le sfide dello spazio combinatorio e della struttura semantica.
• Framework Unificato (TeDA): Un sistema che permette di confrontare meccanismi eterogenei (es. quelli basati su rumore in embedding vs. quelli basati su campionamento di token) su una scala comune empirica.
• Scoperta di Discrepanze: Dimostrazione empirica che valori nominali di $\epsilon$ identici possono corrispondere a livelli di privacy reale molto diversi a seconda della granularità di reporting e dell'architettura del modello.
• Strumento Pratico: Fornisce un metodo scalabile per valutare i compromessi privacy-utilità e per identificare comportamenti anomali nei meccanismi di riscrittura.

4. Risultati Sperimentali

Gli autori hanno valutato 6 meccanismi rappresentativi (ADePT, DP-BART, DP-Paraphrase, DP-Prompt, DP-MLM, DP-ST) su 4 dataset (ATIS, SST-2, SNIPS, Trustpilot).

• Disallineamento tra $\epsilon$ Nominale ed Empirico ($\epsilon_{emp}$):
  • I meccanismi che operano a livello di frase (ADePT, DP-BART) mostrano un $\epsilon_{emp}$ vicino a zero anche per $\epsilon$ nominali molto alti (fino a 2500), indicando una forte protezione empirica.
  • I meccanismi a livello di token (DP-Paraphrase, DP-Prompt, DP-MLM) mostrano un $\epsilon_{emp}$ significativamente più alto che cresce con il budget nominale. Questo perché, per composizione, riscrivere una frase di $n$ token consuma un budget totale di $n\epsilon$, rendendo la garanzia a livello di frase molto più debole di quanto suggerisca il singolo $\epsilon$ per token.
• Complementarità degli Attacchi:
  L'attacco basato su LLM e quello basato su embedding rivelano vulnerabilità diverse. Ad esempio, DP-MLM mantiene la struttura superficiale (facile da rilevare per LLM) ma altera la semantica, mentre DP-Prompt altera la superficie ma mantiene sovrapposizioni semantiche rilevabili negli embedding.
• Compromesso Privacy-Utilità:
  L'analisi mostra che $\epsilon_{emp}$ è un indicatore più affidabile del compromesso privacy-utilità rispetto al $\epsilon$ nominale. Meccanismi con basso $\epsilon_{emp}$ preservano meglio l'utilità downstream (es. classificazione del sentiment) rispetto a quelli con alto $\epsilon_{emp}$, anche se i loro $\epsilon$ nominali sembrano simili.
• Comportamenti Anomali:
  TeDA ha identificato comportamenti controintuitivi:
  • DP-BART: A $\epsilon$ molto alti, l'output diventa meno distinguibile (e meno utile) perché il decoder tende a generare contenuti generici memorizzati invece di ricostruire l'input.
  • DP-Paraphrase: Mostra una risposta piatta a variazioni di $\epsilon$ a causa di un bias nel modello di base (fine-tuned su SNLI) che domina la generazione indipendentemente dal budget.

5. Significato e Implicazioni

Il lavoro di TeDA rappresenta un passo fondamentale per la sicurezza dei dati testuali:

1. Superamento dei Limiti Teorici: Dimostra che le garanzie teoriche (bound superiori) sono spesso troppo conservative o fuorvianti se non validate empiricamente.
2. Standardizzazione: Offre un terreno di confronto comune per ricercatori e praticanti che devono scegliere tra diversi algoritmi di LDP per il testo, indipendentemente dalla loro granularità di implementazione.
3. Audit Operativo: Fornisce uno strumento pratico per le organizzazioni che implementano sistemi di riscrittura del testo, permettendo loro di calibrare i parametri di privacy in base al rischio reale di distinguibilità piuttosto che a valori teorici astratti.
4. Scoperta di Difetti: La capacità di rilevare comportamenti non monotoni o inefficienze nei meccanismi esistenti aiuta a guidare lo sviluppo futuro di algoritmi più robusti ed efficienti.

In sintesi, il paper sostiene che la privacy nel testo non può essere misurata solo con un numero teorico, ma richiede una valutazione empirica basata sulla capacità reale di un avversario di distinguere le fonti, fornendo con TeDA il primo framework completo per tale scopo.