Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

1. Il Problema: L'illusione della protezione degli attributi

Il lavoro affronta una limitazione fondamentale nell'implementazione pratica della Differential Privacy (DP) nell'apprendimento automatico.

• Contesto: La maggior parte delle librerie DP (es. Opacus) utilizza la relazione di adiacenza "add/remove" (aggiunta/rimozione). In questo modello, due dataset sono considerati adiacenti se uno può essere ottenuto dall'altro aggiungendo o rimuovendo un singolo record. Questo approccio è progettato per proteggere la membreship (cioè, impedire a un avversario di capire se un individuo specifico era presente nel dataset di addestramento).
• Il Gap: In molte applicazioni di ML, l'obiettivo non è solo proteggere la presenza di un utente, ma proteggere i suoi attributi (es. l'etichetta di un'immagine o il sentiment di un testo) anche quando si sa che l'utente fa parte del dataset.
• La Tesi: Gli autori dimostrano che il calcolo della privacy basato su "add/remove" sovrastima significativamente la protezione reale contro gli attacchi di inferenza degli attributi. Quando l'obiettivo è proteggere gli attributi, la relazione di adiacenza corretta è quella "substitute" (sostituzione), dove un record viene sostituito da un altro. I limiti di privacy calcolati con "add/remove" non sono sufficienti a garantire la sicurezza degli attributi al livello indicato dai parametri di privacy ($\epsilon, \delta$).

2. Metodologia: Audit e Canary

Per dimostrare empiricamente questa discrepanza, gli autori sviluppano un framework di audit della privacy basato sulla relazione di adiacenza "substitute".

• Definizione di Adiacenza Substitute: Due dataset $D$ e $D'$ sono adiacenti se $D'$ si ottiene sostituendo un record $z \in D$ con un record diverso $z'$.
• Costruzione di "Canary" (Record Esca): Gli autori progettano algoritmi per creare coppie di dataset vicini ($D, D'$) che massimizzano la distinguibilità per un avversario.
  • Scenario S1 (Worst-case Dataset): Creazione di dataset artificiali dove i gradienti sono massimizzati e opposti ($g_z = C$ e $g_{z'} = -C$) per testare i limiti teorici.
  • Scenario S2 (Gradient-Space Canary): Adattamento di tecniche esistenti per creare gradienti "esca" in spazi di gradiente, utili per modelli addestrati su dataset naturali in modalità "Hidden-State" (l'avversario vede solo il modello finale).
  • Scenario S3-S5 (Input-Space Canary): Creazione di campioni di input reali (o modificati) che sostituiscono un target. Questo include campioni con etichette errate (mislabeled) o campioni naturali avversariali, per simulare attacchi realistici come il data poisoning durante il fine-tuning.
• Procedura di Audit:
  1. Si addestrano modelli su $D$ o $D'$ (con il record esca $z$ o $z'$) utilizzando DP-SGD (o DP-Adam).
  2. Si misura la capacità di un avversario di distinguere quale dataset è stato usato analizzando i parametri finali del modello o i logit.
  3. Si calcola il limite inferiore empirico di $\epsilon$ (privacy leakage) e lo si confronta con i limiti teorici calcolati sia con contatori "add/remove" che "substitute".

3. Contributi Chiave

1. Algoritmi di Crafting per Canary: Proposizione di nuovi algoritmi (Algorithm 2-5) per generare campioni esca ottimali per l'audit sotto la relazione di adiacenza "substitute", sia nello spazio dei gradienti che in quello degli input.
2. Dimostrazione Empirica della Discrepanza: Evidenza sperimentale che il leakage di privacy misurato empiricamente supera i limiti garantiti dai contatori "add/remove", ma si allinea strettamente con i limiti previsti dai contatori "substitute".
3. Critica alle Librerie Attuali: Dimostrazione che gli utenti che si affidano alle librerie DP standard (che usano "add/remove") per proteggere attributi o etichette rischiano di sottostimare la vulnerabilità dei propri modelli.
4. Analisi dei Modelli Fine-tuned vs From-Scratch: Distinzione tra l'efficacia degli audit su modelli pre-addestrati (fine-tuning) rispetto a modelli addestrati da zero, mostrando che i modelli fine-tuned sono più vulnerabili agli attacchi basati su input-space.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come CIFAR10 (immagini), SST-2 (testo) e Purchase100, utilizzando architetture come ViT-B-16 e MLP.

• Violazione dei Limiti Add/Remove: In tutti gli scenari di fine-tuning con dataset naturali, l'audit ha mostrato che il leakage di privacy ($\epsilon_{audit}$) supera il limite teorico $\epsilon_{AR}$ (add/remove).
• Corrispondenza con Substitute: I risultati empirici seguono invece molto da vicino il limite teorico $\epsilon_{S}$ (substitute), confermando che la relazione di adiacenza corretta per questi attacchi è quella di sostituzione.
• Efficacia delle Canary:
  • Le canary nello spazio dei gradienti (S2) forniscono gli audit più "tight" (precisi) e robusti, violando sistematicamente i limiti add/remove.
  • Le canary nello spazio degli input (S3-S5) sono meno efficaci rispetto a quelle gradient-based, specialmente a bassi tassi di campionamento (subsampling rate $q$) e in fasi avanzate dell'addestramento, ma riescono comunque a dimostrare violazioni dei limiti add/remove nei modelli fine-tuned.
• Impatto del Fine-Tuning: I modelli fine-tuned sono risultati più suscettibili alla perdita di privacy tramite canary nello spazio degli input rispetto ai modelli addestrati da zero, rendendo il problema particolarmente rilevante per le applicazioni pratiche di LLM e modelli di visione.

5. Significato e Implicazioni

Il paper ha implicazioni critiche per la pratica della Differential Privacy:

• Scelta dell'Adiacenza: La scelta della relazione di adiacenza non è solo una questione teorica, ma determina la reale sicurezza del modello. Se l'obiettivo è proteggere gli attributi (es. etichette sensibili), l'uso di contatori "add/remove" è fuorviante e pericoloso.
• Ridefinizione delle Garanzie: Le garanzie di privacy riportate nella letteratura e nelle implementazioni attuali per scenari di inferenza di attributi devono essere ricalcolate utilizzando la relazione "substitute", che porta a parametri di privacy ($\epsilon$) significativamente più alti (peggiori) per lo stesso budget di rumore.
• Sicurezza del Fine-Tuning: Poiché il fine-tuning su dati sensibili è una pratica comune, i risultati suggeriscono che è sufficiente un singolo attacco di avvelenamento dei dati (con una canary) per compromettere la privacy degli attributi oltre i limiti garantiti dalle impostazioni DP standard.

In sintesi, gli autori concludono che la comunità deve abbandonare l'assunzione che la privacy "add/remove" sia sufficiente per la protezione degli attributi e adottare rigorosamente l'audit e il calcolo della privacy basati sulla relazione "substitute" per scenari reali di inferenza.