Differential Privacy of Gaussian Process Posterior Sampling

Sintesi Tecnica: Privacy Differenziale del Campionamento della Posteriore di un Processo Gaussiano

Definizione del Problema
Il documento affronta i rischi di privacy associati al rilascio di percorsi di campionamento della posteriore di un Processo Gaussiano (GP) quando l'intero set di addestramento (sia le covariate $X$ che le risposte $y$) è privato. A differenza dei meccanismi standard di privacy differenziale (DP) che iniettano rumore esterno in output deterministici (ad esempio, le medie posteriori), questo lavoro investiga la privacy "intrinseca" fornita dalla casualità inerente al meccanismo di campionamento della posteriore bayesiana stessa. L'avversario è modellato come un osservatore di uno o più percorsi di campionamento a valori di funzione rilasciati $f_D \sim \Pi_D$, capace di valutarli in input arbitrari, pur conoscendo la struttura del modello GP, il dominio e la dimensione del dataset. L'obiettivo è quantificare la fuga di informazioni (leakage) di questo meccanismo senza aggiungere rumore esterno, e comprendere come la regolarizzazione e i parametri del kernel influenzino tale fuga.

Metodologia
Gli autori analizzano il meccanzaismo $M: D \mapsto f_D$, dove $f_D$ è un singolo prelievo dalla posteriore GP $\Pi_D = \mathcal{GP}(\mu_D, \sigma^2 k_D)$. Utilizzano la Rényi Differential Privacy (RDP) per derivare espliciti limiti (bounds), che vengono poi convertiti in garanzie di $(\epsilon, \delta)$-DP approssimate.

1. Derivazione Teorica: Il contributo teorico centrale è il Teorema 3.1, che fornisce un limite RDP per il rilascio di un percorso di campionamento della posteriore su un qualsiasi set di test finito. Il limite separa la fuga in due componenti distinte:

   • Leakage della Media Posteriore: Governato dalla sensibilità della media posteriore $\mu_D$ rispetto ai cambiamenti nel dataset, scalata per la scala del kernel $\sigma$.
   • Leakage della Covarianza Posteriore: Governato dalla covarianza posteriore dipendente dai dati $k_D$. Fondamentalmente, gli autori dimostrano che anche se la media è perfettamente regolarizzata (o $\sigma \to \infty$), il termine di covarianza $k_D$ può comunque rivelare informazioni sui dati di addestramento.
   • Parametri Chiave: I limiti dipendono dal ridge efficace $r$ (relativo al rapporto segnale-rumore) e dalla scala della varianza posteriore $V_n(r)$. L'analisi dimostra che una privacy significativa richiede una regolarizzazione sufficiente (un $r$ grande) per sopprimere il leakage della covarianza, non solo grandi scale del kernel.

2. Potenziamento tramite Rumore: Il documento propone anche un meccanismo per affinare le garanzie di privacy aggiungendo rumore Gaussiano indipendente $g \sim \mathcal{GP}(0, \eta^2 k)$ al percorso di campionamento rilasciato (Equazione 5). Ciò fornisce una "manopola della privacy" esplicita per scambiare l'utilità con garanzie più forti.

3. Validazione Empirica:

   • Attacchi di Inferenza di Appartenenza (MIA): Gli autori implementano un attacco di tipo LiRA per testare le previsioni teoriche. Misurano il tasso di successo dell'attacco (Tasso di Veri Positivi a un fissato Tasso di Falsi Positivi) rispetto a diversi livelli di regolarizzazione ($r$) e scala del kernel ($\sigma$).
   • Trade-off Privacy-Utilità: Utilizzando dati sintetici e reali (prezzi delle case della Grande Londra), valutano l'utilità dei percorsi rilasciati per task a valle, specificamente la "stima dell'insieme di escussione" (identificazione delle regioni in cui il campo latente supera una soglia). Confrontano la selezione libera degli iperparametri con la selezione vincolata da un budget di privacy ($\epsilon < 10$).

Contributi Chiave

1. Primi Limiti DP Espliciti per il Campionamento della Posteriore GP: Il documento deriva i primi limiti RDP espliciti per il rilascio di percorsi di campionamento della posteriore GP in cui l'intero set di addestramento è privato. I lavori precedenti o assumevano covariate pubbliche, o assumevano log-likelihood limitate (cosa che i GP non soddisfano a causa di funzioni latenti non limitate), o si affidavano a framework bayesiani generali che non si applicano direttamente alla regressione GP standard.
2. Disaccoppiamento delle Fonti di Leakage: I limiti teorici separano esplicitamente il leakage dalla media posteriore (sensibile agli spostamenti dipendenti dai dati) dal leakage inerente alla covarianza posteriore (incertezza dipendente dai dati). Ciò rivela che la privacy intrinseca non è automatica; dipende fortemente da una regolarizzazione efficace del ridge per controllare il leakage della covarianza.
3. Conferma Empirica della Teoria: Gli esperimenti confermano che il successo dell'attacco di inferenza di appartenenza segue la dipendenza prevista dalla regolarizzazione. Nello specifico, l'aumento del ridge efficace $r$ spinge le prestazioni dell'attacco verso il semplice indovinare casualmente, mentre l'aumento della sola scala del kernel $\sigma$ lascia segnali residui di appartenenza.
4. Preservazione dell'Utilità in Regimi Rumorosi: Gli esperimenti sull'utilità dimostrano che nei regimi con alta osservazione di rumore (dove la regolarizzazione è naturalmente alta), la regolarizzazione compatibile con la privacy preserva decisioni utili (stima dell'insieme di escussione) con solo un modesto calo di utilità. Nei regimi a basso rumore, il costo della privacy è più elevato.

Risultati

• Prestazioni MIA: Il tasso di successo dell'attacco correla fortemente con i limiti $\epsilon$ derivati. Quando la regolarizzazione è bassa, gli attacchi hanno successo anche con un $\sigma$ grande. Man mano che la regolarizzazione ($r$) aumenta, le prestazioni dell'attacco crollano verso il caso casuale, validando i limiti teorici.
• Composizione: Il documento analizza l'effetto del rilascio di $L$ prelievi indipendenti della posteriore. Sebbene i termini RDP si compongano additivamente, la conversione in DP approssimata produce una crescita sub-lineare del limite finale di $\epsilon$ rispetto a $L$.
• Utilità vs. Privacy: Negli esperimenti di escussione 1D e 2D, gli autori trovano che per osservazioni rumorose (alto Rapporto Segnale-Rumore), l'optimum di utilità non vincolato è già altamente regolarizzato. Di conseguenza, imporre un vincolo di privacy ($\epsilon < 10$) comporta una degradazione minima dell'utilità (ad esempio, un gap IoU relativo < 10%). Nei regimi a basso rumore, l'optimum non vincolato si adatta strettamente ai dati, e imporre la privacy richiede una regolarizzazione significativa, portando a costi di utilità più elevati.
• Applicazione nel Mondo Reale: Applicato ai dati sui prezzi delle case di Londra, i prelievi della posteriore privati riescono a recuperare le regioni dominanti ad alto prezzo ma smussano le piccole isole isolate ad alto prezzo, illustrando il trade-off tra la randomizzazione indotta dalla privacy e il dettaglio fine.

Significatività e Rivendicazioni
Il documento afferma che la casualità della posteriore nei Processi Gaussiani può servire come una "autentica risorsa di privacy", ma ciò non è incondizionato. Gli autori sottolineano che la privacy intrinica utile richiede una regolarizzazione sufficiente per controllare sia il leakage della media posteriore che quello della covarianza.

Il lavoro estende la comprensione della privacy nell'apprendimento bayesiano mostrando che il campionamento della posteriore GP standard, spesso visto come un surrogato deterministico in contesti di privacy, possiede in realtà proprietà di DP intrinseche che possono essere quantificate e controllate. Gli autori notano che i loro limiti assumono iperparametri fissi; se gli iperparametri sono selezionati usando i dati privati, è richiesto un ulteriore conteggio della privacy. Essi riconoscono inoltre che i loro limiti si basano su risposte limitate, un requisito comune nella DP, e che la forza pratica del limite dipende da quanto strettamente si può controllare il termine di sensibilità $\Delta_n(r)$.

Il documento conclude che, sebbene la privacy intrinseca sia potente, essa è più efficace nei regimi rumorosi dove la regolarizzazione è naturalmente alta, permettendo il rilascio di utili campioni della posteriore senza l'iniezione esplicita di rumore esterno. Per esigenze di privacy più stringenti o regimi a basso rumore, l'aggiunta di rumore GP calibrato fornisce un meccanismo per affinare le garanzie.