Distributed Deep Variational Approach for Privacy-preserving Data Release

Riepilogo Tecnico: Approccio Variazionale Distribuito Profondo per la Pubblicazione di Dati con Preservazione della Privacy

Enunciazione del Problema
Il documento affronta la sfida di pubblicare dati continui ad alta dimensionalità (ad esempio, immagini, letture di sensori) preservando specifici attributi di utilità e nascondendo attributi sensibili. Sebbene l'Apprendimento Federato (FL) mantenga i dati grezzi in locale, rimane vulnerabile a fughe di privacy attraverso gradienti, aggiornamenti del modello e le rappresentazioni stesse. I metodi esistenti basati sulla perturbazione (come la Privacy Differenziale) spesso faticano con le caratteristiche continue ad alta dimensionalità, e la semplice anonimizzazione fallisce a causa delle correlazioni tra dati sensibili e dati di utilità. L'obiettivo è apprendere una mappatura stocastica che trasformi i dati grezzi $X$ in una rappresentazione depurata e a bassa dimensionalità $Z$, tale che $Z$ mantenga informazioni su una variabile di utilità $U$ ma riveli informazioni minime su una variabile sensibile $S$.

Metodologia: Protettore di Privacy Gaussiano (GPP)
Gli autori propongono il Protettore di Privacy Gaussiano (GPP), un framework fondato sulla teoria dell'informazione e sull'inferenza variazionale.

1. Formulazione dell'Obiettivo: Il problema centrale è formulato come la minimizzazione dell'informazione mutua tra i dati depurati e l'attributo sensibile, $I(Z;S)$, soggetto a un vincolo sull'entropia condizionale dell'attributo di utilità, $H(U|Z) \leq \bar{\gamma}$. Questo viene rilassato in un obiettivo Lagrangiano:
   $$\mathcal{L} = I(Z;S) + \beta \cdot H(U|Z)$$
   dove $\beta$ controlla il compromesso tra privacy e utilità.

2. Limiti Variazionali: Poiché le distribuzioni a posteriori vere sono intrattabili, gli autori derivano limiti variazionali:

   • Termine di Privacy: Un limite inferiore su $I(Z;S)$ è ottenuto utilizzando una rete avversariale $Q_\phi(S|Z)$ che tenta di prevedere $S$ da $Z$. Minimizzare la perdita dell'encoder mentre si massimizza la perdita dell'avversario (gioco min-max) stringe questo limite.
   • Termine di Utilità: Un limite superiore su $H(U|Z)$ è ottenuto utilizzando un classificatore di utilità $Q_\psi(U|Z)$. L'encoder coopera con questo classificatore per minimizzare la perdita di entropia incrociata.

3. Architettura: Il framework impiega una struttura di Autoencoder Variazionale (VAE). L'encoder $T_\theta$ mappa $X$ in uno spazio latente Gaussiano $(\mu, \Sigma)$, da cui $Z$ viene campionato tramite il trucco di riparametrizzazione. Un termine di divergenza KL regolarizza lo spazio latente affinché sia vicino a una distribuzione normale standard. La funzione di perdita totale combina l'entropia incrociata di utilità, l'entropia incrociata avversariale negativa e la regolarizzazione KL.

4. Estensione Distribuita: Il framework è esteso a un ambiente distribuito (GPP Distribuito). In questa architettura:

   • Ogni client addestra un encoder locale e un classificatore avversario locale.
   • Le etichette sensibili $S$ non lasciano mai il client.
   • I client trasmettono solo le rappresentazioni depurate $Z$ e le etichette di utilità $U$ a un aggregatore centrale.
   • L'aggregatore addestra classificatori di utilità condivisi sui dati depurati aggregati.
   • Questo fornisce una protezione della privacy a livello di istanza, complementando la garanzia del "dati grezzi rimangono in locale" del FL standard.

Contributi Chiave
Il documento afferma esplicitamente che i suoi contributi non sono l'invenzione di singoli componenti (limiti variazionali, apprendimento avversario, spazi Gaussiani) ma la loro integrazione ed estensione:

• Derivazione Variazionale Unificata: Una derivazione autonoma di un obiettivo privacy-utilità end-to-end che combina un limite inferiore su $I(Z;S)$ e un limite superiore su $H(U|Z)$ in una singola forma di punto di sella, con il compromesso controllato da un singolo parametro $\beta$.
• Framework Distribuito: Estensione del GPP a un ambiente distribuito in cui i client mantengono le etichette sensibili e gli avversari locali, mentre l'aggregatore riceve solo rappresentazioni depurate. Ciò abilita la protezione della privacy a livello di istanza.
• Limiti Teorici: Dimostrazione di un limite di privacy compositivo per l'ambiente distribuito sotto assunzioni IID e di aggregatore onesto, tenendo esplicitamente conto della fuoriuscita residua dalle etichette di utilità.
• Efficienza Comunicativa: Caratterizzazione del compromesso del costo comunicativo, mostrando che la trasmissione di rappresentazioni depurate può essere strettamente più efficiente della trasmissione di gradienti in regimi specifici (piccole dimensioni del batch rispetto alla dimensione del modello).

Risultati Sperimentali
Il framework è stato valutato su tre benchmark: MNIST (utilità somma delle cifre, sensibilità parità), CelebA (utilità sorriso, sensibilità genere) e HAPT-Recognition (utilità attività, sensibilità identità del soggetto).

• Compromesso Privacy-Utilità: Il GPP raggiunge prestazioni di utilità entro circa un punto percentuale rispetto a una linea di base di autoencoder senza vincoli (ad esempio, 0.978 vs 0.987 AUC su MNIST) riducendo contemporaneamente l'AUC dell'avversario a un livello vicino al caso casuale (0.531 vs 0.943 per la linea di base).
• Sensibilità ai Parametri: Il parametro $\beta$ controlla efficacemente il compromesso; valori più bassi privilegiano la privacy (AUC dell'avversario più basso), mentre valori più alti privilegiano l'utilità.
• Addestramento Avversario: Studi di ablazione confermano che i passaggi di addestramento avversario sono critici; senza di essi, l'avversario recupera informazioni sensibili con alta accuratezza nonostante la riduzione della dimensionalità.
• Robustezza: Il metodo rimane efficace anche quando gli attributi di utilità e sensibili sono altamente correlati, sebbene le prestazioni di utilità degradino in modo graduale all'aumentare della correlazione.
• Prestazioni Distribuite: Nell'ambiente distribuito (5 client su HAPT), il sistema corrisponde al punto operativo centralizzato di utilità-privacy (entro 0.005 AUC) garantendo al contempo che i dati grezzi e le etichette sensibili non lascino mai il client.

Significato e Affermazioni
Il documento posiziona il GPP come una soluzione pratica per la pubblicazione di dati con preservazione della privacy in ambienti distribuiti. Afferma di offrire un meccanismo flessibile e regolabile per depurare dati ad alta dimensionalità senza la pesante perdita di utilità spesso associata ai metodi basati sulla perturbazione. L'estensione distribuita è evidenziata come un contributo principale, offrendo una "protezione della privacy a livello di istanza" che va oltre le garanzie del FL standard prevenendo fughe attraverso gradienti e aggiornamenti del modello.

Gli autori mantengono un tono modesto nelle loro affermazioni, riconoscendo limitazioni come la necessità di confronti uno-a-uno con altri metodi di censura avversariale, la potenziale lassità dei limiti variazionali se la rete avversaria è limitata nella capacità, e la portata degli esperimenti distribuiti (presentati come prova di esistenza piuttosto che come studio completo della convergenza non-IID). Osservano che il framework non rivendica un "pranzo gratis", poiché i guadagni in privacy sono pagati in termini di utilità, ma questo compromesso è esplicitamente esposto e monotono.