Private Prediction via PAC Privacy

Sintesi Tecnica: Predizione Privata tramite la Privacy PAC

Problema
I modelli di machine learning vengono sempre più distribuiti come servizi black-box dietro API, dove agli utenti vengono esposte solo le predizioni piuttosto che i pesi del modello. Questo schema di distribuzione motiva la predizione privata: privatizzare gli output del modello invece dei parametri. Sebbene la Differential Privacy (DP) sia lo standard per la privacy, essa fatica in questo contesto. La DP calibra il rumore basandosi sulla sensibilità nel caso peggiore (la variazione massima dell'output tra dataset adiacenti). Per modelli non convessi (ad esempio, reti neurali profonde), il calcolo di limiti di sensibilità stretti è intrattabile. Di conseguenza, la predizione privata basata su DP spesso si affida a metodi di "campionamento e aggregazione" (come PATE) o ricorre a rumore indipendente dall'input, portando a un duro compromesso tra privacy e utilità, dove l'utilità crolla sotto volumi di query elevati o budget ristretti.

Inoltre, gli esistenti framework di privacy per rilasci sequenziali falliscono spesso in presenza di query adattive e avversarie. In scenari realistici, utenti non fidati possono scegliere le query future basandosi sulla cronologia degli output precedenti per massimizzare la fuga di informazioni. I normali teoremi di composizione o falliscono sotto adattività, o crescono quadraticamente con il numero di query, o ricorrono a un rumore di tipo DP indipendente dall'input, scartando i vantaggi di stabilità del predittore specifico.

Metodologia
Il documento propone un framework per la Predizione Privata tramite la Privacy PAC (Probably Approximately Correct), affrontando il divario nell'efficienza della composizione adattiva.

1. Framework di Privacy PAC: A differenza della DP, la privacy PAC è basata sull'istanza. Misura la stabilità di una funzione di elaborazione dati tramite simulazioni black-box sotto una specifica distribuzione di input ($P_S$). Controlla la fuga di privacy limitando l'Informazione Mutua (MI) tra il segreto $S$ e l'output $R$. Una funzione stabile richiede significativamente meno rumore per essere privatizzata.
2. Composizione Avversaria Consapevole della Posterior: Il principale contributo teorico è un nuovo teorema di composizione che gestisce query adattive e avversarie con un segreto persistente (lo stesso set di addestramento $S$ viene utilizzato per tutte le query).
   • Calibrazione del Rumore Adattiva: Il curatore mantiene uno "stato di credenza" (belief state)—la distribuzione a posteriori del segreto $S$ data la cronologia delle interazioni.
   • Meccanismo: Ad ogni step $t$, ricevuta una query adattiva $M_t$, il curatore calcola la covarianza del rumore $\Sigma_t$ necessaria per soddisfare un budget di MI per step $b_t$ condizionato dalla attuale distribuzione a posteriori $P_{t-1}$.
   • Aggiornamento Bayesiano: Dopo il rilascio della risposta rumorosa $R_t$, il curatore aggiorna la credenza a posteriori utilizzando la regola di Bayes.
   • Teorema: Gli autori dimostrano che, sotto questo meccanismo, la perdita totale di MI si accumula linearmente ($I(S; R_{1:T} \le \sum b_t$) anche sotto adattività avversaria. Ciò preserva l'utilità basata sull'istanza della privacy PAC fornendo al contempo rigorosi limiti di composizione lineare.
3. Istanziazione Concreta per ML:
   • Distribuzione di Input: Il segreto $S$ è un sottoinsieme casuale dell'universo $U$, campionato in modo tale che ogni punto abbia una probabilità del 50% di inclusione. Per rendere computabile il processo, il supporto è limitato a una collezione finita di $m=128$ sottoinsiemi.
   • Pre-elaborazione Offline: Per evitare di riaddestrare il modello per ogni query, $m$ modelli vengono addestrati offline sui $m$ sottoinsiemi. Le query online comportano l'esecuzione dell'inferenza su questi $m$ modelli, l'aggregazione delle predizioni e l'aggiunta di rumore calibrato.
   • Stabilizzazione dell'Output: Il sistema privatizza predizioni hard (etichette one-hot) piuttosto che probabilità soft. Le predizioni hard sono più stabili attraverso diversi sottoinsiemi di addestramento, risultando in una minore varianza dell'output e richiedendo meno rumore.
4. Distillazione del Modello Privato: Per consentire query illimitate dopo l'esaurimento di un budget di privacy finito, il documento propone di distillare un modello "studente" dalle predizioni PAC-private.
   • Filtro di Confidenza: Un test statistico viene applicato alle predizioni rumorose per filtrare i campioni a bassa confidenza (potenzialmente etichettati erroneamente) prima dell'addestramento dello studente. Ciò assicura che il modello distillato sia addestrato solo su etichette di alta qualità, limitando la probabilità di mantenere dati etichettati erroneamente.

Risultati Chiave
Gli esperimenti su modalità tabulari, visive (CIFAR-10, CIFAR-100) e testuali (IMDb, AG News) dimostrano l'efficacia dell'approccio:

• Alta Utilità con Budget Stringenti: Su CIFAR-10, il metodo raggiunge un'accuratezza dell'87,79% con un budget di MI per query di $2^{-32}$. Ciò consente di servire un milione di query garantendo provabilmente il successo di un attacco di inferenza sull'appartenenza (MIA) al 51,08%. Questa garanzia è comparabile a $(0,04, 10^{-5})$-DP.
• Scalabilità: Il sistema supporta circa 477 milioni di query prima di raggiungere la garanzia MIA di $(1, 10^{-5})$-DP. Al contrario, la predizione privata basata su DP degrada verso il caso del tirare a sorte all'aumentare delle query a causa dei vincoli di sensibilità indipendenti dall'input.
• Performance della Distillazione: Utilizzando 210.000 predizioni private da un insegnante CIFAR-10 per etichettare un sottoinsieme pubblico di ImageNet (CINIC-10), il modello studente distillato raggiunge un'accuratezza del 91,86% su CIFAR-10. Questo supera il docente privato e eguaglia la garanzia MIA di $(0,02, 10^{-5})$, pur non richiedendo alcun dato pubblici etichettati per il processo di distillazione.
• Robustezza: Il metodo mantiene una forte utilità anche quando il budget di MI per step si stringe fino a valori trascurabili ($2^{-32}$), un fenomeno attribuito alla stabilità intrinseca delle predizioni del modello attraverso diversi sottoinsiemi di addestramento.

Significatività e Rivendicazioni
Il documento sostiene di colmare una lacuna critica nella machine learning privata abilitando una predizione privata che sia sia riservata alla privacy che altamente utile in condizioni adattive e avversarie.

• Svolta Teorica: Fornisce il primo teorema di composizione avversaria per la privacy PAC con un segreto persistente, dimostrando che la MI si accumula linearmente sotto query adattive. Ciò contrasta con i lavori precedenti che o fallivano sotto adattività o richiedevano rumore indipendente dall'input.
• Viabilità Pratica: Dimostra che la stabilità della predizione può essere sfruttata per privatizzare gli output con un rumore minimo, offrendo uno scenario "win-win" dove l'apprendimento robusto (bassa varianza) porta naturalmente a migliori compromessi tra privacy e utilità.
• Alternativa all'Addestramento DP: Il lavoro suggerisce una via per rilasciare modelli che preservano la privacy tramite predizione privata e distillazione, offrendo un profilo di utilità più favorevole rispetto a DP-SGD per i servizi di inferenza, specialmente quando il modello di minaccia è allineato alla predizione tramite API piuttosto che al rilascio dei pesi del modello.
• Limitazioni: Gli autori riconoscono che l'approccio dipende da una specifica distribuzione di input (sottocampionamento) e che il costo computazionale comporta il pre-addestramento di $m$ modelli. Notano inoltre che le garanzie teoriche assumono un avversario computazionalmente illimitato con piena conoscenza della distribuzione del sistema, sebbene sostengano che ciò si estenda naturalmente a contesti realistici.

In sintesi, il documento sostiene che spostando l'attenzione dalla privacy dei parametri alla privacy degli output e utilizzando la stabilità basata sull'istanza tramite la privacy PAC, è possibile servire milioni di query con forti garanzie di privacy provabili che i metodi basati su DP non possono raggiungere senza sacrificare l'utilità.