Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption

Sintesi Tecnica: Fuga del Posteriore Normalizzata per Metrica (mPL) per il Consumo Congiunto

Enunciato del Problema
La Privacy Differenziale Locale (LDP) e la sua variante consapevole delle metriche, la Privacy Differenziale Metrica (mDP), tradizionalmente forniscono garanzie per singolo record limitando l'indistinguibilità delle distribuzioni di output per qualsiasi coppia di input. Tuttavia, questi framework spesso assumono rilasci indipendenti o analizzano la privacy su base per-record. Nei moderni sistemi di apprendimento automatico, i dati vengono frequentemente consumati sotto osservazione congiunta, dove un avversario aggrega più rilasci correlati (ad esempio, una sequenza di token perturbati in una frase o più posizioni perturbate in una traiettoria).

Il documento sostiene che le garanzie standard mDP possono essere insufficienti in questi contesti. Anche se un meccanismo soddisfa la mDP per i singoli record, un attaccante dotato di modelli di inferenza appresi (ad esempio, RNN, LSTM, Transformer) può aggregare prove attraverso elementi correlati per affinare significativamente le proprie credenze posteriori riguardo ai segreti originali. Questa fuga da "consumo congiunto" non è catturata dai limiti di rapporto per rilascio, creando un divario tra garanzie di privacy teoriche e rischio inferenziale effettivo.

Metodologia
Per affrontare ciò, gli autori introducono un nuovo framework di privacy incentrato sulla Fuga del Posteriore Normalizzata per Metrica (mPL) e su un meccanismo di audit adattivo chiamato mPL Adattivo (AmPL).

1. Fuga del Posteriore Normalizzata per Metrica (mPL):

   • Definizione: La mPL quantifica lo spostamento nelle probabilità a posteriori di un attaccante tra due segreti candidati ($x_i$ e $x_j$) dopo aver osservato un rilascio congiunto $y$, normalizzato dalla distanza semantica $d(x_i, x_j)$ tra di essi.
   • Equivalenza Teorica: Gli autori dimostrano che per un singolo rilascio o composizioni indipendenti, limitare uniformemente la mPL è matematicamente equivalente al soddisfacimento della mDP. Ciò stabilisce la mPL come una generalizzazione che recupera la mDP nei regimi standard.
   • Fallimento nel Consumo Congiunto: Sotto consumo congiunto dipendente, il documento dimostra che soddisfare la mDP non garantisce una bassa mPL. Segreti correlati permettono agli aggregatori appresi di comporre le prove, risultando in un'alta fuga del posteriore (alta mPL) anche quando i limiti mDP per record sono rispettati.

2. mPL Limitata Probabilisticamente (PBmPL):

   • Riconoscendo che il controllo esatto nel caso peggiore è intrattabile per dati ad alta dimensionalità e correlati, gli autori definiscono la PBmPL. Questo rilassa il vincolo limitando la probabilità che la mPL superi un budget target $\epsilon$, piuttosto che richiederne il rispetto per ogni possibile istanza.

3. Framework mPL Adattivo (AmPL):

   • Ciclo Fiducia-e-Verifica: L'AmPL opera la PBmPL attraverso un ciclo di feedback che coinvolge un "attaccante appreso".
   • Passo 1 (Perturbazione): I dati vengono perturbati utilizzando meccanismi a livello (ad esempio, distinguendo tra Informazioni Personalmente Identificabili (PII) e Informazioni Potenzialmente Identificabili (PoII)).
   • Passo 2 (Audit): Una rete neurale ad alta capacità (RNN, LSTM o Transformer) viene addestrata per ricostruire i segreti dai dati perturbati. Questo modello approssima la distribuzione a posteriori dell'attaccante.
   • Passo 3 (Feedback e Aggiustamento): Il sistema stima il tasso empirico di violazione della mPL. Se le violazioni superano una soglia, i parametri di perturbazione vengono aggiornati in modo adattivo per ridurre la fuga bilanciando l'utilità.
   • Passo 4 (Rimappatura Bayesiana): Per recuperare l'utilità persa durante la perturbazione, il framework applica una rimappatura bayesiana (post-processing) agli output perturbati. Gli autori dimostrano che questo passo preserva il vincolo congiunto mPL.

Contributi Chiave

• Formalizzazione della mPL: Il documento introduce la mPL come una metrica allineata all'attaccante e consapevole della geometria, che sposta l'obiettivo di valutazione dai rapporti di output isolati all'entità dell'affinamento delle credenze sotto osservazione congiunta.
• Dimostrazione del Divario mDP-mPL: Attraverso modelli espliciti di segreti congiunti e aggregatori appresi privi di modello (RNN, LSTM, Transformer), gli autori mostrano che i meccanismi mDP standard (come il Meccanismo Esponenziale) possono fallire nel prevenire un'alta fuga del posteriore quando i record sono correlati.
• Framework Operativo (AmPL): La proposta di un framework pratico e iterativo che utilizza avversari appresi per auditare e tarare i parametri di privacy, superando i limiti statici nel caso peggiore per passare a un controllo probabilistico e guidato dai dati.
• Garanzie Teoriche: Il documento fornisce dimostrazioni per l'invarianza al post-processing della mPL, l'equivalenza tra mPL e mDP in contesti indipendenti e garanzie di concentrazione per la procedura di audit basata su campionamento.

Risultati Sperimentali
Il framework è stato valutato su dataset di embedding testuali (AG-News, IMDB, Recensioni Amazon) utilizzando embedding GloVe pre-addestrati.

• Riduzione delle Violazioni: I meccanismi mDP standard (Meccanismo Esponenziale) hanno mostrato rapporti di violazione mPL non trascurabili (ad esempio, ~19,29% su AG-News con un attaccante Transformer a $\epsilon=2,40$). Al contrario, l'AmPL ha ridotto sostanzialmente queste violazioni (ad esempio, a ~15,07% nello stesso contesto, con riduzioni maggiori in altre configurazioni, come una riduzione relativa del 57,1% su AG-News con una RNN).
• Preservazione dell'Utilità: Gli autori hanno rilevato che, sebbene l'AmPL riducesse la fuga, la perdita di utilità (misurata dalla distorsione semantica) rimaneva comparabile ai metodi standard, in particolare quando veniva applicata la rimappatura bayesiana. La rimappatura ha migliorato significativamente l'utilità, riducendo la perdita da ~0,22 a ~0,13 in certe configurazioni senza compromettere la garanzia di privacy.
• Robustezza: I risultati sono stati validi attraverso diverse architetture di attaccante (RNN, LSTM, Transformer) e dataset, indicando che il framework controlla efficacemente la fuga contro forti attacchi di inferenza appresi.

Significato e Affermazioni
Il documento afferma che la mPL e il framework AmPL forniscono una protezione pratica e certificabile per i contesti di consumo congiunto in cui le garanzie tradizionali per singolo record sono insufficienti. Allineando la metrica di privacy alle effettive capacità inferenziali degli attaccanti moderni (che aggregano prove correlate), gli autori sostengono che la PBmPL offra una valutazione più realistica del rischio. Il significato risiede nel colmare il divario tra i limiti teorici della privacy differenziale e la realtà empirica degli attacchi di inferenza nei sistemi basati su embedding, offrendo un metodo per bilanciare dinamicamente privacy e utilità in presenza di avversari appresi. Gli autori notano che, sebbene il loro audit dipenda dalla classe di attaccante scelta, fornisce un modo modulare per valutare e mitigare i rischi di fuga che l'analisi per singolo rilascio non coglie.