Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

Riepilogo Tecnico: Audit della Privacy per la Rilascio di Dati Sintetici tramite Attacchi di Verosimiglianza Locale

Enunciato del Problema
L'audit della perdita di privacy nei dati sintetici rimane una sfida irrisolta. I framework esistenti per l'audit della privacy spesso si basano su euristiche (come metriche di distanza o densità) o su ipotesi irrealistiche riguardanti l'accesso al modello (ad esempio, impostazioni white-box o shadow-box). Questi approcci offrono una capacità limitata di rilevare o descrivere l'esposizione alla privacy, in particolare quando i modelli generativi mostrano specifici modi di fallimento come l'overfitting. Inoltre, molti attacchi esistenti mancano di una fondazione teorica che spieghi cosa misurano o in quali condizioni dovrebbero avere successo, rendendo difficile distinguere una progettazione fondata da coincidenze specifiche del benchmark.

Metodologia: Attacco con Rapporto di Verosimiglianza Generativo (Gen-LRA)
Gli autori propongono Gen-LRA, un nuovo Attacco di Inferenza dell'Appartenenza (MIA) progettato per il modello di minaccia No-Box. In questo scenario, l'avversario non ha accesso all'architettura, ai parametri o ai meccanismi interni del modello generativo. L'avversario possiede solo:

1. Il dataset sintetico rilasciato ($S$).
2. Un dataset di riferimento raccolto indipendentemente ($R$) estratto dalla stessa distribuzione della popolazione sottostante ($P$).

Meccanismo Principale
Gen-LRA inquadra l'inferenza dell'appartenenza come una misurazione dell'influenza che un'osservazione di test ($x^*$) ha sulla verosimiglianza stimata del dataset sintetico. L'attacco opera sull'ipotesi che, se un modello generativo soffre di overfitting, l'inclusione di un punto di training $x^*$ nell'insieme di riferimento aumenterà la verosimiglianza stimata dei dati sintetici $S$.

L'attacco procede nei seguenti passaggi:

1. Modellazione Surrogata: Un stimatore di densità surrogato (specificamente uno Stimator di Densità a Kernel Gaussiano, KDE) viene adattato sull'insieme di riferimento $R$ per ottenere $\hat{p}_R$.
2. Aumento: Un secondo surrogato viene adattato sull'insieme aumentato $R \cup \{x^*\}$ per ottenere $\hat{p}_{R \cup \{x^*\}}$.
3. Rapporto di Verosimiglianza Locale: Il punteggio dell'attacco è calcolato come la somma dei rapporti di verosimiglianza logaritmica sui $k$ vicini sintetici più prossimi di $x^*$ (denotati $S_k(x^*)$):
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. Decisione: Un punteggio elevato indica che l'aggiunta di $x^*$ all'insieme di riferimento ha aumentato significativamente la verosimiglianza dei punti sintetici vicini, suggerendo che $x^*$ faceva parte dell'insieme di training.

Quadro Teorico
Il documento stabilisce tre risultati teorici chiave a supporto di Gen-LRA:

1. Invarianza: Il punteggio del rapporto di verosimiglianza logaritmica è invariante rispetto a riparametrizzazioni invertibili dei dati, garantendo robustezza rispetto alle scelte di pre-elaborazione come la scalatura o la codifica.
2. Caratterizzazione in Forma Chiusa: Gli autori dimostrano che il punteggio Gen-LRA ammette una caratterizzazione in forma chiusa come statistica di rapporto di densità localizzata. A differenza degli attacchi con rapporto di densità su singolo punto (ad esempio DOMIAS), Gen-LRA aggrega le prove su una regione locale, catturando segnali di memorizzazione diffusi.
3. Divario del Punteggio Medio: Sotto un modello generale di overfitting locale, gli autori dimostrano un divario dimostrabile tra i punteggi attesi dei membri e dei non membri. L'entità di questo divario dipende linearmente dalla forza dell'overfitting ($\epsilon$) ed è governata dalla sovrapposizione tra la banda passante del surrogato e la scala di memorizzazione del generatore ($\rho$).

Contributi Chiave

1. Nuovo Attacco: Gen-LRA è il primo MIA per dati sintetici tabellari ad adattare esplicitamente un framework di funzioni di influenza al setting No-Box, formulando l'inferenza dell'appartenenza come l'influenza di un punto di test sul rapporto di verosimiglianza di un modello surrogato.
2. Giustificazione Teorica: Il lavoro fornisce un resoconto teorico rigoroso di ciò che l'attacco misura (rapporti di densità localizzati) e prevede quando avrà successo (in caso di overfitting locale).
3. Validazione tramite Simulazione: Simulazioni controllate istanziano il modello di overfitting, validando che Gen-LRA è univocamente regolabile attraverso i regimi di overfitting e supera i metodi esistenti, in particolare quando un generatore memorizza approssimativamente i dati di training.
4. Benchmark Empirico: Gli autori valutano Gen-LRA contro un benchmark completo composto da 35 dataset, 9 architetture generative (inclusi GAN, VAE, modelli Diffusion e Transformer) e 9 attacchi concorrenti. Ciò risulta in 1.525 configurazioni uniche di dataset sintetici e oltre 10.000 esecuzioni di attacco.

Risultati

• Prestazioni Aggregate: Gen-LRA domina costantemente gli MIA concorrenti. Raggiunge il tasso di classificazione Top-1 più alto su ogni metrica (AUC e Tasso di Vero Positivo a Tassi di Falso Positivo fissi) in tutte le 1.525 esecuzioni. Nello specifico, si classifica al primo posto in oltre il 38% delle esecuzioni (AUC) e nel 42% delle esecuzioni (TPR@FPR=0), che è più del doppio del tasso del miglior baseline successivo.
• Bassi Tassi di Falso Positivo: Gen-LRA mostra guadagni particolarmente forti a bassi tassi di falso positivo, una metrica critica per l'audit pratico della privacy.
• Regimi di Vulnerabilità: L'attacco è più efficace nel regime di "memorizzazione approssimata", dove i punti sintetici mantengono una relazione con i dati di training ma non sono copie esatte. In questo regime, gli attacchi su singolo punto (come DOMIAS) e gli attacchi basati sulla distanza (come DCR) collassano, mentre Gen-LRA aggrega le prove su più vicini per avere successo.
• Scelta del Surrogato: Contrariamente alle tendenze nella stima di densità ad alta dimensionalità dove i modelli di deep learning spesso superano il KDE, gli autori rilevano che il KDE Gaussiano supera i Flussi Autoregressivi Neurali a Blocchi (BNAF) per Gen-LRA. Ciò è attribuito al controllo esplicito del KDE sulla levigatura locale (banda passante), che corrisponde alla scala di memorizzazione, mentre il BNAF si ottimizza per l'accuratezza globale e introduce rumore stocastico che oscura il segnale di influenza su singolo punto.

Significato e Affermazioni
Il documento afferma che gli attuali strumenti di audit della privacy No-Box sottostimano significativamente i rischi per la privacy perché testano ipotesi errate o si basano su euristiche che falliscono nel regime di memorizzazione approssimata comune nei moderni generatori tabellari.

Gen-LRA fornisce uno strumento fondato ed efficiente dal punto di vista computazionale per le terze parti per auditare i rilasci di dati sintetici senza richiedere l'accesso al modello. Gli autori sostengono che il setting "No-Box" è il più realistico per l'audit della privacy, poiché i difensori che seguono le migliori pratiche manterranno riservati i dettagli del modello, rendendo inefficaci gli attacchi shadow-box. Dimostrando che l'overfitting del modello generativo comporta rischi significativi per la privacy anche in assenza di accesso al modello, il documento evidenzia la necessità di strumenti di audit più robusti per garantire il rilascio responsabile di dati sintetici in domini sensibili come la sanità e la finanza. Gli autori concludono che, sebbene nessun singolo attacco sia uniformemente ottimale in tutte le condizioni, Gen-LRA offre le prestazioni più robuste e consistenti per rilevare la perdita di privacy nei rilasci di dati sintetici nel mondo reale.