Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data

Sintesi Tecnica: Quantificare la Privacy dei Controfatuali Sfruttando gli Attacchi di Inferenza dell'Appartenenza contro i Dati Sintetici

Definizione del Problema
Le spiegazioni controfatuali sono ampiamente utilizzate in applicazioni di machine learning (ML) ad alto rischio per elucidare le decisioni del modello, mostrando agli utenti come alterare i propri profili per ottenere un risultato desiderato. Tuttavia, il rilascio di queste spiegazioni pone un rischio per la privacy. Mentre la ricerca esistente ha identificato che i controfatuali possono far trapelare informazioni sui dati di addestramento attraverso attacchi di inferenza dell'appartenenza (Membership Inference Attacks - MIA), gli attacchi specifici per i controfatuali attuali (ad es., l'Attacco della Distanza del Controfatuale) richiedono tipicamente che l'avversario abbia accesso alle query del modello target. Questa limitazione permette ai fornitori di modelli di mitigare potenzialmente i rischi limitando la frequenza delle query o fornendo controfatuali ripetitivi. Il documento affronta il gap critico di determinare se possano verificarsi violazioni della privacy in un contesto "no-box", dove un avversario ha accesso solo a un insieme di controfatuali rilasciati, senza alcun accesso al modello sottostante, ai suoi dati di addestramento o alla capacità di interrogarlo.

Metodologia
Gli autori propongono un nuovo modello di minaccia che tratta i controfatuali rilasciati come una forma di dati sintetici. Basandosi sull'analogia secondo cui i controfatuali sono sostituti realistici dei dati di addestramento reali, simili ai dati sintetici generati da GAN o altri modelli generativi, il documento investiga la trasferibilità degli attacchi MIA allo stato dell'arte progettati per i dati sintetici nel panorama dei controfatuali.

Il framework sperimentale prevede le seguenti fasi:

1. Definizione del Modello di Minaccia: Lo studio definisce uno scenario di attacco "no-box" in cui l'avversario possiede un insieme di controfatuali generati per vari utenti, ma manca dell'accesso al modello target ($f_\theta$) o al dataset di addestramento ($D$). Questo è messo a confronto con uno scenario di base con "accesso alle query" (l'Attacco della Distanza del Controfatuale), che utilizza modelli ombra (shadow models) e richiede di interrogare il modello target per calcolare le distanze.
2. Implementazione dell'Attacco: Gli autori implementano un ensemble di sei attacchi MIA allo stato dell'arte per dati sintetici:
   • Distance to Closest Record (DCR/DCR-Diff)
   • Attacco Monte-Carlo
   • DOMIAS (MIA basata sulla densità)
   • Data Plagiarism Index (DPI)
   • Gen-LRA (Attacco del Rapporto di Verosimiglianza Generativa)
   • LOGAN/Classifier
     Questi attacchi sono applicati a controfatuali generati da quattro meccanismi distinti:
   • Basati su istanze: Nearest Instance Counterfactual Explanations (NICE) e Diverse Counterfactual Explanations utilizzando alberi k-d (Dice-kdtree).
   • Basati su perturbazione: Diverse Counterfactual Explanations utilizzando i gradienti (Dice-gradient) e SCFE (Smooth Counterfactual Explanations).
3. Strategia di Ensemble: Per gestire l'incertezza su quale meccanismo di attacco sia più efficace per un determinato metodo di generazione dei controfatuali, gli autori utilizzano strategie di ensemble (Majority Voting e Mean Aggregation) per combinare i segnali dei sei attacchi individuali.
4. Configurazione Sperimentale: Gli esperimenti sono stati condotti su quattro dataset tabulari (Adult, Acs_income, Compas, Heloc) utilizzando varie tecniche di generazione di controfatuali. Le prestazioni sono state valutate utilizzando ROC AUC, True Positive Rate (TPR) a bassi False Positive Rates (FPR) e Precision-Recall AUC.

Contributi Chiave

• Unione dei Domini: Il documento stabilisce un legame teorico e pratico tra la privacy dei dati sintetici e la privacy dei controfatuali, dimostrando che gli attacchi MIA progettati per i dati sintetici sono direttamente applicabili ai controfatuali.
• Fattibilità dell'Attacco No-Box: Gli autori dimostrano che attacchi MIA riusciti possono essere eseguiti contro i controfatuali senza alcun accesso al modello generatore o ai dati di addestramento, sfidando l'assunto che limitare l'accesso alle query sia sufficiente per la protezione della privacy.
• Efficacia dell'Ensemble: Lo studio mostra che un ensemble di attacchi sui dati sintetici supera l'esistente Attacco della Distanza del Controfatuale nella maggior parte degli scenari, in particolare quando i controfatuali sono basati su istanze.
• Analisi della Vulnerabilità: La ricerca identifica che la vulnerabilità dei controfatuali agli attacchi MIA correla con la loro somiglianza con la distribuzione dei dati di addestramento. I metodi basati su istanze (che selezionano reali istanze di addestramento) si rivelano più vulnerabili rispetto ai metodi basati su perturbazione (che alterano i valori delle caratteristiche).

Risultati
I risultati sperimentali indicano che l'ensemble MIA è costantemente più forte dell'Attacco della Distanza del Controfatuale (Dist-LRT) nella maggior parte dei dataset e dei metodi di generazione dei controfatuali, con la notevole eccezione del metodo dice_gradient sul dataset Compas.

• Basati su Istanze vs. Basati su Perturbazione: L'attacco ensemble supera significativamente il baseline sui controfatuali basati su istanze (NICE, Dice-kdtree), raggiungendo punteggi di ROC AUC fino a 0.694 (SCFE su Compas) e 0.624 (Dice-kdtree su Compas). Al contrario, entrambi gli attacchi si comportano quasi come un indovinare casuale sui metodi basati su perturbazione (Dice-gradient, SCFE) per dataset più grandi, sebbene l'ensemble mantenga un leggero vantaggio.
• Dimensione del Dataset: Le prestazioni dell'attacco sono generalmente più elevate su dataset più piccoli (Compas, Heloc) rispetto a quelli più grandi (Adult, Acs_income), in linea con l'ipotesi che dataset più piccoli portino a una maggiore memorizzazione.
• Prossimità e Diversità: Lo studio ha scoperto che una maggiore prossimità all'istanza originale generalmente aumenta la vulnerabilità, sebbene questa relazione sia non lineare. Limitare i cambiamenti solo a caratteristiche "azionabili" ha aumentato la vulnerabilità sul dataset Acs_income ma l'ha diminuita su Compas.
• Superiorità No-Box: Nel dataset Compas utilizzando Dice-kdtree, l'attacco ensemble no-box ha mostrato un miglioramento del 26% rispetto al baseline basato su query, evidenziando la gravità del rischio anche senza accesso al modello.

Significato e Rivendicazioni
Il documento sostiene che il rilascio di controfatuali senza robuste misure di privacy costituisce un significativo rischio per la privacy, anche quando i fornitori di modelli limitano l'accesso alle query. Gli autori argomentano che, poiché i controfatuali agiscono come sostituti realistici dei dati di addestramento, ereditano le vulnerabilità di privacy dei dati sintetici.

• Implicazioni per i Professionisti: Gli sviluppatori di modelli dovrebbero prestare cautela quando rilasciano controfatuali, poiché possono essere sfruttati per inferire l'appartenenza al set di addestramento senza dover interrogare il modello.
• Implicazioni per gli Auditor: Il setting di attacco "no-box" proposto consente agli auditor esterni di valutare la perdita di privacy nei modelli implementati senza richiedere l'accesso agli stessi modelli.
• Limitazioni e Lavoro Futuro: Gli autori notano con modestia che per alcuni dataset e metodi, le prestazioni dell'attacco sono solo leggermente superiori al caso casuale. Chiariscono che questo non garantisce la privacy, poiché la fuga di informazioni può comunque esistere anche se lo specifico MIA fallisce. Suggeriscono che difese come la Differential Privacy (DP) nella generazione di controfatuali o il ritorno di istanze prototipiche invece di controfatuali specifici per query potrebbero mitigare questi rischi.