Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

Sintesi Tecnica: I Dati Sintetici Possono Essere Equi e Privati? Uno Studio Comparativo sulla Generazione di Dati Sintetici e sugli Algoritmi di Equità

Enunciato del Problema
L'integrazione crescente del Machine Learning (ML) nell'Analisi dell'Apprendimento (LA) ha reso necessarie soluzioni robuste per l'equità algoritmica e la privacy dei dati. Sebbene i Generatori di Dati Sintetici (SDG) siano emersi come strumenti a doppio scopo per migliorare la privacy (sostituendo i dati reali con controparti sintetiche) e l'equità (bilanciando la rappresentazione dei gruppi minoritari), la letteratura esistente suggerisce una relazione inversa tra questi due obiettivi. Le ricerche precedenti si sono concentrate ampiamente sui compromessi tra privacy e utilità o tra equità e utilità, lasciando un vuoto nella comprensione della relazione triangolare tra privacy, equità e utilità attraverso un ampio spettro di SDG. Inoltre, sebbene gli algoritmi di pre-processing per l'equità siano ben consolidati per i dati del mondo reale, la loro efficacia quando applicati a dati sintetici rimane poco esplorata. Questo studio affronta tali lacune investigando quali SDG bilanciano meglio privacy ed equità e se gli algoritmi di pre-processing per l'equità possano ulteriormente migliorare l'equità dei dataset sintetici.

Metodologia
Lo studio adotta un disegno sperimentale comparativo che utilizza tre dataset educativi del mondo reale (Prestazioni matematiche degli studenti, Analisi dell'Apprendimento dell'Open University e dati del Law School Admission Council) e quattro attributi sensibili (sesso, disabilità, razza).

1. Generazione di Dati Sintetici: Sono stati valutati cinque SDG distinti:

   • CTGAN: Un GAN Tabulare Condizionale focalizzato sull'utilità.
   • DistilGPT2 (DGPT): Un Large Language Model adattato per la generazione di dati tabulari nell'ambito del framework GReaT.
   • ADSGAN: Un metodo basato su GAN che utilizza la regolarizzazione per ridurre l'overfitting e i rischi di inferenza dell'appartenenza.
   • PATE-GAN: Un GAN combinato con il framework Private Aggregation of Teacher Ensembles per fornire garanzie di privacy differenziale.
   • DECAF: Un modello basato su GAN specificamente progettato per generare dati sintetici equi utilizzando tecniche di inferenza causale per penalizzare esiti distorti.

2. Metriche di Valutazione:

   • Privacy: Valutata tramite quattro metriche: Distanza Media Jensen-Shannon (JSD), Distanza di Wasserstein (WD), accuratezza dell'Attacco di Inferenza dell'Appartenenza (MIA) (utilizzando BNAF) e punteggi di k-anonimato.
   • Equità: Valutata utilizzando tre metriche: Area Assoluta tra la curva Receiver Operating Characteristic (ABROCA), Differenza del Tasso di Errore (ERD) e Differenza del Tasso di Vero Positivo (TPRD). Queste sono state aggregate in un punteggio composito di equità.
   • Utilità: Misurata dall'accuratezza predittiva (AUC-ROC) di modelli ML a valle (Random Forest, Regressione Logistica, Naive Bayes Gaussiano, XGBoost).

3. Flusso Sperimentale:

   • RQ1 (Bilanciamento): I dataset sintetici sono stati generati e valutati per privacy ed equità. I modelli sono stati addestrati su questi dataset e testati su dati reali (paradigma Stesso Addestramento, Test Reale) per garantire un confronto oggettivo.
   • RQ2 (Miglioramento): Quattro algoritmi di pre-processing per l'equità (Soppressione, Rimozione della Correlazione, Rimozione dell'Impatto Disparato e Ripesatura) sono stati applicati ai dati di addestramento sintetici. I modelli risultanti sono stati riesaminati per misurare i miglioramenti nell'equità rispetto ai modelli di base e ai modelli addestrati su dati reali con lo stesso pre-processing.

Risultati Chiave

• Compromesso Privacy-Equità: Lo studio conferma un compromesso complesso in cui l'ottimizzazione per uno spesso compromette l'altro. DECAF è emerso come l'algoritmo che ha raggiunto il miglior equilibrio tra privacy ed equità su tutti i dataset. Tuttavia, questo equilibrio è arrivato a un costo significativo per l'utilità; DECAF ha mostrato la più bassa accuratezza predittiva (AUC-ROC) tra tutti i generatori.
• Specializzazione Algoritmica:
  • DGPT e CTGAN (focalizzati sull'utilità) hanno mostrato vari gradi di squilibrio, con DGPT che si è orientato leggermente più verso l'equità e CTGAN che ha mostrato una disparità estrema tra i punteggi di privacy ed equità.
  • PATE-GAN e ADSGAN (focalizzati sulla privacy) hanno dato priorità alla privacy, spesso a scapito dell'equità. PATE-GAN, in particolare, ha mostrato i compromessi più estremi, raggiungendo un'alta privacy ma i punteggi di equità più bassi in alcuni casi.
• Efficacia del Pre-processing: L'applicazione di algoritmi di pre-processing per l'equità ai dati sintetici ha prodotto miglioramenti nell'equità maggiori rispetto alla loro applicazione ai dati reali. Ad esempio, la combinazione di CTGAN con Ripesatura (RW) o Soppressione (SUP) ha portato a significativi guadagni di equità (fino al 21,5% di miglioramento sul Dataset C).
• Sensibilità dell'Algoritmo: L'efficacia degli algoritmi di pre-processing non è stata uniforme; specifiche tecniche di equità hanno funzionato meglio con specifici SDG (ad esempio, CTGAN ha risposto bene a SUP e RW, mentre ADSGAN ha mostrato risultati negativi con la Rimozione della Correlazione sul Dataset A).

Significato e Contributi
Il paper apporta tre contributi principali al campo dell'Analisi dell'Apprendimento e dell'etica dell'IA:

1. Analisi della Relazione Triangolare: Fornisce un ampio studio empirico che evidenzia la relazione triangolare tra privacy, equità e utilità. I risultati suggeriscono che, sebbene privacy ed equità possano essere ottimizzate congiuntamente (come osservato con DECAF), entrambe spesso mostrano una relazione inversa con l'utilità (accuratezza predittiva).
2. Superiorità di Sintetico + Pre-processing: Lo studio dimostra che combinare la generazione di dati sintetici con algoritmi di pre-processing per l'equità produce previsioni più eque rispetto all'applicazione di algoritmi di equità ai soli dati del mondo reale. Questo sfida la nozione secondo cui i dati sintetici ereditano semplicemente i pregiudizi del mondo reale senza offrire una via unica per la mitigazione dei bias.
3. Linee Guida Pratiche: La ricerca offre raccomandazioni attuabili per gli stakeholder. Suggerisce che DECAF è ottimale per bilanciare privacy ed equità quando l'utilità è secondaria, ADSGAN è adatto per scenari critici per la privacy, e DGPT è preferibile quando l'equità è l'obiettivo primario. Inoltre, promuove un approccio ibrido – generazione di dati sintetici seguita da interventi di pre-processing per l'equità – come strategia robusta per creare modelli LA più equi.

Limitazioni
Gli autori riconoscono le limitazioni, inclusi i vincoli computazionali che hanno impedito multiple iterazioni della generazione di dati sintetici (che avrebbero potuto ridurre la casualità), il focus su un gruppo selezionato di SDG rappresentativi piuttosto che su un elenco esaustivo, e la restrizione ai dati tabulari, escludendo altri tipi di dati LA come le serie temporali o le immagini.