Where to Intervene? Benchmarking Fairness-Aware Learning on Differentially Private Synthetic Tabular Data

Sintesi Tecnica: Benchmarking dell'Apprendimento Consapevole dell'Equità su Dati Tabulari Sintetici con Privacy Differenziale

Definizione del Problema
L'implementazione dell'apprendimento automatico in domini ad alto rischio richiede una protezione rigorosa sia della privacy che dell'equità. Sebbene la Privacy Differenziale (DP) sia diventata il gold standard per l'analisi dei dati preservando la privacy, e i meccanismi orientati all'equità mirino a mitigare la discriminazione, questi obiettivi spesso confliggono. Ricerche precedenti indicano che la DP può amplificare le disparità tra i gruppi demografici, un fenomeno noto come "impatto disparato da DP" (DP disparate impact). Sebbene studi recenti abbiano osservato che i dati sintetici DP possono degradare le metriche di equità, manca una comprensione sistematica su dove si debba intervenire nelle pipeline di machine learning (pre-processing, in-processing o post-processing) per mitigare l'ingiustizia sotto vincoli di DP senza compromettere severamente l'utilità predittiva.

Metodologia
Questo lavoro presenta il primo benchmark sistematico che valuta gli interventi di equità su dati tabulari sintetici con privacy differenziale. Lo studio si concentra sull'Adaptive Iterative Mechanism (AIM), identificato come lo stato dell'arte per i sintetizzatori DP basati su marginali per dati tabulari, con risultati supplementari utilizzando il sintetizzatore Maximum Spanning Tree (MST).

Il benchmark valuta quattro configurazioni di pipeline su quattro dataset (Adult, COMPAS, ACSIncome e un generatore sintetico BiasOnDemand) e tre classificatori (XGBoost, Logistic Regression, Random Forest):

1. Baseline: Addestramento su dati originali, non privati, senza interventi di equità.
2. Solo-DP: Addestramento su dati sintetici DP senza interventi di equità.
3. Solo-Fair: Applicazione di meccanismi di equità a dati originali senza DP.
4. DP+Fair: Combinazione di meccanismi di equità con dati sintetici DP.

Lo studio valuta tre categorie di interventi di equità:

• Pre-processing: Reweighing (RW), Disparate Impact Remover (DIR) e Learning Fair Representations (LFR).
• In-processing: Exponentiated Gradient Reduction (EGR) e Grid Search Reduction (GSR).
• Post-processing: Reject Option Classification (ROC), Equalized Odds Post-Processing (EqOdds) e Calibrated Equalized Odds Post-processing (CEOP).

Le prestazioni sono misurate attraverso un ampio intervallo di budget di privacy ($\epsilon \in \{0.05, \dots, 20\}$) utilizzando metriche di utilità (Accuratezza, F1-score) e metriche di equità di gruppo (Differenza di Accuratezza del Modello, Differenza di Opportunità Equalizzata, Differenza di Parità Statistica). Il design sperimentale assicura che il post-processing dell'equità sia calibrato su dati reali tenuti da parte (held-out), aderendo alla proprietà di post-processing DP, con studi di ablazione che confermano come la calibrazione conforme alla DP produca risultati qualitativi coerenti.

Risultati Chiave
L'analisi empirica rivela trade-off distinti a seconda della fase di intervento:

• Pre-processing: Interventi come RW e LFR possono ridurre le disparità di gruppo introdotte dalla DP, ma comportano costantemente un costo significativo in termini di utilità predittiva. LFR impone una parità forte (portando le metriche vicino allo zero) ma spesso porta a esiti di addestramento instabili e a una sostanziale degradazione dell'utilità. DIR mostra un potere correttivo limitato sotto la pipeline di pre-processing uniforme, performando in modo simile alla baseline Solo-DP.
• In-processing: Metodi come EGR offrono un trade-off conservativo, preservando l'utilità vicina alla baseline Solo-DP pur ottenendo riduzioni moderate e limitate della disparità. Tuttavia, generalmente non riescono a raggiungere i livelli di equità ottenibili con l'impostazione "Solo-Fair". GSR fornisce benefici sistematici trascurabili rispetto a Solo-DP.
• Post-processing: Questa fase emerge come la più efficace e robusta. ROC ed EqOdds raggiungono costantemente le più forti riduzioni della disparità (particolarmente per l'Opportunità Equalizzata e la Parità Statistica) mantenendo l'utilità entro una degradazione limitata rispetto alla baseline Solo-DP. Appaiono frequentemente sulla o vicino alla frontiera di Pareto del trade-off equità-utilità. CEOP mostra un comportamento più eterogeneo ed è meno affidabile come scelta predefinita.

La validazione statistica tramite test di Wilcoxon signed-rank accoppiati conferma che DP+Fair recupera significativamente la degradazione dell'equità (specificamente per EOD e SPD) causata da Solo-DP, e che le strategie di post-processing superano significativamente le strategie di pre- e in-processing in termini di trade-off equità-utilità.

Significatività e Rivendicazioni
Gli autori sostengono di fornire la prima valutazione sistematica degli interventi di equità applicati a classificatori addestrati su dati tabulari sintetici con DP. Il contributo primario è l'identificazione del post-processing come la fase di intervento più affidabile per mitigare il bias in questo contesto. L'articolo sostiene che, sebbene la DP da sola degradi sia l'utilità che l'equità, l'applicazione di interventi di equità — specificamente metodi di post-processing come ROC ed EqOdds — può parzialmente ripristinare esiti equi preservando un'utilità competitiva.

Lo studio evidenzia che l'efficacia degli interventi non è uniforme; dipende fortemente dalla scelta del sintetizzatore DP (AIM vs. MST) e dalla specifica metrica di equità. Gli autori sottolineano che le loro scoperte sono specifiche per i sintetizzatori DP basati su marginali, che sono attualmente allo stato dell'arte per i dati tabulari, e che la separazione tra generazione DP e intervento di equità permette di caratterizzare come i meccanismi stabiliti si comportano sotto budget di privacy fissi. Tutto il codice, i dati e gli artefatti sperimentali sono rilasciati per garantire la riproducibilità.