FairSelect: A Systematic Evaluation of Multi-Level and Intersectional Algorithmic Fairness

Sintesi Tecnica di FairSelect: Una Valutazione Sistematica della Equità Algoritmica Multi-livello e Intersezionale

Definizione del Problema
Il campo dell'equità algoritmica ha prodotto numerosi metodi per identificare e mitigare i bias nei modelli di apprendimento automatico attraverso le fasi di pre-processing, in-processing e post-processing. Tuttavia, le pratiche attuali soffrono di tre limitazioni primarie:

1. Isolamento: Le tecniche di equità vengono tipicamente valutate in isolamento lungo singoli assi demografici, piuttosto che in combinazione o attraverso sottogruppi intersezionali.
2. Mancanza di Guida Sistematica: Gli sviluppatori di modelli mancano di una guida chiara su come selezionare o combinare le strategie di mitigazione, in particolare quando si affrontano simultaneamente molteplici fonti di bias.
3. Dipendenza dal Contesto: Gli interventi sviluppati in un contesto spesso si basano su assunzioni (relazioni causali, strutture dei dati) che non si generalizzano a nuovi domini, come la sanità, dove le disparità intersezionali possono avere implicazioni dirette sugli esiti dei pazienti.

Gli strumenti esistenti (ad es., AIF360, Fairlearn) supportano generalmente singole strategie di mitigazione piuttosto che la valutazione strutturata e concorrente di molteplici tecniche attraverso l'intero ciclo di vita del modello. Inoltre, le valutazioni limitate a un singolo attributo spesso non riescono a rilevare le iniquità che colpiscono le popolazioni intersezionali.

Metodologia
Per affrontare queste lacune, gli autori presentano FairSelect, un toolkit modulare basato su Python progettato per valutare sistematicamente le combinazioni di tecniche di equità. Il framework opera attraverso una sequenza di esecuzione strutturata che coinvolge tre fasi primarie:

1. Pre-processing: Modifica delle distribuzioni dei dati di addestramento.
2. In-processing: Incorporazione di vincoli di equità durante l'ottimizzazione del modello.
3. Post-processing: Regolazione degli output del modello o delle soglie dopo l'addestramento.

Componenti Chiave:

• Tecniche di Mitigazione: Il toolkit implementa 12 tecniche specifiche (3 di pre-processing, 5 di in-processing, 4 di post-processing), tra cui l'Outcome-Group Reweighting, lo SMOTE, l'Exponentiated Gradient Reduction e il Group-Specific Youden Thresholding.
• Supporto ai Modelli: Supporta sette algoritmi di apprendimento supervisionato (Regressione Logistica, Random Forest, Decision Tree, Reti Neurali, SVM, XGBoost, LightGBM).
• Metriche di Valutazione: Il sistema valuta la performance predittiva (AUROC, Accuratezza, F1, Brier Score, ECE) e l'equità (Demographic Parity, Equalized Odds, TPR, FPR) sia attraverso attributi demografici individuali che attraverso combinazioni di sottogruppi intersezionali.

Design Sperimentale
Il framework è stato convalidato utilizzando due approcci distinti:

1. Esperimenti con Dati Sintetici: Una serie di dataset è stata generata per simulare specifici meccanismi di bias (ad es., squilibrio di rappresentazione, bias di etichetta, bias di calibrazione) e squilibri nei dati. Questi hanno servito come test di stress controllati per verificare se interventi specifici correggessero i loro pattern di bias mirati.
2. Replicazione Clinica nel Mondo Reale: Il toolkit è stato applicato a un dataset del mondo reale per predire il rischio di ictus a 2 anni in pazienti con fibrillazione atriale (AF) utilizzando dati dal programma "All of Us Research Program". Lo studio ha utilizzato una coorte di sviluppo (8.777 partecipanti) e una coorte di test (2.383 partecipanti) con distribuzioni geografiche e temporali distinte per valutare la generalizzabilità dei sottogruppi.

Risultati Chiave

• Esperimenti Sintetici: Le tecniche di equità mirate hanno generalmente ridotto le disparità dei sottogruppi previste. Le strategie multi-livello combinate hanno prodotto miglioramenti medi dell'equità maggiori (miglioramento medio di EO_diff di 0,0331) rispetto ai metodi singoli (0,0175), sebbene ciò sia avvenuto con compromessi di utilità modesti (diminuzione media di AUROC di 0,0125 per il multi-livello rispetto a 0,0014 per il singolo). Fondamentalmente, i risultati hanno mostrato che le interviste di equità interagiscono in modi non additivi; alcune combinazioni hanno prodotto benefici limitati o hanno ridotto i guadagni di equità rispetto ai metodi singoli.
• Predizione dello Ictus Clinico:
  • Baseline: I modelli hanno mostrato una forte performance predittiva ma una sostanziale variabilità nell'equità (ad es., l'EO_diff del Decision Tree baseline era di 1,000 rispetto a 0,063 del Random Forest).
  • Performance dei Metodi Singoli: I miglioramenti dell'equità sono stati inconsistenti. Solo il 22,3% delle esecuzioni con metodo singolo ha ridotto la differenza di Equalized Odds (EO_diff), e molti hanno effettivamente peggiorato le disparità.
  • Performance Multi-livello: Le strategie combinate hanno mostrato un potenziale maggiore di miglioramento, ma anche un'alta variabilità. Sebbene molte combinazioni siano risultate inefficaci o controproducenti, configurazioni specifiche (ad es., Random Forest con Reweighting e Ensemble In-processing) hanno ottenuto guadagni significativi in termini di equità mantenendo la performance predittiva. Al contrario, alcune combinazioni hanno ridotto significativamente l'AUROC.
  • Intersezionalità: Lo studio ha evidenziato come le disparità spesso persistano o emergano alle intersezioni di molteplici caratteristiche protette, cosa che le valutazioni su singolo asse potrebbero ignorare.

Significatività e Rivendicazioni
L'articolo sostiene che le interviste di equità non sono componenti indipendenti e non possono essere assunte come aventi effetti cumulativi o additivi. La principale significatività di FairSelect risiede nella sua capacità di:

1. Valutare Sistematicamente le Combinazioni: Fornisce un framework pratico per testare come le strategie di equità interagiscono attraverso l'intero ciclo di vita del modello, rivelando che l'efficacia è altamente dipendente dal contesto.
2. Supportare l'Analisi Intersezionale: Consente la valutazione delle disparità attraverso identità intersezionali, il che è critico per il processo decisionale clinico dove esistono popolazioni di pazienti eterogenee.
3. Riformulare il Tradeoff tra Equità e Utilità: I risultati suggeriscono che equità e performance predittiva non sono sempre obiettivi in competizione stretta. In alcuni casi, gli interventi multi-livello hanno corretto pattern di bias che degradavano anche la generalizzazione del modello, migliorando sia l'equità che l'accuratezza.

Gli autori concludono che non esiste una soluzione per l'equità "taglia unica". Inveve, framework di valutazione sistematica e multi-livello come FairSelect sono necessari per identificare strategie di mitigazione efficaci che migliorino l'equità dei sottogruppi preservando al contempo la performance del modello in contesti clinici reali.