Riepilogo Tecnico: GESD – Oltre l'Equità Orientata ai Risultati

Enunciato del Problema

Gli algoritmi di apprendimento automatico (ML) sono sempre più implementati in ambiti ad alto rischio come l'assunzione di personale, l'approvazione di prestiti e la giustizia penale. Sebbene le metriche di equità esistenti (ad esempio, parità statistica, odds equalizzate) quantifichino efficacemente le disparità nei risultati del modello, non riescono a contrastare i pregiudizi intrinseci nella procedura decisionale o la stabilità delle spiegazioni del modello. I metodi attuali fanno affidamento in modo massiccio sulle statistiche di previsione, rischiando di trascurare scenari in cui un modello produce esiti equi ma si basa su ragionamenti interni discriminatori o instabili. Esiste un divario critico nella misurazione di whether i membri di diversi sottogruppi protetti ricevono spiegazioni di qualità, stabilità e robustezza comparabili.

Metodologia

1. Disparità di Stabilità delle Spiegazioni a Livello di Gruppo (GESD)

Gli autori propongono GESD, una metrica di equità orientata alla procedura progettata per quantificare le disparità nella stabilità, robustezza e sensibilità delle spiegazioni del modello tra i sottogruppi protetti. A differenza delle misure precedenti che confrontano l'importanza media delle caratteristiche, GESD valuta l'affidabilità delle spiegazioni sotto perturbazioni degli input.

Il calcolo prevede cinque passaggi:

• Aggregazione delle Spiegazioni: Per garantire robustezza contro le incoerenze dei singoli spiegatori, il metodo aggrega le spiegazioni SHAP e LIME in un singolo vettore: $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• Perturbazione: Per ogni punto dati, vengono generate versioni perturbate utilizzando rumore gaussiano e mascheramento delle caratteristiche (sostituzione delle caratteristiche con valori di base). Questo simula fluttuazioni naturali degli input e dati mancanti.
• Misurazione della Stabilità: La distanza tra la spiegazione originale e la spiegazione dell'input perturbato viene calcolata utilizzando la norma $L_1$. Una distanza inferiore indica una maggiore stabilità. Questo viene convertito in un punteggio di stabilità $S(x)$ (ad esempio, $1/(1+\Delta(x))$).
• Aggregazione per Gruppo: I punteggi di stabilità vengono mediati per ciascun gruppo sensibile (ad esempio, genere, razza).
• Calcolo della Disparità:
  • Per due gruppi ($K=2$), GESD è la differenza assoluta tra i punteggi medi di stabilità del gruppo: $|S_0 - S_1|$.
  • Per $K > 2$ gruppi, è la varianza dei punteggi di stabilità del gruppo attorno alla media globale.

2. Framework di Ottimizzazione FEU

Per affrontare la natura multi-obiettivo del bilanciamento tra utilità, equità dei risultati ed equità delle spiegazioni, gli autori introducono il framework Fairness–Explainability–Utility (FEU).

• Funzione Obiettivo: Il problema è formulato come una minimizzazione a tre obiettivi senza vincoli:
  1. Equità ($L_f$): Differenza di Parità Demografica (DP) minimizzata.
  2. Spiegabilità ($L_e$): GESD minimizzato.
  3. Utilità ($L_u$): Area sotto la curva (AUC) massimizzata, convertita in minimizzazione tramite negazione.
• Algoritmo: Il framework utilizza l'algoritmo genetico di ordinamento non dominato II (NSGA-II) per evolvere una popolazione di configurazioni del modello (iperparametri come tasso di apprendimento, epoche e soglie decisionali).
• Selezione: Dall'insieme risultante di soluzioni Pareto-ottimali, un modello finale viene selezionato utilizzando la scalarizzazione di Chebyshev per garantire prestazioni bilanciate su tutti e tre gli obiettivi senza degradazione estrema in una singola metrica.

Contributi Chiave

1. Formulazione di GESD: Il documento definisce una nuova metrica orientata alla procedura che quantifica le disparità a livello di gruppo nella robustezza, stabilità e sensibilità delle spiegazioni, indipendentemente dai risultati del modello.
2. Framework FEU: Gli autori propongono un framework di ottimizzazione multi-obiettivo evolutivo che ottimizza congiuntamente utilità, equità basata sui risultati ed equità basata sulle spiegazioni.
3. Validazione Empirica: Lo studio dimostra che GESD può rilevare pregiudizi nascosti a livello di gruppo nelle spiegazioni sia in modelli lineari che non lineari, che le metriche basate sui risultati non rilevano.
4. Compromessi delle Prestazioni: Il lavoro mostra che FEU ottiene compromessi superiori tra utilità ed equità rispetto alle linee di base più avanzate (Apprendimento Avversario, Riduzione e Ripesatura).

Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset di riferimento: German Credit, Recidivism, Math e Portuguese. Il metodo FEU proposto è stato confrontato con Apprendimento Avversario (ADL), Riduzione (Red) e Ripesatura (RW).

• Utilità ed Equità dei Risultati: FEU ha generalmente superato o mantenuto la competitività rispetto alle linee di base in termini di punteggi AUC e F1. Ha inoltre ottenuto risultati competitivi sulle metriche di equità orientate ai risultati (DP ed EOD), spesso superando le linee di base sui dataset German Credit e Recidivism.
• Equità Procedurale (GESD): Sebbene FEU abbia mostrato valori di GESD leggermente più alti rispetto alle linee di base lineari (Red, RW) su alcuni dataset, ciò è stato attribuito alla complessità dei modelli di rete neurale utilizzati. Crucialmente, i risultati hanno evidenziato che modelli con alta utilità ed equità dei risultati possono ancora esibire significative disparità nelle spiegazioni.
• Sensibilità del Modello: Lo studio ha rilevato che i modelli non lineari (come FEU e ADL) tendono a generare spiegazioni meno stabili tra i sottogruppi rispetto ai modelli lineari. Inoltre, la scelta dello spiegatore (SHAP vs LIME) ha impattato significativamente il rilevamento del pregiudizio; aggregare entrambi gli spiegatori (come fatto in GESD) è stato necessario per catturare in modo robusto le disparità che singoli spiegatori potrebbero perdere.
• Ottimalità Pareto: Sul dataset German Credit, FEU ha generato soluzioni non dominate, bilanciando efficacemente i tre obiettivi, mentre le linee di base lineari hanno spesso sacrificato un'utilità significativa per guadagni marginali di equità.

Significato e Affermazioni

Il documento afferma che GESD offre uno strumento completo per diagnosticare i pregiudizi colmando il divario tra equità basata sui risultati ed equità basata sulle spiegazioni. Il suo significato principale risiede in:

• Insight Procedurale: Espone pregiudizi procedurali che le metriche tradizionali trascurano, assicurando che il ragionamento alla base delle decisioni sia equo quanto i risultati.
• Utilità Indipendente dal Modello: GESD è compatibile con vari algoritmi di apprendimento e metodi di interpretabilità post-hoc.
• Ottimizzazione Olistica: Il framework FEU dimostra che è possibile ottimizzare simultaneamente utilità, equità e spiegabilità, fornendo una visione più olistica della modellazione equa.

Gli autori notano che, sebbene FEU funzioni bene, attualmente manca di interventi specifici di mitigazione dei pregiudizi (come il debiasing avversario) per dataset estremamente distorti, il che è identificato come una direzione per lavori futuri. Inoltre, propongono di estendere GESD per gestire multiple categorie protette (intersezionalità) e passare ad algoritmi di ottimizzazione molti-obiettivo (ad esempio, NSGA-III) per gestire l'aumentata complessità.