Sintesi Tecnica: Regressione Controfattualmente Equa tramite Trasporto Ottimale

Enunciato del Problema

Il documento affronta la sfida di apprendere un regressore controfattualmente equo in ambiti ad alto rischio (ad esempio, ammissioni universitarie) dove le previsioni devono essere invarianti rispetto a interventi sugli attributi sensibili (ad esempio, genere, razza). A differenza delle nozioni standard di equità come la Parità Demografica (DP), che richiedono solo l'uguaglianza distribuzionale marginale tra i gruppi, l'Equità Controfattuale (CF) esige che le previsioni rimangano invariate se l'attributo sensibile venisse alterato, mantenendo costante la "capacità" latente dell'individuo.

Un ostacolo significativo alla diffusione della CF è la necessità di Modelli Causali Strutturali (SCM) completi, che raramente sono disponibili nella pratica. Gli autori adottano una prospettiva di "incertezza causale" (nello specifico l'impostazione di Livello 2 di Kusner et al.), in cui il grafo causale completo è sconosciuto, ma è accessibile un proxy misurabile per la variabile latente di capacità $V$ (denotato come $\psi(X, S)$). L'obiettivo è costruire un stimatore di post-elaborazione che ricalibri un predittore "black-box" pre-addestrato senza riaddestramento, fornendo rigorose garanzie statistiche su campioni finiti.

Metodologia

1. Riduzione Teorica: dalla CF alla DP Condizionata

L'insight teorico fondamentale è che, nell'impostazione di incertezza causale con rumore ricampionato, l'Equità Controfattuale è equivalente alla Parità Demografica condizionata alla variabile latente $V$.

• Definizione: Un predittore è CF se, per qualsiasi capacità latente fissa $v$, la distribuzione delle previsioni è identica tra tutti i gruppi sensibili $s$.
• Implicazione: Ciò riduce il complesso problema controfattuale a un problema di trasporto ottimo condizionato. Gli autori dimostrano che il predittore equo ottimale minimizza il rischio soggetto al vincolo che le distribuzioni condizionate delle previsioni $\mu_{f|v,s}$ coincidano per ogni $s$.

2. Soluzione in Forma Chiusa tramite Trasporto Ottimale

Utilizzando la teoria del Trasporto Ottimale (OT), gli autori derivano un'espressione in forma chiusa per il regressore equo ottimale $f^*_0$.

• Mappa Barycentrica delle Quantili: Il predittore ottimale mappa la previsione originale $f^*(x, s)$ su un baricentro di Wasserstein-2 delle distribuzioni condizionate al gruppo.
• Formula:
  $$f^*_0(x, s) = \left( \sum_{s'=1}^K w_{s'} F^{-1}_{f^*|v, s'} \right) \circ F_{f^*|v, s}(f^*(x, s))$$
  dove $v = \psi(x, s)$, $w_s$ sono i pesi dei gruppi e $F^{-1}$ denota la funzione quantile. Questa operazione allinea efficacemente le distribuzioni delle previsioni di diversi gruppi all'interno dello stesso livello di capacità latente.

3. Stimatore di Post-Elaborazione Discretizzato

Poiché $V$ è continuo, gli autori propongono un pratico algoritmo di post-elaborazione discretizzato:

• Discretizzazione: Lo spazio latente $V$ è partizionato in $L$ intervalli.
• Stima Locale: All'interno di ciascun intervallo, le funzioni di distribuzione cumulativa (CDF) condizionate e le funzioni quantili sono stimate dai dati.
• Stimatore Plug-in: La mappa baricentrica in forma chiusa viene applicata localmente all'interno di ciascun intervallo utilizzando stime empiriche.
• Divisione del Campione: Per garantire l'indipendenza statistica tra la stima delle CDF e l'applicazione della mappa di trasporto, i dati vengono divisi (folding).

4. Equità Controfattuale Rilassata

Riconoscendo che l'equità esatta potrebbe essere irraggiungibile o indesiderabile, il documento estende il quadro alla CF rilassata.

• Trade-off: Gli autori definiscono un problema rilassato in cui la disuguaglianza è limitata da un budget $\alpha U(f^*)$.
• Combinazione Convessa: Si dimostra che il predittore ottimale rilassato è una combinazione convessa del predittore black-box originale e del predittore equo ottimale:
  $$f^*_\alpha = \sqrt{\alpha} f^* + (1-\sqrt{\alpha}) f^*_0$$
• Sintonizzazione: Viene fornita una regola esplicita per selezionare $\alpha$ al fine di soddisfare un budget di disuguaglianza prescritto, tenendo conto dell'errore di stima.

Contributi Chiave

1. Riduzione della CF: Il documento stabilisce che, in condizioni di incertezza e consapevolezza causale, l'Equità Controfattuale è equivalente alla Parità Demografica condizionata alla capacità latente $V$. Ciò collega la CF alle metodologie DP esistenti.
2. Regressore Ottimo in Forma Chiusa: Deriva la forma esatta del predittore equo ottimale utilizzando una costruzione baricentrica delle quantili, fornendo una soluzione costruttiva piuttosto che una prova di esistenza astratta.
3. Garanzie su Campioni Finiti: Gli autori propongono un metodo di post-elaborazione agnostico rispetto al modello e dimostrano rigorose garanzie statistiche su campioni finiti ad alta probabilità.
   • Sia la disuguaglianza che il rischio in eccesso decadono a un tasso di $\tilde{O}(n^{-1/3})$.
   • Stabiliscono un limite inferiore corrispondente, dimostrando che questo tasso è fondamentale per il problema della stima di regressori equi in queste condizioni, e non meramente un artefatto della discretizzazione.
4. Equità Rilassata con Sintonizzazione: Il lavoro si estende alla CF rilassata, fornendo regole di sintonizzazione esplicite per navigare il trade-off rischio-disuguaglianza.

Risultati

Dati Sintetici

• Validazione della Teoria: Gli esperimenti confermano che la disuguaglianza diminuisce all'aumentare del livello di discretizzazione $L$, stabilizzandosi vicino all'$L^*$ teoricamente ottimale.
• Trade-off: Il metodo domina le linee di base sulla frontiera CF. Mentre i metodi causali rigorosi (Fair K) raggiungono un'equità perfetta scartando le caratteristiche osservabili (portando a un errore elevato) e i metodi DP globali (WFR) raggiungono un errore basso ma falliscono nella CF, il metodo proposto raggiunge una CF quasi perfetta con un errore significativamente inferiore rispetto a Fair K.

Dati Reali (Dataset della Scuola di Legge)

• Prestazioni: Applicato al dataset LSAC (previsione dei voti del primo anno), il metodo colma il divario tra accuratezza ed equità.
  • Rispetto a Fair K (baseline causale), il metodo proposto mantiene un'accuratezza simile (RMSE $\approx$ 1.054 contro 1.086) riducendo la disuguaglianza condizionata di un ordine di grandezza.
  • Rispetto a WFR (baseline DP globale), raggiunge una disuguaglianza condizionata significativamente inferiore (0.009 contro 0.088) con un'accuratezza comparabile.
• Robustezza alla Stima del Proxy: Il documento valuta l'impatto della stima del proxy latente $V$ utilizzando Modelli Causali Strutturali (SCM) rispetto agli Autoencoder Variazionali (VAE). Evidenzia che la "perdita del proxy" (dove $V$ trattiene informazioni su $S$) degrada l'equità, ma il metodo rimane robusto quando si utilizza un "Fair VAE" che disaccoppia esplicitamente $V$ da $S$.

Significato e Affermazioni

Il documento afferma di fornire il primo framework di post-elaborazione agnostico rispetto al modello per l'equità controfattuale che offre rigorose garanzie statistiche su campioni finiti senza richiedere riaddestramento o accesso al grafo causale completo.

• Profondità Teorica: Dimostrando che il tasso di convergenza $n^{-1/3}$ è un limite inferiore fondamentale (tramite il Lemma di Assouad), gli autori sostengono che la lenta convergenza è il "prezzo intrinseco dell'equità" in contesti non parametrici, piuttosto che una limitazione del loro specifico algoritmo.
• Utilità Pratica: L'approccio è progettato per scenari in cui i modelli sono proprietari o di terze parti, o dove i dati di addestramento non sono disponibili, rendendolo altamente applicabile al dispiegamento nel mondo reale.
• Equità Sfumata: Il lavoro supera il dibattito sulla sufficienza della DP globale per la CF dimostrando che la DP condizionata (sulla variabile latente) è la riduzione strutturale corretta, offrendo una nuova prospettiva sulla relazione tra queste nozioni di equità.

Gli autori concludono che il loro metodo bilancia con successo il trade-off tra utilità predittiva ed equità controfattuale, offrendo un approccio calibrato per soddisfare budget specifici di equità mantenendo la validità statistica.