Riepilogo Tecnico: Approccio di Doppia Regressione per la Fairness dei Sottogruppi

1. Definizione del Problema

Il documento affronta la sfida di ottenere la fairness dei sottogruppi (subgroup fairness) nel machine learning quando sono presenti molteplici attributi sensibili (ad es., genere, razza, età). Sebbene la fairness marginale (fairness rispetto ai singoli attributi) sia ben studiata, essa non riesce a prevenire il "gerrymandering della fairness", dove una discriminazione severa persiste alle intersezioni di molteplici attributi (Kearns et al., 2018a;b).

Formalmente, con $q$ attributi sensibili binari, esistono $2^q$ sottogruppi. Imporre la fairness distributiva su tutti questi sottogruppi si scontra con due barriere critiche:

1. Scarsità dei Dati (Data Sparsity): All'aumentare di $q$, molti sottogruppi contengono pochissimi campioni, portando a una stima del modello instabile e a garanzie di fairness imprecise (Molina & Loiseau, 2023).
2. Onere Computazionale: Il numero di vincoli di fairness scala esponenzialmente con $q$. Gli approcci avversari esistenti che tentano di misurare la fairness in tutti i sottogruppi diventano computazionalmente intrattabili.

Inoltre, i metodi esistenti spesso non riescono a garantire simultaneamente la fairness marginale (fairness su ogni singolo attributo) e la fairness dei sottogruppi, oppure si affidano a nozioni di fairness più deboli (ad es., la Parità Demografica) che non garantiscono la fairness distributiva.

2. Metodologia

2.1 Fairness dei Sottogruppi-Sottoinsiemi (Subgroup-Subset Fairness)

Per risolvere la scarsità dei dati, gli autori propongono di concentrarsi solo sui "sottogruppi attivi" — quelli con dimensioni campionarie sufficienti — includendo esplicitamente i sottogruppi marginali (sottogruppi definiti da singoli attributi sensibili) per garantire la fairness marginale.

Formalizzano la fairness dei sottogruppi-sottoinsiemi, dove un "sottogruppo-sottoinsieme" $W$ è l'unione di specifici sottogruppi. L'obiettivo è imporre la fairness distributiva su una collezione pre-selezionata di sottogruppi-sottoinsiemi $\mathcal{W}$ dove le dimensioni campionarie non sono troppo ridotte.

2.2 Supremum Integral Probability Metric (supIPM)

Gli autori introducono una misura di fairness distributiva chiamata supremum Integral Probability Metric (supIPM). Per una collezione di sottogruppi-sottoinsiemi $\mathcal{W}$, il gap di fairness è definito come:
$$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$$
dove $\psi$ è una misura di devianza (specificamente l'IPM). Gli autori dimostrano che l'errore di stima della supIPM empirica dipende dalla dimensione minima del campione all'interno dei sottoinsiemi ($n_W$) piuttosto che dal numero totale di sottoinsiemi $|\mathcal{W}|$, giustificando l'attenzione verso i sottoinsiemi attivi.

2.3 Apprendimento Avversario a Doppia Regressione (DRAF)

Ottimizzare direttamente la supIPM è computazionalmente costoso perché richiede la ricerca di un discriminatore separato per ogni $W \in \mathcal{W}$. Per superare questo problema, gli autori propongono una misura di gap di fairness surrogata basata sulla Doppia Regressione $R^2$ (DR2).

• Fondamento Teorico: Stabiliscono una relazione tra l'IPM e il coefficiente di determinazione ($R^2$) in un contesto di regressione dove l'input è la predizione del modello e l'output è un'etichetta che indica l'appartenenza al sottoinsieme.
• Il Surrogato: Definiscono una misura di Doppia Regressione $R^2$, $DR^2(f, v, g)$, che regredisce simultaneamente l'output del discriminatore $g(f(x))$ e una combinazione pesata degli indicatori di sottoinsieme $v^\top c_i$.
• Innovazione Chiave: L'algoritmo proposto, DRAF (Doubly Regressing Adversarial learning for Fairness), ottimizza un gap surrogato definito come:
  $$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$$
  Crucialmente, questa formulazione richiede un singolo discriminatore $g$ e un vettore di pesi $v$, indipendentemente dal numero di sottogruppi-sottoinsiemi $|\mathcal{W}|$. Ciò riduce la complessità computazionale da esponenziale a lineare rispetto al numero di sottoinsiemi.
• Ottimizzazione: L'algoritmo addestra il predittore $f$ e la coppia discriminatore/peso $(g, v)$ in un modo min-max alternato. L'analisi teorica dimostra che questo gap surrogato funge da limite superiore (upper bound) per la vera supIPM.

3. Contributi Principali

1. Formalizzazione della Fairness dei Sottogruppi-Sottoinsiemi: Una nuova nozione di fairness che bilancia la necessità di una fairness intersezionale con i vincoli pratici della scarsità dei dati, concentrandosi su sottoinsiemi attivi e gruppi marginali.
2. Introduzione di supIPM: Una misura di fairness distributiva per i sottogruppi-sottoinsiemi, accompagnata da un limite teorico sul suo errore di stima.
3. Algoritmo DRAF: Un algoritmo di apprendimento avversario computazionalmente efficiente che utilizza un singolo discriminatore per approssimare la supIPM tramite un surrogato di doppia regressione $R^2$. Gli autori dimostrano che questo surrogato è un limite superiore della metrica target.
4. Validazione Empirica: Dimostrazione che DRAF supera i metodi baseline (Regularization, GerryFair, Sequential mapping), in particolare in scenari con attributi sensibili ad alta dimensionalità e sottogruppi sparsi.

4. Risultati Sperimentali

Gli autori hanno valutato DRAF su quattro dataset benchmark: ADULT, DUTCH, CIVILCOMMENTS e COMMUNITIES (quest'ultimo con $q=18$ e estrema scarsità).

• Performance su Dati Sparsi: Sul dataset COMMUNITIES, dove la maggior parte dei sottogruppi è estremamente piccola, DRAF ha superato significativamente i baseline sia nella fairness dei sottogruppi (SP) che nella fairness marginale di primo ordine (MP(1)). I metodi baseline come GerryFair (focalizzato sulla disparità del peggior caso nei sottogruppi) o la Regolarizzazione (focalizzata sulla disparità marginale) non sono riusciti a ottenere entrambi i risultati simultaneamente.
• Trade-off Accuratezza-Fairness: DRAF ha ottenuto trade-off accuratezza-fairness competitivi in tutti i dataset. Nei dataset meno sparsi (ADULT, DUTCH), ha performato in modo comparabile o migliore rispetto ai baseline.
• Analisi di Correlazione: Gli esperimenti hanno mostrato che DRAF controlla efficacemente sia la fairness dei sottogruppi che quella marginale simultaneamente, mentre i metodi focalizzati su una sola dimensione spesso degradano l'altra.
• Robustezza: Il metodo ha dimostrato robustezza rispetto ad attributi sensibili rumorosi (mancanti), poiché può applicare vincoli di fairness solo ai sottogruppi-sottoinsiemi osservabili senza scartare i campioni.
• Estensioni: È stato dimostrato che l'approccio si estende alla classificazione multi-classe e ai vincoli di fairness di Equalized Odds (EO).

5. Significato e Rivendicazioni

Il documento afferma che DRAF fornisce una soluzione pratica alla "maledizione della dimensionalità" nella fairness dei sottogruppi. Spostando l'attenzione da tutti i $2^q$ sottogruppi a una collezione curata di sottogruppi-sottoinsiemi attivi e utilizzando un surrogato a singolo discriminatore, il metodo risolve i doppi problemi della scarsità dei dati e dell'intrattabilità computazionale.

Gli autori sottolineano che il loro approccio garantisce la fairness distributiva (la nozione più forte di fairness) senza ricorrere a metriche più deboli come la Parità Demografica. Argomentano che ignorare i piccoli sottogruppi è statisticamente fondato per la fairness a livello di popolazione, a patto che la fairness marginale sia esplicitamente imposta. Il lavoro conclude che DRAF consente l'implementazione di modelli di IA equi in scenari complessi e reali con molteplici attributi sensibili, dove i metodi precedenti erano o computazionalmente proibitivi o statisticamente instabili.