MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness

1. Enunciato del Problema

L'equità nell'apprendimento automatico è ostacolata da tre sfide principali:

• Mancanza di Universalità: Non esiste una singola definizione di equità; le metriche esistenti (ad esempio, Parità Statistica, Odds Equalizzati) sono spesso incompatibili e legate a formulazioni specifiche.
• Ambito Limitato: La maggior parte dei metodi esistenti è ristretta alla classificazione binaria e a gruppi sensibili a singolo attributo. Faticano a gestire l'intersezionalità (discriminazione derivante dalla combinazione di più attributi, ad esempio razza + genere) e i compiti di previsione multiclasse.
• Frammentazione: Il campo manca di un quadro unificato per valutare, confrontare e mitigare i pregiudizi attraverso diverse nozioni di equità e strutture di sottogruppi complesse simultaneamente.

2. Metodologia: Il Quadro MIFair

Gli autori propongono MIFair, un quadro unificato basato sull'Informazione Mutua (MI) che funge sia da metrica di valutazione del pregiudizio sia da strategia di mitigazione.

A. Fondamento Teorico

MIFair riformula l'equità di gruppo come indipendenza statistica tra attributi sensibili ($A$) e una variabile "vantaggio" ($B$) derivata dalle previsioni del modello ($\hat{Y}$) e dalla verità fondamentale ($Y$).

• Modello di Metrica: La metrica centrale è definita come $\iota_{fairness} = I(A; B)$, dove $I$ è l'Informazione Mutua.
  • $I(A; B) = 0$ implica equità perfetta (indipendenza statistica).
  • Valori più alti indicano una dipendenza più forte e un pregiudizio maggiore.
• Unificazione delle Nozioni: Definendo esplicitamente la variabile vantaggio $B$ in modo diverso per ogni nozione di equità, MIFair unifica vari criteri in un'unica forma matematica:
  • Parità Statistica (SP): $B = \hat{Y}$
  • Opportunità Uguale (EO): $B = \hat{Y} \mid Y=1$
  • Uguaglianza Predittiva (PE): $B = \hat{Y} \mid Y=0$
  • Odds Equalizzati: Una somma ponderata di EO e PE.
  • Uguaglianza della Precisione Complessiva: $B = \mathbb{1}\{\hat{Y} = Y\}$

B. Mitigazione del Pregiudizio (In-Processing)

MIFair impiega un approccio in-processing, modificando l'obiettivo standard di Minimizzazione del Rischio Empirico (ERM) durante l'addestramento.

• Obiettivo Regularizzato: La funzione di perdita di addestramento è aumentata con un regolarizzatore di equità:
  $$\min_{w} L(D, w) + \eta \cdot \hat{\iota}_{fairness}(D, w)$$
  Dove $L$ è la perdita del compito (ad esempio, entropia incrociata), $\eta$ è la forza della regolarizzazione e $\hat{\iota}_{fairness}$ è la stima empirica dell'informazione mutua.
• Stima: Per evitare il costo computazionale e l'instabilità dell'addestramento avversario o degli stimatori variazionali (come MINE), MIFair utilizza un'approssimazione basata su conteggi della MI derivata dai campioni di minibatch. Questa stima le distribuzioni congiunte e marginali direttamente dalle probabilità di output del modello e dai dati del batch.

3. Contributi Chiave

1. Quadro Unificato: MIFair consolida diverse definizioni di equità (Indipendenza, Separazione, ecc.) in un unico modello coerente di teoria dell'informazione, consentendo una valutazione coerente.
2. Supporto all'Intersezionalità: A differenza della maggior parte dei lavori precedenti limitati ad attributi binari, MIFair gestisce naturalmente vettori di attributi sensibili, permettendo la valutazione di strutture di sottogruppi complesse (ad esempio, $|G| > 2$).
3. Capacità Multiclasse: Il quadro si estende senza soluzione di continuità ai compiti di classificazione multiclasse, colmando una lacuna in cui molte metriche di equità esistenti falliscono.
4. Mitigazione Pratica: Introduce un metodo di addestramento basato sulla regolarizzazione che è computazionalmente efficiente (nessuna rete avversaria) e flessibile, permettendo ai praticanti di selezionare nozioni specifiche di equità tramite la definizione di $B$.

4. Risultati Sperimentali

Gli autori hanno valutato MIFair su due dataset: UCI Adult (dati tabulari) e CelebA (dati di immagini).

• Riduzione del Pregiudizio: L'aumento del parametro di regolarizzazione $\eta$ ha ridotto coerentemente la corrispondente metrica MIFair ($\iota_{fairness}$) e le metriche classiche associate (SPD, EOD, OAE) attraverso tutte le coppie di sottogruppi.
• Intersezionalità: Nel dataset Adult (3 attributi sensibili, 8 sottogruppi), MIFair ha ridotto con successo il pregiudizio anche per i gruppi intersezionali più distinti (ad esempio, confrontando gruppi senza valori di attributo condivisi), convergendo verso la banda di equità accettabile $[-0.2, 0.2]$.
• Prestazioni Multiclasse: Su CelebA (previsione del colore dei capelli), MIFair ha ottenuto una riduzione del 96% nella metrica SP con una perdita massima di accuratezza di soli 9.1%, dimostrando una mitigazione efficace del pregiudizio in contesti multiclasse.
• Compromesso Equità-Accuratezza: Sebbene l'accuratezza ($ACC_{mean}$) sia diminuita leggermente con una forte regolarizzazione, l'accuratezza ponderata ($ACC_{weighted}$) è rimasta più stabile, indicando che il modello ha corretto i pregiudizi di rappresentazione senza collassare.
• Dimostrazione di Incompatibilità: Gli esperimenti hanno mostrato che l'ottimizzazione per una nozione (ad esempio, Uguaglianza della Precisione Complessiva) non migliora necessariamente le altre (ad esempio, Parità Statistica), evidenziando la necessità di selezionare la metrica corretta per l'obiettivo etico specifico.
• Confronto con le Baseline: Rispetto a una baseline basata su KDE [31], MIFair ha ottenuto un'Informazione Mutua inferiore (migliore indipendenza) e un'accuratezza significativamente più alta, sebbene la baseline abbia ottenuto un Impatto Disparato (DDP) leggermente inferiore. Ciò suggerisce che la MI cattura aspetti diversi del pregiudizio rispetto alle metriche di disparità a coppie.

5. Significato e Impatto

• Versatilità: MIFair colma il divario tra definizioni teoriche di equità e applicazione pratica supportando scenari complessi e reali (multiclasse, multi-attributo) che erano precedentemente difficili da affrontare.
• Standardizzazione: Fornendo un unico modello di metrica, facilita il confronto di nozioni di equità disparate, aiutando ricercatori e praticanti a comprendere i compromessi tra diverse definizioni.
• Accessibilità: L'uso della stima MI basata su conteggi rende il metodo computazionalmente efficiente e facile da integrare nelle pipeline standard di deep learning senza richiedere configurazioni complesse di addestramento avversario.
• Direzione Futura: Il documento stabilisce una base per estendere l'equità a caratteristiche e output continui utilizzando formulazioni di informazione mutua continua.

In sintesi, MIFair offre una soluzione robusta, fondata su principi e flessibile per le sfide moderne dell'equità, superando i limiti dell'equità binaria a singolo attributo per affrontare le complessità strutturali della discriminazione intersezionale e multiclasse.