MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness

1. Probleemstelling

Fairness in machine learning wordt gehinderd door drie primaire uitdagingen:

• Gebrek aan universaliteit: Er bestaat geen enkele definitie van fairness; bestaande metrieken (bijv. Statistical Parity, Equalized Odds) zijn vaak incompatibel en gekoppeld aan specifieke formuleringen.
• Beperkte reikwijdte: De meeste bestaande methoden zijn beperkt tot binaire classificatie en single-attribute gevoelige groepen. Ze hebben moeite met het hanteren van intersektionaliteit (discriminatie die voortkomt uit de combinatie van meerdere attributen, bijv. ras + geslacht) en multiclass predictietaken.
• Fragmentatie: Het vakgebied mist een unifyend raamwerk om bias te benchmarken, te vergelijken en te mitigeren over diverse fairness-noties en complexe subgroepstructuren tegelijkertijd.

2. Methodologie: Het MIFair-raamwerk

De auteurs stellen MIFair voor, een unifyend raamwerk gebaseerd op Mutual Information (MI) dat dient als zowel een bias-beoordelingsmetriek als een mitigatiestrategie.

A. Theoretische Grondslag

MIFair herformuleert groepsfairness als de statistische onafhankelijkheid tussen gevoelige attributen ($A$) en een "benefit"-variabele ($B$) die is afgeleid van modelpredicties ($\hat{Y}$) en ground truth ($Y$).

• Metrieksjabloon: De kernmetriek is gedefinieerd als $\iota_{fairness} = I(A; B)$, waarbij $I$ Mutual Information is.
  • $I(A; B) = 0$ impliceert perfecte fairness (statistische onafhankelijkheid).
  • Hogere waarden duiden op sterkere afhankelijkheid en grotere bias.
• Unificatie van Noties: Door de benefit-variabele $B$ expliciet verschillend te definiëren voor elke fairness-notie, verenigt MIFair diverse criteria in één wiskundige vorm:
  • Statistical Parity (SP): $B = \hat{Y}$
  • Equal Opportunity (EO): $B = \hat{Y} \mid Y=1$
  • Predictive Equality (PE): $B = \hat{Y} \mid Y=0$
  • Equalized Odds: Een gewogen som van EO en PE.
  • Overall Accuracy Equality: $B = \mathbb{1}\{\hat{Y} = Y\}$

B. Bias-mitigatie (In-Processing)

MIFair maakt gebruik van een in-processing-benadering, waarbij de standaard Empirical Risk Minimization (ERM)-doelfunctie tijdens het trainen wordt aangepast.

• Geregulariseerde Doelfunctie: De trainingsverliesfunctie wordt uitgebreid met een fairness-regularisator:
  $$\min_{w} L(D, w) + \eta \cdot \hat{\iota}_{fairness}(D, w)$$
  Waarbij $L$ de taakverliesfunctie is (bijv. cross-entropy), $\eta$ de regularisatiesterkte is, en $\hat{\iota}_{fairness}$ de empirische schatting van mutual information.
• Schatting: Om de rekenkosten en instabiliteit van adversarial training of variational estimators (zoals MINE) te vermijden, gebruikt MIFair een op tellingen gebaseerde benadering van MI, afgeleid van minibatch-stalen. Dit schat gezamenlijke en marginale distributies direct uit de uitvoerkansen van het model en de batch-data.

3. Belangrijkste Bijdragen

1. Unifyend Raamwerk: MIFair consolideert diverse fairness-definities (Independence, Separation, etc.) in één coherent informatie-theoretisch sjabloon, wat consistente benchmarking mogelijk maakt.
2. Ondersteuning voor Intersektionaliteit: In tegenstelling tot het meeste voorgaande werk dat beperkt is tot binaire attributen, hanteert MIFair op natuurlijke wijze vectoren van gevoelige attributen, waardoor beoordeling van complexe subgroepstructuren mogelijk is (bijv. $|G| > 2$).
3. Multiclass-capaciteit: Het raamwerk naadloos uit te breiden naar multiclass classificatietaken, waardoor een gat wordt gedicht waar veel bestaande fairness-metrieken tekortschieten.
4. Praktische Mitigatie: Het introduceert een op regularisatie gebaseerde trainingsmethode die rekenkundig efficiënt is (geen adversarial networks) en flexibel, waardoor practitioners specifieke fairness-noties kunnen selecteren via de definitie van $B$.

4. Experimentele Resultaten

De auteurs evalueerden MIFair op twee datasets: UCI Adult (tabulaire data) en CelebA (beelddata).

• Bias-reductie: Het verhogen van de regularisatieparameter $\eta$ verlaagde consistent de bijbehorende MIFair-metriek ($\iota_{fairness}$) en de bijbehorende klassieke metrieken (SPD, EOD, OAE) over alle subgroepparen.
• Intersektionaliteit: In de Adult-dataset (3 gevoelige attributen, 8 subgroepen) slaagde MIFair erin bias te verminderen, zelfs voor de meest onderscheidende intersektionale groepen (bijv. het vergelijken van groepen zonder gedeelde attribuutwaarden), met convergentie naar de acceptabele fairness-band $[-0.2, 0.2]$.
• Multiclass-prestaties: Op CelebA (haarcolorpredictie) bereikte MIFair een reductie van 96% in de SP-metriek met een maximale nauwkeurigheidsdaling van slechts 9.1%, wat effectieve bias-mitigatie in multiclass-settings aantoont.
• Fairness-Nauwkeurigheidsafweging: Hoewel de nauwkeurigheid ($ACC_{mean}$) licht afnam bij sterke regularisatie, bleef de gewogen nauwkeurigheid ($ACC_{weighted}$) stabieler, wat aangeeft dat het model representatiebias corrigeerde zonder in te storten.
• Demonstratie van Incompatibiliteit: Experimenten toonden aan dat het optimaliseren voor één notie (bijv. Overall Accuracy Equality) niet noodzakelijkerwijs andere verbetert (bijv. Statistical Parity), wat de noodzaak benadrukt om de juiste metriek te selecteren voor het specifieke ethische doel.
• Vergelijking met Baselines: In vergelijking met een KDE-gebaseerde baseline [31] bereikte MIFair lagere Mutual Information (betere onafhankelijkheid) en aanzienlijk hogere nauwkeurigheid, hoewel de baseline een iets lagere Disparate Impact (DDP) bereikte. Dit suggereert dat MI verschillende aspecten van bias vastlegt dan pairwise disparity-metrieken.

5. Betekenis en Impact

• Veelzijdigheid: MIFair overbrugt de kloof tussen theoretische fairness-definities en praktische toepassing door complexe, real-world scenario's (multiclass, multi-attribute) te ondersteunen die eerder moeilijk aan te pakken waren.
• Standaardisatie: Door één metrieksjabloon te bieden, faciliteert het de vergelijking van disparate fairness-noties, wat onderzoekers en practitioners helpt de afwegingen tussen verschillende definities te begrijpen.
• Toegankelijkheid: Het gebruik van op tellingen gebaseerde MI-schatting maakt de methode rekenkundig efficiënt en eenvoudig te integreren in standaard deep learning-pipelines zonder complexe adversarial training-opstellingen.
• Toekomstrichting: Het artikel legt de basis voor het uitbreiden van fairness naar continue kenmerken en outputs met behulp van continue mutual information-formuleringen.

Kortom, MIFair biedt een robuuste, principiële en flexibele oplossing voor moderne fairness-uitdagingen, en gaat voorbij aan de beperkingen van binair, single-attribute fairness om de structurele complexiteiten van intersektionale en multiclass discriminatie aan te pakken.