Technische Samenvatting: MESD – Een Risicosensitieve Metriek voor Verklarende Rechtvaardigheid over Intersectionele Subgroepen

Probleemstelling

De huidige evaluatie van rechtvaardigheid in machine learning is overwegend uitkomstgericht en vertrouwt op metrieken zoals Demografische Pariteit en Gelijkwaardige Kansen om statistische consistentie in voorspellingen over beschermde groepen te waarborgen. Deze metrieken detecteren echter geen procedurale onrechtvaardigheid: situaties waarin een model statistisch rechtvaardige uitkomsten produceert, maar systematisch verschillende, onstabiele of bevooroordeelde redeneerprocessen gebruikt voor verschillende demografische groepen.

Dit probleem wordt verergerd door intersectionaliteit. Modellen kunnen rechtvaardig lijken wanneer ze worden geëvalueerd op enkele attributen (bijvoorbeeld ras of geslacht onafhankelijk van elkaar), terwijl ze aanzienlijke dispariteiten vertonen voor intersectionele subgroepen (bijvoorbeeld zwarte vrouwen), een fenomeen dat bekendstaat als fairness gerrymandering. Bovendien vertrouwen bestaande metrieken voor procedurale rechtvaardigheid vaak op contrafactuele vergelijkingen of enkele beschermde attributen, waardoor ze de stabiliteit van verklaringen onder verstoring over complexe, multidimensionale intersecties van subgroepen niet aanpakken.

Methodologie

Het artikel stelt Multi-category Explanation Stability Disparity (MESD) voor, een metriek voor procedurale rechtvaardigheid die is ontworpen om dispariteiten in de kwaliteit van verklaringen over intersectionele subgroepen te kwantificeren. MESD is geïntegreerd in een multi-objectief optimalisatiekader genaamd UEF (Utility, Explainability, and Fairness).

1. De MESD-metriek

MESD werkt via een robuust procedure van drie fasen:

• Constructie van Intersectionele Subgroepen: De metriek construeert subgroepen via het Cartesisch product van meerdere beschermde attributen ($G = A_1 \times A_2 \times \dots \times A_m$). Dit vangt de unieke ervaringen van meervoudig gemarginaliseerde individuen.
• Stabiliteitsevaluatie via Verstoring: Om de consistentie van verklaringen te meten, genereert de methode verstoord versies van invoerinstanties met behulp van een hybride kader van Gaussisch ruis en stochastische feature masking. Het berekent een ensemble-attributievectoren (combinatie van meerdere verklaringssystemen zoals SHAP en LIME) voor de originele en verstoord invoer. Stabiliteit wordt gekwantificeerd door de inverse van de Euklidische afstand tussen deze verklaringen; een stabiele verklaring levert een score dicht bij 1 op, terwijl inconsistente verklaringen naar 0 neigen.
• Label-bewuste Aggregatie met Empirisch-Bayes Shrinkage: Om misleidende dispariteitsschattingen te voorkomen die worden veroorzaakt door kleine steekproefgroottes in intersectionele groepen, aggregeert MESD stabiliteitsscores conditioneel op het ware label ($y$). Het maakt gebruik van Empirisch-Bayes (EB) shrinkage om onstabiele schattingen van kleine groepen naar het label-specifieke gemiddelde te trekken, waardoor de variantie wordt verminderd zonder ware dispariteiten te maskeren.
• CVaR-gewogen Risicometing: Om fairness gerrymandering aan te pakken, maakt MESD gebruik van Conditional Value-at-Risk (CVaR). In plaats van dispariteiten te middelen, richt het zich op de "worst-case" staart van de dispariteitsverdeling. Het berekent paarwijze stabiliteitsdispariteiten ($D_{ij}$) en wijst hogere gewichten toe aan paren die groepen met lage procedurale rechtvaardigheid (hoog risico) betreffen, waardoor de metriek sensitief wordt voor extreme subgroep-instabiliteit.

2. Het UEF-optimalisatiekader

Om modellen te genereren die zowel in uitkomst als in procedure rechtvaardig zijn, introduceren de auteurs UEF, een multi-objectief optimalisatiekader dat gebruikmaakt van NSGA-II (Non-Dominated Sorting Genetic Algorithm II). UEF optimaliseert gelijktijdig drie doelen:

1. Utility ($F_{perf}$): Voorspellende prestatie (gemaximaliseerde AUC).
2. Uitkomstrechtvaardigheid ($F_{out}$): Geminimaliseerde Demografische Pariteit-gap over intersectionele groepen.
3. Procedurale Rechtvaardigheid ($F_{proc}$): Geminimaliseerde MESD-score.

Na de optimalisatie wordt een Chebyshev-scalarisatie toegepast om een enkel model te selecteren uit het Pareto-front dat deze concurrerende doelen in evenwicht brengt.

Belangrijkste Bijdragen

1. MESD-metriek: De introductie van een metriek voor procedurale rechtvaardigheid die expliciet intersectionele subgroepanalyse, stabiliteit van verklaringen (robuustheid tegen verstoring) en risicosensitieve aggregatie (CVaR) combineert om fairness gerrymandering te detecteren.
2. UEF-kader: Een multi-objectief optimalisatiebenadering die utility, uitkomstrechtvaardigheid en procedurale rechtvaardigheid gezamenlijk optimaliseert, en aantoont dat deze dimensies in evenwicht kunnen worden gebracht in plaats van als wederzijds uitsluitend te worden behandeld.
3. Uitgebreide Validatie: Empirisch bewijs dat uitkomstgerichte rechtvaardigheid geen procedurale rechtvaardigheid garandeert, en dat optimalisatie voor MESD dispariteiten blootlegt die onzichtbaar zijn voor standaardmetrieken.

Experimentele Resultaten

De auteurs hebben MESD en UEF geëvalueerd op drie benchmarkdatasets (Adult Income, Recidivism, German Credit) tegenover vier baselines: Empirical Risk Minimization (ERM), Reweighing (RW), Reductions (RD) en Adversarial Debiasing (ADL).

• Gebalanceerde Prestaties: UEF behaalde consistent de meest gebalanceerde prestaties over alle drie de doelen. Op de Adult Income-dataset (de meest complexe met drie beschermde attributen) behaalde UEF de hoogste AUC- en F1-scores, terwijl het gelijktijdig de laagste Demografische Pariteit (DP) en MESD-scores behaalde.
• Pareto-efficiëntie: UEF produceerde 12 van de 15 niet-gedomineerde oplossingen over alle datasets en folds. Opmerkelijk was dat het de enige methode was die niet-gedomineerde oplossingen behaalde op alle 5 folds van de Adult Income-dataset, waar intersectionele fairness gerrymandering het meest voorkomt.
• Detectie van Verborgen Dispariteiten: Baseline-methoden die waren geoptimaliseerd voor uitkomstrechtvaardigheid (zoals RD) bereikten vaak lage DP-gaps maar hoge MESD-scores, wat bevestigt dat ze geen consistente redenering over groepen waarborgden.
• Ablatiestudies:
  • CVaR: Het verwijderen van CVaR-gewichting (in plaats daarvan variantie of max-gap gebruiken) maskerde worst-case dispariteiten in kleine subgroepen.
  • EB Shrinkage: Zonder shrinkage vertoonden kleine intersectionele groepen kunstmatig lage stabiliteitsscores door hoge variantie; shrinkage regulariseerde deze schattingen.
  • Hyperparameters: MESD bleek robuust te zijn voor verstoring-baselines en stabiliseert met voldoende aantallen verstoringen ($K \ge 20$).

Betekenis en Claims

Het artikel positioneert MESD als een noodzakelijk onderdeel voor procedurale rechtvaardigheid in AI, gebaseerd op het theoretische onderscheid tussen distributieve rechtvaardigheid (uitkomsten) en procedurale rechtvaardigheid (proces). De auteurs beweren dat:

• Procedurale Rechtvaardigheid Onderscheidend Is: Een model kan statistisch rechtvaardig zijn maar procedueel onrechtvaardig als het vertrouwt op verschillende, onstabiele redeneringen voor verschillende groepen. Deze divergentie ondermijnt de legitimiteit van het beslissingsysteem.
• Intersectionaliteit Cruciaal Is: Rechtvaardigheidsanalyse langs één as verbergt de ervaringen van meervoudig gemarginaliseerde individuen. MESD is een van de eerste metrieken die expliciet de stabiliteit van verklaringen aan de intersectie van meerdere beschermde attributen aanpakt.
• Optimalisatie-afwegingen: Gezamenlijke optimalisatie voor utility, uitkomst en procedurale rechtvaardigheid levert modellen op die superieur zijn aan die welke zijn geoptimaliseerd voor enkele doelen, met name in complexe, hoogdimensionale landschappen van rechtvaardigheid.
• Regelgevende Relevantie: Het werk ondersteunt naleving van opkomende regelgevende kaders (bijvoorbeeld de EU AI Act) door een mechanisme te bieden om het proces van besluitvorming te auditeren, niet alleen het resultaat.

De auteurs erkennen beperkingen, waarbij ze opmerken dat MESD afhankelijk is van post-hoc verklaringssystemen (die benaderingen zijn) en momenteel beperkt is tot tabulaire data met binaire beschermde attributen. Zij suggereren dat toekomstig werk moet onderzoeken naar explainability tijdens het verwerkingsproces en uitbreidingen naar continue of niet-tabulaire modaliteiten.