Technische Samenvatting: GESD – Voorbij Uitkomstgerichte Rechtvaardigheid

Probleemstelling

Machine learning (ML)-algoritmen worden steeds vaker ingezet in hoog-risicodomeinen zoals sollicitatieprocedures, kredietverstrekking en strafrecht. Hoewel bestaande rechtvaardigheidsmetrieken (bijvoorbeeld statistische pariteit, equalized odds) dispariteiten in modeluitkomsten effectief kwantificeren, slagen ze er niet in om vooroordelen inherent aan de besluitvormingsprocedure of de stabiliteit van modelverklaringen aan te pakken. Huidige methoden vertrouwen zwaar op voorspellingsstatistieken, waardoor scenario's mogelijk worden over het hoofd gezien waarbij een model rechtvaardige uitkomsten produceert maar wel berust op discriminerende of onstabiele interne redenering. Er is een kritieke lacune in het meten of leden van verschillende beschermde subgroepen verklaringen van vergelijkbare kwaliteit, stabiliteit en robuustheid ontvangen.

Methodologie

1. Groepsniveau Verklaringstabiliteitsdispariteit (GESD)

De auteurs stellen GESD voor, een procedureel georiënteerde rechtvaardigheidsmetriek die is ontworpen om dispariteiten in de stabiliteit, robuustheid en gevoeligheid van modelverklaringen over beschermde subgroepen heen te kwantificeren. In tegenstelling tot eerdere maatstaven die gemiddelde feature-importantie vergelijken, evalueert GESD de betrouwbaarheid van verklaringen onder invoerperturbaties.

De berekening omvat vijf stappen:

• Verklaring Aggregatie: Om robuustheid te garanderen tegen inconsistenties van individuele verklarende methoden, aggregeert de methode SHAP- en LIME-verklaringen tot één vector: $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• Perturbatie: Voor elk datapunt worden verstoord versies gegenereerd met behulp van Gaussisch ruis en feature masking (het vervangen van features door basiswaarden). Dit simuleert natuurlijke invoerfluctuaties en ontbrekende data.
• Stabiliteitsmeting: De afstand tussen de oorspronkelijke verklaring en de verklaring van de verstoord invoer wordt berekend met de $L_1$-norm. Een kleinere afstand duidt op hogere stabiliteit. Dit wordt omgezet in een stabiliteitsscore $S(x)$ (bijvoorbeeld $1/(1+\Delta(x))$).
• Groepsaggregatie: Stabiliteitsscores worden gemiddeld voor elke gevoelige groep (bijvoorbeeld geslacht, ras).
• Dispariteitsberekening:
  • Voor twee groepen ($K=2$) is GESD het absolute verschil tussen de gemiddelde stabiliteitsscores van de groepen: $|S_0 - S_1|$.
  • Voor $K > 2$ groepen is het de variantie van de groepsstabiliteitsscores rond het globale gemiddelde.

2. FEU-Optimalisatiekader

Om de multi-objectieve aard van het balanceren van nut, uitkomstrechtvaardigheid en verklaringrechtvaardigheid aan te pakken, introduceren de auteurs het Fairness–Explainability–Utility (FEU)-kader.

• Doelfunctie: Het probleem wordt geformuleerd als een onbeperkte drie-objectieve minimalisatie:
  1. Rechtvaardigheid ($L_f$): Geminimaliseerd Demografisch Pariteit (DP)-verschil.
  2. Verklaarbaarheid ($L_e$): Geminimaliseerde GESD.
  3. Nuttigheid ($L_u$): Gemaximaliseerd Area Under the Curve (AUC), omgezet naar minimalisatie via negatie.
• Algoritme: Het kader maakt gebruik van het Non-dominated Sorting Genetic Algorithm II (NSGA-II) om een populatie modelconfiguraties (hyperparameters zoals leersnelheid, epochs en beslissingsdrempels) te laten evolueren.
• Selectie: Uit de resulterende Pareto-optimale set wordt een definitief model geselecteerd met behulp van Chebyshev-scalarisatie om een gebalanceerde prestatie over alle drie de doelen te garanderen zonder extreme degradatie in een enkele metriek.

Belangrijkste Bijdragen

1. Formulering van GESD: Het artikel definieert een nieuwe procedureel georiënteerde metriek die groepsniveau-dispariteiten in verklaringrobustheid, stabiliteit en gevoeligheid kwantificeert, onafhankelijk van modeluitkomsten.
2. FEU-kader: De auteurs stellen een evolutionair multi-objectief optimalisatiekader voor dat gezamenlijk optimaliseert voor nut, uitkomstgebaseerde rechtvaardigheid en verklaringgebaseerde rechtvaardigheid.
3. Empirische Validatie: De studie toont aan dat GESD verborgen groepsniveau-verklaringvooroordelen kan detecteren in zowel lineaire als niet-lineaire modellen die uitkomstgebaseerde metrieken missen.
4. Prestatie-afwegingen: Het werk toont aan dat FEU superieure afwegingen bereikt tussen nut en rechtvaardigheid in vergelijking met state-of-the-art baselines (Adversarial Learning, Reduction en Reweighing).

Experimentele Resultaten

Experimenten werden uitgevoerd op vier benchmarkdatasets: German Credit, Recidivism, Math en Portuguese. De voorgestelde FEU-methode werd vergeleken met Adversarial Learning (ADL), Reduction (Red) en Reweighing (RW).

• Nuttigheid en Uitkomstrechtvaardigheid: FEU presteerde over het algemeen beter of bleef concurrerend met baselines op het gebied van AUC en F1-scores. Het behaalde ook concurrerende resultaten op uitkomstgerichte rechtvaardigheidsmetrieken (DP en EOD), waarbij het vaak baselines overtrof op de German Credit en Recidivism datasets.
• Procedurele Rechtvaardigheid (GESD): Hoewel FEU op sommige datasets iets hogere GESD-waarden vertoonde dan lineaire baselines (Red, RW), werd dit toegeschreven aan de complexiteit van de gebruikte neurale netwerkmodellen. Cruciaal is dat de resultaten benadrukten dat modellen met hoge nut en uitkomstrechtvaardigheid toch aanzienlijke verklaringdispariteiten kunnen vertonen.
• Modelgevoeligheid: De studie vond dat niet-lineaire modellen (zoals FEU en ADL) de neiging hebben om minder stabiele verklaringen te genereren over subgroepen heen in vergelijking met lineaire modellen. Bovendien had de keuze van de verklarende methode (SHAP versus LIME) een aanzienlijke impact op de detectie van bias; het aggregeren van beide verklarende methoden (zoals gedaan in GESD) was noodzakelijk om robuust dispariteiten vast te leggen die enkele verklarende methoden zouden kunnen missen.
• Pareto-Optimaliteit: Op de German Credit dataset genereerde FEU niet-gedomineerde oplossingen, waarbij de drie doelen effectief in evenwicht werden gebracht, terwijl lineaire baselines vaak aanzienlijk nut opofferden voor marginale rechtvaardigheidswinsten.

Betekenis en Aanspraken

Het artikel beweert dat GESD een uitgebreide tool biedt voor het diagnosticeren van bias door de kloof tussen uitkomstgebaseerde en verklaringgebaseerde rechtvaardigheid te overbruggen. De primaire betekenis ligt in:

• Procedureel Inzicht: Het blootlegt procedurele vooroordelen die traditionele metrieken over het hoofd zien, en zorgt ervoor dat de redenering achter beslissingen even eerlijk is als de resultaten.
• Model-agnostische Nut: GESD is compatibel met diverse leeralgoritmen en post-hoc interpretabiliteitsmethoden.
• Holistische Optimalisatie: Het FEU-kader demonstreert dat het mogelijk is om gelijktijdig te optimaliseren voor nut, rechtvaardigheid en verklaarbaarheid, waardoor een meer holistisch beeld van eerlijke modellering wordt geboden.

De auteurs merken op dat hoewel FEU goed presteert, het momenteel specifieke bias-mitigatie-interventies (zoals adversarial debiasing) mist voor extreem bevooroordeelde datasets, wat wordt geïdentificeerd als een richting voor toekomstig werk. Daarnaast stellen ze voor om GESD uit te breiden om meerdere beschermde categorieën (intersectie) te behandelen en over te schakelen naar veel-objectief optimalisatiealgoritmen (bijvoorbeeld NSGA-III) om de toegenomen complexiteit te beheersen.