Improving Fairness with Ensemble Combination: Margin-Dependent Bounds

Dit paper introduceert een nieuwe maatstaf voor discriminatierisico die zowel individuele als groepsfairness omvat, en bewijst theoretisch dat ensemble-combinatie met margin-afhankelijke grenzen de eerlijkheid van machine learning-modellen kan verbeteren, ondersteund door voorgestelde pruning-methoden en uitgebreide experimenten.

De kern

Stel je voor dat je een groep van 100 verschillende voorspellers (zoals een panel van experts) hebt die samen een beslissing moeten nemen. Bijvoorbeeld: "Mag deze sollicitant de baan krijgen?" of "Is deze persoon een risico voor de bank?"

Het probleem is dat sommige van deze experts misschien onbewust vooroordelen hebben. Ze discrimineren bijvoorbeeld op basis van iemands geslacht of huidskleur, zelfs als ze dat niet bedoelen.

Dit artikel van Yijun Bian uit de Universiteit van Kopenhagen komt met een slimme oplossing om deze onrechtvaardigheid te verminderen, zonder dat de voorspellingen minder goed worden. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blind Vlek" van Gerechtigheid

Tot nu toe hebben wetenschappers twee manieren gebruikt om eerlijkheid te meten:

• Groepsgewijs: "Krijgt groep A even vaak een 'ja' als groep B?"
• Individueel: "Wordt persoon X en persoon Y, die bijna identiek zijn, op dezelfde manier behandeld?"

Het probleem is dat deze twee vaak met elkaar in strijd zijn. Als je één manier optimaliseert, gaat de andere vaak kapot. Het is alsof je probeert een auto te bouwen die tegelijkertijd de snelste en de veiligste is, maar de ingenieurs zeggen: "Dat kan niet, de wielen staan dan scheef."

2. De Oplossing: De "Verander-Test" (Discriminative Risk)

De auteur introduceert een nieuwe manier om te meten of een model eerlijk is, die hij "Discriminative Risk" (Discriminatierisico) noemt.

De Analogie:
Stel je voor dat je een sollicitant hebt: Jan, 30 jaar, man, goede cijfers.
Nu doen we een kleine truc: we veranderen in het systeem alleen maar het veld "geslacht" naar "vrouw", maar laten alles anders (namen, cijfers, ervaring) exact hetzelfde.

• Als het computermodel nu plotseling zegt: "Nee, Jan (nu als vrouw) krijgt de baan niet," terwijl hij als man wel de baan kreeg, dan is er een probleem. Het model is gevoelig voor dat ene detail.
• Als het model zegt: "Nee, hij/zij krijgt de baan niet" (in beide gevallen), dan is het model eerlijk.

Deze "verander-test" meet hoeveel een model onredelijk reageert op kleine veranderingen in gevoelige gegevens. Het is een manier om te zien of het model "blind" is voor vooroordelen, ongeacht of je naar groepen of individuen kijkt.

3. De Magie van de "Ensemble" (Het Koor)

De auteur onderzoekt wat er gebeurt als je deze 100 experts (de ensemble) samen laat werken in plaats van één expert.

De Metafoor van het Koor:
Stel je voor dat je een koor hebt. Sommige zangers zijn wat schel (vooroordelend), anderen zijn wat te zacht. Als ze allemaal apart zingen, hoor je de fouten. Maar als ze samen zingen (stemmen), gebeurt er iets magisch:

• De fouten van de ene zanger worden opgeheven door de juistheid van de andere.
• Als de zangers allemaal een beetje in een andere richting kijken, maar samen een sterke, duidelijke melodie maken, wordt het geluid schoner.

De auteur bewijst wiskundig dat als je een groep van modellen combineert (een "ensemble"), de kans dat ze samen onrechtvaardig zijn, kleiner wordt. Hoe meer ze het met elkaar eens zijn (hoe groter de "marge" of het verschil tussen de winnende en verliezende stem), hoe eerlijker het eindresultaat wordt. Het is alsof de vooroordelen van de individuen elkaar opheffen, net zoals ruis in een koor verdwijnt als iedereen goed samen zingt.

4. De "Tuimelaars" (Pruning)

Natuurlijk wil je niet 100 experts inhuren als 20 al genoeg zijn. Soms zijn er zelfs experts die alleen maar ruzie maken en de eerlijkheid verstoren.

De auteur bedacht een slimme manier om de slechtste experts te ontslaan (dit heet "pruning").

• Hij kijkt niet alleen naar wie de beste score haalt (accuraatheid), maar ook naar wie het eerlijkst is.
• Hij houdt een groep experts over die een perfect evenwicht vinden: ze zijn net zo slim als het origineel, maar veel eerlijker.

Samenvatting in één zin

Dit artikel laat zien dat je door een groep van AI-modellen slim samen te laten werken en de "slechte" onderdelen eruit te filteren, een systeem kunt bouwen dat niet alleen slimmer is, maar ook eerlijker, zonder dat je hoeft te kiezen tussen eerlijkheid en kwaliteit.

Het is alsof je een team van detectives samenwerkt: individueel kunnen ze soms vooroordelen hebben, maar als ze hun kennis bundelen en elkaar controleren, komen ze tot een eerlijker en accurater oordeel.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Improving Fairness with Ensemble Combination: Margin-Dependent Bounds" van Yijun Bian, in het Nederlands.

Probleemstelling

Machine Learning (ML) modellen worden steeds vaker ingezet in gevoelige besluitvormingsprocessen (zoals sollicitaties, justitie en kredietverlening). Een groot risico is dat deze modellen bestaande vooroordelen in de data reproduceren of verergeren, wat leidt tot discriminatie. Bestaande oplossingen voor eerlijkheid (fairness) hebben twee belangrijke beperkingen:

1. Fragmentatie van maatstaven: Er zijn verschillende maatstaven voor eerlijkheid, zoals groepsgewijze eerlijkheid (bijv. Demographic Parity) en individuele eerlijkheid (gelijkheid voor vergelijkbare individuen). Deze maatstaven zijn vaak onverenigbaar; het voldoen aan de ene kan leiden tot schendingen van de andere.
2. Gebrek aan theoretische garanties: De meeste methoden om eerlijkheid te verbeteren (zoals pre-processing, in-processing of post-processing) worden voornamelijk gevalideerd via empirische resultaten. Er is weinig theoretisch bewijs dat aantoont hoe en onder welke voorwaarden ensemble-methoden (combinaties van modellen) eerlijkheid daadwerkelijk kunnen verbeteren.

Methodologie

De auteur introduceert een nieuwe aanpak die zich richt op het combineren van ensemble-methoden met een nieuwe theoretische maatstaf voor discriminatie.

1. Discriminative Risk (DR): Een nieuwe Eerlijkheidsmaatstaf
De paper introduceert "Discriminative Risk" (DR) als een maatstaf die zowel individuele als groepsgewijze eerlijkheid omvat.

• Concept: Voor een gegeven instancing $(\mathbf{x}, y)$ met gevoelige attributen $\mathbf{a}$, wordt een licht verstoord exemplaar $(\mathbf{x}, \tilde{\mathbf{a}})$ gegenereerd waarbij alleen de gevoelige attributen worden gewijzigd (bijv. van een minderbevoorrechte naar een bevoorrechte groep).
• Definitie: Als het model een andere voorspelling geeft voor het verstoord exemplaar dan voor het origineel, wordt dit beschouwd als een discriminatief risico.
• Voordelen: DR is modelonafhankelijk, werkt met binaire en meerwaardige gevoelige attributen, en vereist geen expliciete causale grafieken (in tegenstelling tot Counterfactual Fairness). Het meet de gevoeligheid van de voorspelling voor veranderingen in gevoelige attributen.

2. Theoretische Grenzen (Oracle Bounds)
De kern van de bijdrage is de afleiding van theoretische grenzen voor de DR van een ensemble (een gewogen stemming van meerdere klassificatoren). De auteur toont aan dat de eerlijkheid van een ensemble kan worden begrensd door de marge (margin) van de stemming.

• Eerste-orde en Tweede-orde Oracle Bounds: Er worden formules afgeleid die de verwachte DR van het ensemble relateren aan de DR van de individuele klassificatoren en de stemmingmarge ($\gamma$).
• Kerninzicht: De grenzen suggereren een "cancellation-of-biases" effect. Als individuele modellen verschillende bias-patronen hebben, kan het combineren ervan (via gewogen stemming) leiden tot een vermindering van de totale bias, mits de stemmingmarge groot genoeg is. Dit biedt een theoretische onderbouwing voor het idee dat ensemble-methoden eerlijkheid kunnen verbeteren zonder noodzakelijkerwijs de nauwkeurigheid te offeren.
• PAC-grenzen: De paper levert ook Probably Approximately Correct (PAC) grenzen om de generalisatie van deze resultaten op onzichtbare data te garanderen.

3. POAF: Een Pruning-methode
Om deze theorie in de praktijk te brengen, wordt een ensemble-pruning-methode ontwikkeld genaamd POAF (Pareto Optimal Ensemble pruning via improving Accuracy and Fairness concurrently).

• Doel: Selecteren van een sub-ensemble dat de eerlijkheid maximaliseert (DR minimaliseert) met een minimaal verlies aan nauwkeurigheid.
• Aanpak: POAF gebruikt het concept van Pareto-dominantie om sub-ensembles te selecteren die de beste balans vinden tussen nauwkeurigheid en eerlijkheid, in plaats van een enkel gewogen doel te optimaliseren.

Belangrijkste Bijdragen

1. Nieuwe Maatstaf (DR): Introductie van Discriminative Risk, een maatstaf die zowel individuele als groepsgewijze aspecten van eerlijkheid integreert door te kijken naar de stabiliteit van voorspellingen bij verstoring van gevoelige attributen.
2. Theoretische Garantie: Afleiding van de eerste en tweede orde oracle bounds voor eerlijkheid in gewogen ensemble-voting. Dit is het eerste werk dat aantoont dat eerlijkheid theoretisch kan worden verbeterd via ensemble-combinatie, afhankelijk van de voting margins.
3. POAF Algorithm: Een efficiënte pruning-methode die gebruikmaakt van Pareto-optimaliteit om sub-ensembles te construeren die zowel nauwkeurig als eerlijk zijn.
4. Uitgebreide Validatie: Omvangrijke experimenten op meerdere datasets (o.a. Ricci, Credit, Income, Recidivism) die de geldigheid van de theorie en de superioriteit van POAF aantonen.

Resultaten

De experimentele resultaten bevestigen de theoretische aannames:

• Validatie van DR: DR toont een sterkere correlatie met veranderingen in modelnauwkeurigheid bij verstoring van gevoelige attributen dan traditionele groepsmaatstaven (DP, EOpp, PP). Het slaagt erin om bias op zowel individueel als groepsniveau te detecteren.
• Geldigheid van Grenzen: De empirische data valt binnen de afgeleide theoretische grenzen, wat de betrouwbaarheid van de "cancellation-of-biases" theorie bevestigt. De marge-afhankelijke grenzen blijken strakker en nauwkeuriger te zijn dan eerdere niet-marge-afhankelijke benaderingen.
• Prestatie van POAF:
  • POAF presteert significant beter dan bestaande eerlijkheidsbewuste ensemble-methoden (zoals AdaFair en FairGBM) en traditionele pruning-methoden.
  • Het bereikt een betere balans tussen nauwkeurigheid en eerlijkheid (gemeten via DR, DP, EOpp en PP).
  • In vergelijking met ongesneden ensembles (zoals Bagging) verbetert POAF de eerlijkheid aanzienlijk zonder de nauwkeurigheid significant te verlagen.
  • Hoewel POAF computatie intensiever is dan sommige snellere alternatieven (zoals EPAF-C/D), levert het de beste resultaten op.

Betekenis en Impact

Dit werk is significant omdat het de kloof overbrugt tussen empirische observaties en theoretische garanties op het gebied van eerlijkheid in ML.

• Theoretisch Fundament: Het biedt een wiskundige basis voor het idee dat ensemble-methoden niet alleen nauwkeurigheid, maar ook eerlijkheid kunnen verbeteren door bias te "annuleren".
• Praktische Toepasbaarheid: De voorgestelde DR-maatstaf en de POAF-algoritme bieden praktische tools voor ontwikkelaars om eerlijkere modellen te bouwen zonder in te leveren op prestaties.
• Toekomstgericht: Het werk suggereert dat het optimaliseren van voting margins een effectieve strategie kan zijn om discriminatie te verminderen, wat nieuwe richtingen opent voor toekomstig onderzoek in eerlijk ML.

Kortom, de paper bewijst dat het slim combineren van modellen (ensembles) een krachtig mechanisme is om discriminatie te verminderen, zolang dit wordt ondersteund door de juiste theoretische grenzen en selectie-algoritmen.