🤖 machine learning

Mutatis Mutandis: Revisiting the Comparator in Discrimination Testing

Dit artikel herbeoordeelt de rol van de comparator bij discriminatietesten door onderscheid te maken tussen de standaard "ceteris paribus"-benadering en een nieuw "mutatis mutandis"-kader dat rekening houdt met de manier waarop beschermde attributen causale invloed uitoefenen op niet-beschermde kenmerken, en biedt aldus een complexer maar effectiever alternatief voor op machine learning gebaseerde discriminatieopsporing.

Oorspronkelijke auteurs: Jose M. Alvarez, Salvatore Ruggieri

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jose M. Alvarez, Salvatore Ruggieri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent die moet beslissen of een wervingmanager een sollicitante met de naam Clara heeft gediscrimineerd. Clara is een vrouw en ze is afgewezen. Ze beweert dat ze is afgewezen omdat ze een vrouw is.

Om dit te bewijzen, moet je haar vergelijken met iemand anders. Maar wie? Dit is het centrale raadsel dat het artikel oplost.

De auteurs, José M. Álvarez en Salvatore Ruggieri, betogen dat de manier waarop we deze "vergelijkingspersoon" (een comparator genoemd) kiezen, de hele uitkomst van de test verandert. Zij stellen twee verschillende manieren voor om deze persoon te kiezen: de "Alles Anders Gelijk" methode en de "Pas Aan" methode.

Hier is een eenvoudige uiteenzetting van hun betoog met behulp van alledaagse analogieën.

1. De Standaardmethode: "Alles Anders Gelijk" (Ceteris Paribus)

Dit is de traditionele manier waarop discriminatietests werken. Stel je voor dat je wilt zien of een raceauto sneller is dan een vrachtwagen. Je zet ze op exact hetzelfde circuit, met exact dezelfde brandstof en bij exact hetzelfde weer. Het enige wat je verandert, is het voertuigtype.

In de termen van het artikel is dit de CP Comparator.

Het Scenario: Clara (vrouw) heeft gesolliciteerd naar een baan. Om haar claim te testen, vinden we een Mike (man) met precies hetzelfde cv, precies hetzelfde aantal jaren ervaring en precies dezelfde cijfers.
De Logica: Als Mike de baan krijgt en Clara niet, ondanks dat ze identieke cv's hebben, dan is Clara gediscrimineerd.
Het Probleem: De auteurs betogen dat dit een "geïdealiseerd" fantasiebeeld is. In de echte wereld verandert het feit dat je een vrouw bent (of lid bent van een beschermde groep) je leven vaak voordat je überhaupt solliciteert. Misschien nam Clara tijd vrij om kinderen groot te brengen, of werd ze door maatschappelijke verwachtingen weggeleid van bepaalde vakken. Als je een Mike vindt met precies hetzelfde cv, negeer je het feit dat de samenleving hen voordat het cv werd geschreven verschillend behandelde. Je doet alsof het verleden niet heeft bestaan.

2. De Nieuwe Methode: "Pas Aan" (Mutatis Mutandis)

De auteurs stellen een slimmere, complexere manier voor om de vergelijkingspersoon te kiezen. Dit is de MM Comparator.

Denk hierbij aan een tijdsreissimulatie.

Het Scenario: We hebben nog steeds Clara. Maar in plaats van een Mike te vinden met precies hetzelfde cv, vragen we: "Als Clara als man was geboren, hoe zou haar leven dan anders zijn verlopen?"
De Aanpassing: Als het feit dat ze een vrouw was betekende dat Clara minder tijd had om te studeren of minder netwerkmogelijkheden, zegt de MM-methode: "Laten we Mikes cv aanpassen zodat het overeenkomt met wat Claras leven zou zijn geweest als ze een man was."
Het Resultaat: Misschien heeft Mike uiteindelijk meer ervaring of betere cijfers dan de Clara die we vandaag zien, omdat hij niet met dezelfde maatschappelijke hindernissen te maken kreeg.
De Logica: We vergelijken de echte Clara met deze aangepaste Mike. Als de aangepaste Mike de baan krijgt en de echte Clara niet, hebben we sterk bewijs van discriminatie. Deze methode erkent dat het speelveld van tevoren niet gelijk was.

Het "Hoger Onderwijs" Voorbeeld

Het artikel gebruikt een verhaal over een universitair hoogleraar met de naam Clara om dit te illustreren:

Clara (vrouw) heeft 12 publicaties en is geweigerd voor een vaste aanstelling.
Mike (man) heeft 12 publicaties en is geweigerd voor een vaste aanstelling.
Vincent (man) heeft 18 publicaties en kreeg een vaste aanstelling.

Met de "Alles Anders Gelijk" (CP) methode:
Je vergelijkt Clara met Mike. Ze hebben allebei 12 artikelen. Aangezien Mike ook werd afgewezen, zou je kunnen zeggen: "Zie je? Het was niet omdat ze een vrouw is; ze had gewoon niet genoeg artikelen." Je zou haar claim kunnen afwijzen.

Met de "Pas Aan" (MM) methode:
Je vraagt: "Als Clara een man was geweest, zou ze dan 12 artikelen hebben gehad, of zou ze er 18 hebben gehad?" De auteurs betogen dat vrouwen vaak extra lasten hebben (zoals kinderopvang) die mannen niet hebben, en dat een man in Claras positie misschien meer tijd had gehad om artikelen te schrijven. De "aangepaste" versie van Clara (laten we haar "Man-Clara" noemen) zou dus misschien 18 artikelen hebben.
Vervolgens vergelijk je de echte Clara (12 artikelen) met Vincent (18 artikelen, die een vaste aanstelling kreeg). Als de universiteit de sollicitant met 12 artikelen afwijst maar de sollicitant met 18 artikelen accepteert, en we weten dat de sollicitant met 12 artikelen werd tegengehouden door gendergebonden maatschappelijke rollen, dan is de discriminatie duidelijker.

Waarom Is Dit Belangrijk?

De auteurs zeggen dat de meeste huidige tools voor het opsporen van discriminatie de CP (Alles Anders Gelijk) methode gebruiken. Ze zijn als een camera die alleen foto's maakt van het huidige moment, en de geschiedenis die ons hiernaartoe bracht, negeert.

De MM (Pas Aan) methode is als een camera met een "terugspoelen en bewerken" knop. Het probeert te reconstrueren hoe de wereld er zou uitzien als het beschermde kenmerk (zoals ras of geslacht) het levenspad van de persoon niet had beïnvloed.

De Vangst:
De auteurs geven toe dat de MM-methode veel moeilijker te bouwen is. Het vereist complexe machinelearning-modellen om deze "wat als"-scenario's te simuleren. Het is als proberen een perfect alternatief geschiedenisroman te schrijven. De CP-methode is makkelijk (zoek gewoon een tweeling), maar het kan de echte onrechtvaardigheid missen. De MM-methode is complex en vereist meer verbeelding, maar het kan de waarheid vertellen over hoe het systeem echt werkt.

De Conclusie

Het artikel zegt niet dat de oude manier "fout" is of dat de nieuwe manier "perfect" is. In plaats daarvan zegt het: "We moeten stoppen met doen alsof er maar één manier is om mensen te vergelijken."

Wanneer we testen op discriminatie, maken we een keuze over hoe "eerlijkheid" eruit ziet.

Als we willen zien of twee mensen met hetzelfde cv verschillend worden behandeld, gebruik dan de oude manier.
Als we willen zien of twee mensen die door hun identiteit verschillende levenspaden hebben gevolgd, eerlijk worden behandeld, dan hebben we de nieuwe manier nodig.

De auteurs geloven dat we, nu we krachtige AI-tools hebben, de "Pas Aan" methode moeten gaan gebruiken om een helderder, eerlijker beeld van discriminatie te krijgen.

1. Probleemstelling

Het artikel adresseert een fundamentele beperking in huidige methodologieën voor discriminatietesten, specifiek betreffende de constructie van de vergelijker.

Context: Discriminatietesten vertrouwen op het vergelijken van een "klager" (een individu dat discriminatie claimt op basis van een beschermde attribuut $A$ , zoals ras of geslacht) met een "vergelijker" (een vergelijkbaar individu uit een niet-beschermd groep).
De Standaardbenadering (Ceteris Paribus - CP): De meeste bestaande tools (zowel juridisch als algoritmisch) gebruiken een ceteris paribus ("alles overigens gelijk") vergelijker. Dit veronderstelt dat de vergelijker identiek is aan de klager in alle niet-beschermd attributen ( $X$ ), en alleen verschilt in het beschermde attribuut ( $A$ ).
De Tekortkoming: De auteurs betogen dat de CP-benadering een geïdealiseerde vergelijking is die geen rekening houdt met de causale realiteit dat beschermde attributen vaak niet-beschermd attributen beïnvloeden (bijvoorbeeld: systemisch racisme dat onderwijsniveaus of inkomen beïnvloedt). Door $X$ identiek te houden wanneer $A$ verandert, negeert de CP-vergelijker de neveneffecten van discriminatie, wat indirecte discriminatie kan maskeren of het ware "wat zou zijn geweest"-scenario kan mislopen.
Kernvraag: Hoe kunnen we een vergelijker afleiden die rekening houdt met de causale invloed van het beschermde attribuut op andere kenmerken, in plaats van uit te gaan van een statische, geïdealiseerde wereld waarin alleen het beschermde attribuut verandert?

2. Methodologie

De auteurs stellen een causaal modelleringskader voor om de vergelijker te herdefiniëren, van een statische afstandsmetriek naar een generatieve, contrafactuele aanpak.

A. Causaal Kader

Het artikel maakt gebruik van Structural Causal Models (SCM) (het kader van Pearl) om discriminatietesten te formaliseren.

Variabelen: $A$ (Beschermde Attribuut), $X$ (Niet-beschermd Attributen), $Y$ (Beslissingsuitkomst).
Contrafactueel Redeneren: Het afleiden van een vergelijker wordt gepresenteerd als het beantwoorden van een contrafactuele vraag: "Wat zou de uitkomst zijn geweest als de klager een ander beschermend attribuut had gehad?"
Procedure: De auteurs hanteren de standaard Abductie-Actie-Predictie-stappen:
1. Abductie: Inference van de latente exogene variabelen ( $U$ ) uit de geobserveerde data.
2. Actie: Interveniëren op $A$ (stel $A := \alpha$ ).
3. Predictie: Propageren van de verandering door de structurele vergelijkingen om de contrafactuele verdeling van $X$ en $Y$ te genereren.

B. De Twee Vergelijkerstypes

Het artikel introduceert een formele classificatie van vergelijkers:

Ceteris Paribus (CP) Vergelijker:
- Definitie: Vindt een individu $i'$ zodanig dat $d(x_i, x_{i'}) \leq \epsilon$ en $a_i \neq a_{i'}$ .
- Mechanisme: Minimaliseert afstand op niet-beschermd attributen $X$ terwijl $A$ wordt omgedraaid.
- Beperking: Veronderstelt dat $X$ onafhankelijk is van $A$ in de contrafactuele wereld, en negeert historische of systemische causale koppelingen.
Mutatis Mutandis (MM) Vergelijker:
- Definitie: Vindt een individu $i'$ zodanig dat $\tilde{d}((x_i, a_i), (x_{i'}, a_{i'})) \leq \epsilon$ en $a_i \neq a_{i'}$ .
- Mechanisme: Gebruikt een beschermde-bewuste afstandsfunctie $\tilde{d}$ . Cruciaal is dat het toestaat dat $x_i \neq x_{i'}$ .
- Implementatie: De MM-vergelijker vereist het genereren van een contrafactuele representatie $\tilde{X}$ van de niet-beschermd attributen van de klager. Deze $\tilde{X}$ vertegenwoordigt wat de attributen van de klager zouden zijn geweest als ze tot de niet-beschermd groep hadden behoord, effectief "corrigerend" voor de neveneffecten van $A$ op $X$ .
- Wiskundige Formulering: De auteurs stellen voor een generatief model $g(\cdot)$ (bijvoorbeeld gebaseerd op SCM) te gebruiken om $\tilde{X} = g(X, A)$ te leren, zodat $\tilde{X} \perp A$ (eerlijke representatie). De vergelijker wordt vervolgens gevonden door de afstand te minimaliseren tussen $\tilde{X}$ en de feitelijke $X$ van de niet-beschermd groep.

C. Experimentele Opzet

Om het onderscheid te valideren, vergelijken de auteurs twee tools op het Law School Admissions-dataset:

Situation Testing (ST): Implementeert de CP-vergelijker. Het vindt de dichtstbijzijnde buren in het dataset op basis van $X$ (GPA, LSAT) na het omdraaien van het beschermde attribuut.
Counterfactual Situation Testing (CST): Implementeert de MM-vergelijker. Het gebruikt een SCM om contrafactuele profielen te genereren (aanpassing van GPA/LSAT op basis van de causale invloed van ras/geslacht) voordat de dichtstbijzijnde buren worden gevonden.

3. Belangrijkste Bijdragen

Causale Herformulering: De auteurs betogen dat het afleiden van een vergelijker inherent een causaal modelleringsprobleem is, niet slechts een zoektocht naar gelijkenis. De vergelijker is een contrafactuele representatie van de feitelijke klager.
Het MM-Vergelijker Concept: Zij introduceren de Mutatis Mutandis-vergelijker als een haalbaar alternatief voor de standaard CP-vergelijker. Dit verschuift het doel van "gelijksoortige mensen gelijk behandelen" (formele gelijkheid) naar "substantiële gelijkheid bereiken" door rekening te houden met systemische nadelen.
Formeel Onderscheid: Het artikel biedt een rigoureuze wiskundige onderscheiding tussen CP- en MM-vergelijkers, waarbij wordt benadrukt dat MM dissimilariteit in niet-beschermd attributen toestaat als die verschillen worden veroorzaakt door het beschermde attribuut.
Integratie van ML: De auteurs positioneren Machine Learning (specifiek generatieve modellen en SCM's) als essentieel voor de implementatie van de MM-vergelijker, in tegenstelling tot opvattingen die causaal modelleren in discriminatietesten afwijzen.

4. Resultaten

Het illustratieve experiment op het Law School Admissions-dataset leverde significante bevindingen op:

Detectierates: De CST (MM)-tool detecteerde aanzienlijk meer prima facie discriminatiegevallen dan de ST (CP)-tool.
- Ras: CST detecteerde ongeveer 3x meer gevallen dan ST (bijvoorbeeld 17,26% versus 3,08% bij $k=500$ ).
- Geslacht: CST detecteerde iets meer gevallen, maar de kloof was kleiner, wat suggereert dat de causale impact van geslacht op de specifieke kenmerken (GPA/LSAT) in dit dataset minder uitgesproken was dan bij ras.
Verdelingsverschuivingen: Visuele analyse (Boxplots) toonde aan dat onder ST de testgroep (vergelijkers) verdelingen van GPA/LSAT had die bijna identiek waren aan de controlegroep. Onder CST waren de verdelingen van de testgroep verschoven, wat de contrafactuele aanpassing weerspiegelde waarbij de invloed van het beschermde attribuut op de kenmerken werd verwijderd.
Implicatie: De CP-benadering (ST) faalt vaak indirecte discriminatie te detecteren omdat het veronderstelt dat als een minderheidsbewerker dezelfde GPA/LSAT heeft als een blank bewerker, ze "vergelijkbaar" zijn. De MM-benadering (CST) erkent dat het behalen van die GPA/LSAT misschien het overwinnen van systemische barrières vereiste, en dus zou de "eerlijke" vergelijker verschillende kenmerkwaarden moeten hebben.

5. Betekenis en Conclusie

Substantiële versus Formele Gelijkheid: Het artikel betoogt dat het uitsluitend vertrouwen op CP-vergelijkers formele gelijkheid afdwingt (mensen met identieke huidige statistieken hetzelfde behandelen), wat bestaande ongelijkheden kan perpetueren. De MM-vergelijker streeft naar substantiële gelijkheid door een wereld te envisioneren waarin systemische barrières zijn verwijderd.
Normatieve Impact: De keuze van de vergelijker is niet slechts een technisch parameter; het is een normatieve verklaring over wat een "eerlijke" vergelijking uitmaakt. De MM-vergelijker dwingt belanghebbenden om de causale mechanismen van discriminatie onder ogen te zien.
Toekomstige Richtingen: De auteurs suggereren dat toekomstige tools voor discriminatietesten verder moeten gaan dan eenvoudige afstandsmetrieken en generatieve modellen (zoals SCM's of Fair Representation Learning) moeten integreren om MM-vergelijkers af te leiden. Dit stelt het veld in staat om van het detecteren van directe discriminatie naar het onthullen van complexe, indirecte discriminatiepatronen die geworteld zijn in systemische bias.

Kortom, het artikel stelt dat om echt te testen op discriminatie in een complexe, bevooroordeelde samenleving, we moeten stoppen met vragen "Wie is precies zoals deze persoon maar met een ander ras/geslacht?" en beginnen met vragen "Wie zou deze persoon zijn geweest als de systemische effecten van hun ras/geslacht waren verwijderd?" De Mutatis Mutandis-vergelijker biedt het technische kader om het laatste te beantwoorden.