Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Deze studie met 85 deelnemers in een medisch scenario toont aan dat mensen eerlijkheid in AI-systemen niet enkel baseren op statistische uitkomsten, maar sterk beïnvloed worden door hun overtuigingen over de onderliggende oorzaken van verschillen in data-distributies, wat impliceert dat eerlijkheidsdefinities rekening moeten houden met deze context om te aligneren met menselijke verwachtingen.

De kern

De Rechtvaardigheid van AI: Waarom "Gelijk" niet altijd "Rechtvaardig" betekent

Stel je voor dat je een supersterke kok bent die een gerecht moet bereiden voor twee verschillende dorpen: Dorp A en Dorp B. Je wilt dat het eten voor iedereen even lekker is. Maar er is een probleem: de ingrediënten die je hebt gekregen, zijn niet hetzelfde. Dorp A heeft een overvloed aan verse groenten, terwijl Dorp B slechts een paar oude wortels heeft.

Dit is precies wat deze wetenschappelijke studie onderzoekt, maar dan met Artificial Intelligence (AI) in plaats van koken. De onderzoekers van MIT willen weten: hoe vinden mensen dat een computerbeslissing eerlijk is, als de gegevens waar de computer op geleerd heeft, ongelijk zijn?

Hier is de studie in gewone taal, met een paar handige vergelijkingen.

1. Het Probleem: De "Onzichtbare" Onbalans

In de wereld van AI noemen ze dit het infra-marginaliteits-probleem. Dat klinkt als een ingewikkeld woord, maar het betekent simpelweg: De werkelijkheid is voor groepen mensen vaak verschillend.

Stel je voor dat je een AI traint om te voorspellen wie ziek wordt.

• In Dorp A is het klimaat zonnig en zijn de mensen gezond.
• In Dorp B is het klimaat koud en grijs, en zijn de mensen vaker ziek.

Als je AI traint op deze gegevens, zal hij in Dorp A waarschijnlijk heel goed zijn (want het is makkelijk om gezond te blijven), maar in Dorp B wat minder goed (want ziekte is daar veelvoorkomend).

De traditionele manier om "eerlijkheid" te meten, is zeggen: "De AI moet voor beide dorpen even goed presteren." Maar de onderzoekers vragen zich af: Is dat wel eerlijk als de uitgangspositie al verschillend is?

2. Het Experiment: De Medische Proef

De onderzoekers deden een experiment met 85 mensen. Ze stelden hen een hypothetische situatie voor: een AI die kanker moet detecteren bij twee verschillende bevolkingsgroepen (Groep A en Groep B).

Ze gaven de deelnemers twee soorten informatie:

1. Hoe goed de AI was voor elke groep apart: (Bijvoorbeeld: Groep A had een AI met 90% nauwkeurigheid, Groep B had er één met 70%).
2. Hoeveel data er beschikbaar was: (Bijvoorbeeld: Groep A had 20 keer meer medische dossiers dan Groep B).

Vervolgens kregen ze drie opties voor de "finale AI" om te beoordelen:

• Optie A (De Gelijke): De AI doet voor beide groepen precies even goed als de beste groep (90% voor iedereen).
• Optie B (De Compromis): De AI doet voor beide groepen even goed, maar dan op een gemiddelde (bijv. 80% voor iedereen).
• Optie C (De Echte): De AI doet voor Groep A 90% goed en voor Groep B 70% goed. Hij behoudt dus het verschil.

3. Wat Vonden Ze? De Verassende Resultaten

De resultaten waren verrassend en laten zien dat mensen niet zo simpel denken als wiskundige formules.

Situatie 1: Geen verschil of geen info
Als de deelnemers niet wisten dat er een verschil was, of als de AI voor beide groepen even goed was, vonden ze Optie A en B (gelijkheid) het eerlijkst. Ze wilden dat iedereen dezelfde behandeling kreeg.

Situatie 2: Er is een duidelijk verschil
Maar toen ze zagen dat Groep A veel beter presteerde dan Groep B (bijvoorbeeld 90% vs 70%), en ze wisten dat dit kwam door de aard van de gegevens (bijvoorbeeld: Groep A had veel meer data of de taak was voor hen makkelijker), veranderde hun mening.

Ze vonden Optie C het eerlijkst!
Ze dachten: "Oké, het is logisch dat Groep A beter presteert omdat ze meer data hebben of omdat het voor hen makkelijker is. Als we de AI dwingen om voor Groep B ook 90% te halen, dan gaan we waarschijnlijk fouten maken of onnodige risico's nemen."

De Gouden Regel van de Mens:
Mensen vinden het eerlijk om het verschil te behouden als ze geloven dat het verschil een logische reden heeft (zoals ongelijkheid in data of moeilijkheidsgraad). Ze vinden het oneerlijk als je probeert alles gelijk te trekken, tenzij je weet dat het verschil komt van een onrechtvaardige oorzaak (zoals vooroordelen).

4. De Grote Les: Context is Koning

De kernboodschap van dit papier is als volgt:

Stel je voor dat je twee atleten laat rennen.

• Atleet A loopt op een vlakke asfaltweg.
• Atleet B loopt in het zand.

Als je zegt: "Jullie moeten allebei precies 10 seconden doen," dan is dat wiskundig gezien "gelijkheid", maar het is niet eerlijk. Atleet B wordt gestraft voor de omstandigheden waar hij geen controle over heeft.

De onderzoekers zeggen dat AI-systemen vaak proberen "statistische gelijkheid" af te dwingen (iedereen moet dezelfde score hebben). Maar mensen in de echte wereld kijken naar de oorzaak.

• Als het verschil komt door onrecht (bijv. slechte data door vooroordelen), willen mensen dat het wordt gecorrigeerd.
• Als het verschil komt door realiteit (bijv. verschillende ziektepercentages of verschillende hoeveelheden data), vinden mensen het eerlijker om dat verschil te accepteren.

Conclusie

Deze studie waarschuwt programmeurs en beleidsmakers: Stop met blindelings "gelijkheid" na te streven.

Als je een AI systeem bouwt voor de echte wereld, moet je begrijpen waarom de cijfers verschillen. Als je een systeem dwingt om perfect gelijk te zijn, terwijl de onderliggende werkelijkheid ongelijk is, creëer je misschien een systeem dat wiskundig correct is, maar dat mensen als onrechtvaardig en onbetrouwbaar ervaren.

Echte eerlijkheid betekent niet altijd hetzelfde resultaat voor iedereen; het betekent soms het erkennen van de verschillende uitgangsposities en daar eerlijk mee omgaan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality" in het Nederlands.

Titel: Het Meten van Percepties van Fairness in AI-systemen: De Effecten van Infra-marginaliteit

1. Het Probleem: Infra-marginaliteit en Fairness

Het paper adresseert een fundamenteel probleem in het definiëren en meten van "fairness" (billijkheid) in machine learning (ML): infra-marginaliteit.

• Context: Bestaande groepsgewijze fairness-metrics (zoals demographic parity of equalized error rates) gaan er vaak van uit dat gelijke prestaties tussen demografische groepen het ideale doel is.
• De Uitdaging: In de praktijk hebben groepen vaak verschillende base rates (de onderliggende prevalentie van het ware resultaat, bijvoorbeeld het percentage recidive of ziektegeval). Door wiskundige afhankelijkheid leiden deze verschillende base rates ertoe dat zelfs een optimaal, gezamenlijk getraind model verschillende prestaties (zoals nauwkeurigheid of vals-positief ratio) zal vertonen tussen groepen.
• Het Conflict: Als deze verschillen legitiem zijn (gebaseerd op werkelijke data-distributies), kan het dwingen tot statistische pariteit leiden tot onbillijke beslissingen (bijvoorbeeld het vrijlaten van hoog-risico individuen of het onterecht straffen van anderen). Dit fenomeen, waarbij verschillen in fairness-metrics voortkomen uit legitieme distributieverschillen in plaats van discriminatie, staat bekend als het probleem van infra-marginaliteit.
• Gaps: Er is een kloof tussen formele, wiskundige definities van fairness en hoe mensen deze in de praktijk beoordelen. Bestaande studies focussen vaak op welke definitie mensen prefereren, maar niet op hoe ze omgaan met de onderliggende oorzaken van prestatieverschillen.

2. Methodologie: Gebruikersstudie

De auteurs voerden een online gebruikersstudie uit om te onderzoeken hoe bewustzijn van infra-marginaliteit de perceptie van fairness beïnvloedt.

• Deelnemers: 85 deelnemers (voornamelijk met een technische achtergrond in CS/Data Science) via Qualtrics.
• Scenario: Een hypothetisch medisch AI-systeem voor kankerpredictie, getraind op twee raciale groepen (Race A en Race B).
• Design (Twee Behandelingen): De studie manipuleerde twee factoren die typisch worden blootgelegd door Exploratory Data Analysis (EDA):
  1. Groepsspecifieke Prestaties: De nauwkeurigheid van modellen die apart voor elke groep zijn getraind. Dit dient als proxy voor onderliggende distributieverschillen (bijv. verschillende base rates of taakmoeilijkheid). Er waren 7 varianten, variërend van gelijke prestaties tot verschillen van 10% (bijv. 95% vs 85%).
  2. Beschikbaarheid van Trainingsdata: De relatieve hoeveelheid data per groep (onbepaald, gelijk, 3x meer, of 20x meer). Dit dient als proxy voor de interpretatie van de oorzaak van verschillen (legitieme taakmoeilijkheid vs. bias in dataverzameling).
• Taak: Deelnemers moesten drie kandidaat-modellen beoordelen op een 7-punts Likert-schaal:
  • Optie A (Maximalisatie): Gelijke prestaties voor beide groepen, gelijk aan de hoogste groepsspecifieke prestatie.
  • Optie B (Compromis): Gelijke prestaties voor beide groepen, gelijk aan het gemiddelde van de twee groepsspecifieke prestaties.
  • Optie C (Behoud): Het model behoudt de oorspronkelijke groepsspecifieke prestaties (d.w.z. het model presteert beter voor de ene groep dan de andere).

3. Belangrijkste Resultaten

De resultaten tonen aan dat fairness-percepties sterk afhankelijk zijn van de context en de waargenomen oorzaken van verschillen:

• Afwezigheid van Informatie of Gelijke Prestaties: Wanneer groepsspecifieke prestaties gelijk waren of niet werden verstrekt, prefereerden deelnemers modellen die gelijke uitkomsten opleverden (Optie A of B). Dit komt overeen met standaard fairness-definities.
• Aanwezigheid van Prestatieverschillen: Wanneer verschillen zichtbaar waren (bijv. Race A heeft 10% hogere nauwkeurigheid dan Race B), beoordeelden deelnemers Optie C (het behoud van de verschillen) als het meest fair.
  • Deelnemers accepteerden verschillen als deze consistent waren met de data-imbalans.
  • Ze zagen het forceren van pariteit (Optie A of B) in deze scenario's vaak als onbillijk.
• Rol van Data-Beschikbaarheid: Deelnemers integreerden informatie over datavolume in hun oordeel:
  • Verschillen werden als legitiemer beschouwd als ze toegeschreven konden worden aan inherente taakmoeilijkheid (geassocieerd met base rates) in plaats van onvolledige of vooroordeel-bevattende dataverzameling.
  • Een groep met hogere prestaties maar minder data werd gezien als een gerechtvaardigd resultaat van taakmoeilijkheid, terwijl een groep met hogere prestaties en meer data minder automatisch als "fair" werd gezien.
• Anker-effect (Reference Dependence): Deelnemers beoordeelden fairness niet puur op absolute uitkomsten, maar relatief ten opzichte van de oorspronkelijke groepsspecifieke prestaties (het anker). Het behouden van de status quo (Optie C) werd vaak als eerlijker gezien dan het maximaliseren van het totaal of het maken van een compromis, zelfs als dat betekende dat de totale nauwkeurigheid lager was.

4. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Infra-marginaliteit: Het paper levert empirisch bewijs dat gebruikers fairness niet zien als statische statistische pariteit, maar als een oordeel dat afhankelijk is van de onderliggende distributiecontext.
2. Kritiek op Standaard Metrics: Het toont aan dat veelgebruikte groepsgewijze fairness-metrics (zoals equalized error rates) kunnen botsen met menselijke verwachtingen wanneer verschillen voortkomen uit legitieme distributieverschillen in plaats van algoritmische bias.
3. Design Implicaties: Het paper stelt dat fairness-interventies die blindelings pariteit afdwingen, het risico lopen om het vertrouwen in AI-systemen te ondermijnen, omdat ze door gebruikers als onterecht worden ervaren.
4. Brug tussen Techniek en Mens: Het benadrukt de noodzaak van fairness-frameworks die niet alleen technische criteria voldoen, maar ook rekening houden met menselijke redenering, sociale legitimiteit en de realiteit van heterogene data.

5. Significatie en Conclusie

De studie concludeert dat het afdwingen van strikte pariteit in real-world toepassingen (zoals gezondheidszorg, justitie en kredietverlening) contraproductief kan zijn als de onderliggende data-distributies verschillend zijn.

• Verschuiving in Paradigma: Fairness moet niet alleen worden gedefinieerd als "gelijkheid van uitkomsten", maar moet de oorzaak van verschillen in overweging nemen.
• Toekomstige Richting: Er is behoefte aan nieuwe definities en interventies die flexibel zijn en rekening houden met de context van de data. Dit is cruciaal om algoritmen te ontwikkelen die zowel statistisch robuust zijn als maatschappelijk aanvaardbaar.
• Praktische Toepassing: Ontwikkelaars moeten transparant zijn over de oorzaken van prestatieverschillen (bijv. door data-distributies te communiceren) om het vertrouwen van stakeholders te behouden, in plaats van te proberen verschillen kunstmatig te elimineren.

Kortom, het paper pleit voor een meer nuanceerde benadering van AI-fairness die de complexiteit van infra-marginaliteit erkent en de perceptie van de gebruiker centraal stelt bij het ontwerp van eerlijke systemen.