💬 NLP

Can LLMs Hire Fairly? Racial Bias in Resume Screening

Dit artikel auditeert veertien grote taalmodellen en stelt vast dat hoewel een model uit 2023 een pro-Witte wervingsbias vertoonde die vergelijkbaar is met menselijke discriminatie, alle modellen uitgebracht in 2024 of later ofwel geen bias of een significante pro-Zwarte omkering vertoonden, wat een generatiewissel markeert in algoritmische wervingsrechtvaardigheid.

Oorspronkelijke auteurs: Zhenyu Gao, Wenxi Jiang, Yutong Yan

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhenyu Gao, Wenxi Jiang, Yutong Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je iemand aanneemt voor een baan, maar in plaats van een mens die naar de cv's kijkt, vraag je aan een superintelligente computerrobot om de beslissing te nemen. Je wilt weten: Is deze robot eerlijk?

Dit artikel is als een enorme "mystery shopper"-experiment. De onderzoekers hebben 14 verschillende AI-robots (Large Language Models) ingehuurd om als selectiecommissie te fungeren. Ze gaven elke robot duizenden paren nep-cv's die op elk punt identiek waren — dezelfde opleiding, dezelfde werkervaring, dezelfde leeftijd, dezelfde vaardigheden. Het enige wat veranderde, was de naam op het cv.

Hier is het verhaal van wat ze vonden, verteld via een paar eenvoudige analogieën:

1. De "Oude Robot" vs. De "Nieuwe Robots"

Beschouw de AI-modellen als verschillende generaties smartphones.

Het 2023 Model (De "Oude Telefoon"): De onderzoekers testten één ouder model (GPT-3.5-turbo). Deze robot gedroeg zich precies zoals de bevooroordeelde mensen uit eerdere studies. Wanneer het een naam zag die zwart klinkt, was het minder geneigd om te zeggen: "Ja, bel deze persoon op" vergeleken met een naam die wit klinkt. Het toonde een duidelijke voorkeur voor witte namen.
De 2024+ Modellen (De "Nieuwe Telefoons"): Vervolgens testten ze 13 nieuwere modellen die in 2024 en 2025 zijn uitgebracht. Deze robots deden iets verrassends. Ze werden niet simpelweg neutraal; ze sloegen door naar de andere kant. Ze begonnen zwarte namen te verkiezen boven witte namen.

De Analogie: Stel je een weegschaal voor.

De oude robot liet de weegschaal zwaar doorslaan naar de witte kant.
De nieuwe robots lieten de weegschaal doorslaan naar de zwarte kant.
De nieuwste robots (uit 2026) proberen de weegschaal perfect in evenwicht te houden, waarbij ze bijna geen voorkeur voor de één of de ander tonen.

2. Hetzelfde Verhaal voor Mannen en Vrouwen

Ze voerden exact dezelfde test uit, maar veranderden de namen om te zien of de robots bevooroordeeld waren tegen mannen of vrouwen.

De Oude Robot: gaf de voorkeur aan mannen boven vrouwen.
De Nieuwe Robots: gaven de voorkeur aan vrouwen boven mannen.
De Nieuwste Robots: worden weer neutraal.

3. Waarom Gebeurde Dit?

Het paper suggereert dat dit geen foutje is, maar een resultaat van hoe de robots zijn "geleerd" te gedragen.

De Trainingsdata: De oude robot leerde van het internet zoals het is, dat veel historische menselijke vooroordelen bevat (voorkeur voor witte mannen).
De "Alignment" Fix: De bedrijven die de nieuwere robots bouwden, realiseerden zich dat dit onrechtvaardig was. Ze voegden een speciale "trainingklas" toe (genaamd alignment) om de robots te leren eerlijk te zijn.
De Overcorrectie: Het lijkt erop dat de nieuwere robots een beetje té enthousiast werden over het zijn van eerlijk. In plaats van gewoon neutraal te zijn, begonnen ze de groepen die eerder gediscrimineerd werden actief te bevoordelen. Het is als een docent die, nadat hij heeft gezien dat een leerling gepest werd, besluit om die leerling voor elke toets extra punten te geven, zelfs als diegene het niet verdiend heeft.

4. De Belangrijkste Conclusie

De belangrijkste les van dit paper is dat AI-bias niet iets vaststaands is. Het verandert afhankelijk van welke versie van de robot je gebruikt en wanneer deze is gebouwd.

2023 Robots: Herhaalden de oude menselijke fouten (voorkeur voor witte mannen).
2024-2025 Robots: Probeerden het te fixen maar sloegen te ver door naar de andere kant (voorkeur voor zwarte vrouwen).
2026 Robots: Komen dichter bij het echt neutraal zijn.

De Kernboodschap:
Het paper concludeert dat het feit dat een hulpmiddel "AI" is, niet betekent dat het eerlijk is. Soms is het te bevooroordeeld aan de ene kant, en soms aan de andere kant. De enige manier om te weten of een specifieke AI-wervingstool eerlijk is, is door het constant te testen, omdat de "persoonlijkheid" van de AI verandert bij elke nieuwe update.

Wat het paper NIET zegt:

Het zegt niet dat deze robots momenteel door alle bedrijven worden gebruikt (hoewel het een rechtszaak tegen een bedrijf, Workday, vermeldt).
Het zegt niet dat we AI niet moeten gebruiken.
Het zegt niet dat de "pro-zwarte" bias een goede zaak is; de auteurs stellen dat elke vorm van bias (voorkeur voor de één boven de ander) slecht is voor de eerlijkheid. Het doel is een neutrale weegschaal, geen gekantelde.

Technische Samenvatting: Kunnen LLM's eerlijk werven? Raciale bias in cv-screening

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingebed in beslissingen met grote economische gevolgen, specifiek bij werving en selectie, is er een kritieke behoefte om te bepalen of deze systemen bestaande patronen van menselijke discriminatie bestendigen of juist hervormen. Hoewel juridische uitdagingen (bijv. de rechtszaak tegen Workday in 2026) de potentie voor algoritmische discriminatie hebben benadrukt, blijft het empirische bewijs met betrekking tot de specifieke aard en richting van bias in op LLM gebaseerde wervingssystemen beperkt. De centrale vraag die wordt behandeld is of LLM's, wanneer zij optreden als HR-managers, raciale en genderbias vertonen, en hoe deze bias evolueert over verschillende generaties en aanbieders van modellen.

Methodologie

De studie maakt gebruik van een grootschalige gepaarde cv-audit methodologie, waarbij het ontwerp van het correspondentie-experiment direct wordt aangepast van de door Bertrand en Mullainathan (2004) gevestigde methode en geschaald door Kline, Rose en Walters (2022).

Experimenteel Ontwerp: De onderzoekers construeerden kandidaatprofielen die identiek waren in alle substantiële attributen (opleiding, werkervaring, leeftijd, geslacht), met uitzondering van de voor- en achternaam van de kandidaat. Namen werden getrokken uit gevestigde lijsten van onderscheidend zwarte en witte namen (Bertrand en Mullainathan, 2004; Kline et al., 2022).
Databron: De audit maakte gebruik van 6.007 echte Amerikaanse instapfuncties uit het Revelio Labs-universum, gesampled om overeen te komen met de verdeling van Fortune-500 bedrijven.
Modelpanel: Veertien mainstream LLM's werden getest, variërend in releasedatum van mei 2023 tot april 2026. Het panel bevat modellen van acht aanbieders (OpenAI, Anthropic, Meta, Google, xAI, DeepSeek, Alibaba en Zhipu) met parametergroottes variërend van 8B tot 397B.
Prompting en Scoring: Elk model werd geprompt met een gestandaardiseerde systeeminstructie om op te treden als een HR-manager en te reageren met één enkel woord ("ja" of "nee") om aan te geven of een kandidaat wordt doorgevraagd. De temperatuur werd ingesteld op nul om deterministische outputs te garanderen.
Schaal: De studie genereerde 24.024 gepaarde advertenties per model voor de race-as en 48.048 gepaarde advertenties per model voor de gender-as.
Statistische Analyse: De primaire metriek was de callback-kloof ( $\Delta$ ), berekend als het verschil in "ja"-percentages tussen bevoordeelde en benadeelde groepen. Significantie werd beoordeeld met de McNemar-toets op discordante paren, waarbij cluster-robuuste inferentie (bootstrap en standaardfouten) werd toegepast op het niveau van de vacature om afhankelijkheid binnen de vacature te verklaren.

Belangrijkste Bijdragen

Systematische Multi-Model Audit: Dit werk biedt de eerste systematische audit van LLM-wervingsdiscriminatie op een schaal die vergelijkbaar is met de veldexperimenten die menselijke baselines vaststelden, waarbij 14 modellen op de race-as en 13 op de gender-as worden gedekt.
Documentatie van Tekenomkering: De studie documenteert een kwalitatieve verschuiving in de richting van algoritmische discriminatie over generaties van modellen heen, bewegend van pro-wit/pro-mannelijke bias in 2023-modellen naar pro-zwart/pro-vrouwelijk bias (of null-kloven) in 2024+-modellen.
Correlatie van Bias-assen: Het artikel toont aan dat race- en genderbias positief gecorreleerd zijn over modellen; modellen die zwarte namen bevoordelen, hebben ook de neiging om vrouwelijke namen te bevoordelen.

Belangrijkste Resultaten

Raciale Discriminatie

2023 Vintage (GPT-3.5-turbo): Het enige 2023-model reproduceerde de pro-witte callback-kloof die werd gevonden in menselijke veldexperimenten. Wit-gecodeerde namen ontvingen 2,12 procentpunten (pp) vaker een callback dan zwart-gecodeerde namen (significant op het 1%-niveau). Deze omvang overtrof de 1,6 pp kloof gerapporteerd door Kline et al. (2022).
2024+ Vintage: Elk model dat in 2024 of later is uitgebracht, vertoonde ofwel een null-kloof of een statistisch significante pro-zwarte omkering. Significante pro-zwarte kloven varieerden van -0,37 pp tot -3,01 pp (bijv. Llama-3.1-8B-Instruct vertoonde -3,01 pp). Geen enkel 2024+-model vertoonde een significante pro-witte kloof.
Traject: Binnen modelfamilies was de trend consistent. De lijn van OpenAI bewoog van +2,12 pp (pro-wit) in GPT-3.5-turbo naar -0,61 pp (pro-zwart) in GPT-4o-mini, en uiteindelijk naar een null-kloof in GPT-5.4-mini.

Genderdiscriminatie

2023 Vintage: GPT-3.5-turbo bevoordeelde mannelijke kandidaten met 1,92 pp (significant op het 1%-niveau).
2024+ Vintage: Tien van de twaalf overige modellen vertoonden een significante pro-vrouwelijke kloof, variërend van -0,18 pp tot -5,80 pp. Twee modellen (Gemini-2.5-flash en GPT-5.4-mini) vertoonden null-kloven.
Correlatie: De race- en genderassen waren positief gecorreleerd. Het enige pro-witte model (GPT-3.5-turbo) was ook het enige pro-mannelijke model. Omgekeerd vertoonden modellen met de sterkste pro-zwarte bias (bijv. Claude 3 Haiku) ook de sterkste pro-vrouwelijke bias.

Robuustheid

De bevindingen bleven robuust onder cluster-robuuste inferentie en Bonferroni-correcties voor meerdere vergelijkingen. Hoewel een aantal grensgevallen (bijv. de gendergap van Gemma-4-31B) hun significantie verloren onder strikte correctie, bleef de kernbevinding van een tekenomkering over generaties heen standhouden.

Betekenis en Claims

Het artikel claimt dat de richting van algoritmische wervingsbias geen vaste eigenschap is van taalmodellen, maar systematisch varieert met de vintage van het model, de aanbieder en de schaal.

Evolutie van Alignment: Het waargenomen traject — van het reproduceren van pretraining-data biases (pro-wit) naar het actief bevoordelen van minderheids-gecodeerde namen (pro-zwart), en potentieel richting neutraliteit in de nieuwste modellen — wordt toegeschreven aan veranderingen in post-training alignment-procedures tussen 2023 en 2024.
Implicaties voor Rechtvaardigheid: De auteurs stellen dat noch de oorspronkelijke pro-witte bias, noch de daaropvolgende pro-zwarte omkering wenselijk is vanuit een rechtvaardigheidsstandpunt. Een wervingssysteem dat systematisch één groep boven een andere bevoordeelt, ongeacht de richting, faalt op de basisvereiste van gelijke behandeling.
Regulatorische Relevantie: De resultaten bieden empirisch bewijs voor toezichthouders (zoals zij die de EU AI Act of NYC Local Law 144 handhaven) dat de omvang en richting van bias afhangen van specifieke implementatiekeuzes (modelversie, trainingsdatum, prompting). De auteurs concluderen dat systematische audits van de aard die hier is uitgevoerd, essentieel zijn voor regelgevende naleving en publieke verantwoording naarmate AI-tools alomtegenwoordig worden in wervingsprocessen.