💻 computer science

Measuring Validity in LLM-based Resume Screening

Deze studie introduceert een gestructureerd framework om de validiteit van LLM's bij het screenen van sollicitaties te meten door een speciaal samengestelde dataset te gebruiken, en onthult dat veel modellen inconsistente prestaties vertonen, onbetrouwbaar zijn bij het afzien van oordelen bij gelijke kandidaten, en demografische vertekening vertonen.

Oorspronkelijke auteurs: Jane Castleman, Zeyu Shen, Blossom Metevier, Max Springer, Aleksandra Korolova

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jane Castleman, Zeyu Shen, Blossom Metevier, Max Springer, Aleksandra Korolova

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote bak met honderden sollicitatiebrieven krijgt. Je hebt maar een paar uur om de beste kandidaat te vinden. Dat is een enorme klus! Vandaag de dag gebruiken veel bedrijven daarom slimme computers (zoals de AI die dit artikel bespreekt) om die brieven te lezen en te sorteren. Het idee is: "De computer is snel, dus hij doet het vast goed."

Maar wat als die computer niet alleen snel is, maar ook dom, vooroordeelsvol of gewoon onbetrouwbaar?

De auteurs van dit artikel (Jane, Zeyu en hun team van Princeton) zeggen: "Wacht even. Laten we eerst controleren of die computers echt slim zijn, voordat we ze de sleutel van het bedrijf geven."

Hier is wat ze hebben gedaan, vertaald in een simpel verhaal met een paar leuke vergelijkingen:

1. Het Probleem: De "Blinde" Test

Stel je voor dat je een kok wilt testen. Je geeft hem een recept en vraagt hem om een taart te bakken. Maar je hebt geen idee of de taart lekker is, want je hebt geen proefpersoon. Of erger: je gebruikt een taart die de kok al eerder heeft gemaakt om te testen. Dan weet je niet of hij echt kan koken of dat hij gewoon zijn eigen werk herkent.

Dit is precies wat er met AI en sollicitaties gebeurt:

We weten niet of de AI de beste kandidaat kiest (is hij geldig?).
We weten niet of hij eerlijk is (is hij rechtvaardig?).
En vaak gebruiken we oude data om ze te testen, waardoor ze "leren" wat we van ze verwachten in plaats van echt te denken.

2. De Oplossing: De "AI-Speelgoedkeuken"

Om dit op te lossen, hebben de onderzoekers een nieuwe manier bedacht om de AI te testen. Ze hebben geen echte sollicitanten gebruikt, maar ze hebben een perfecte, gecontroleerde wereld gecreëerd.

Stel je voor dat ze een speelgoedkeuken bouwen:

De Basis: Ze maken een "standaard" sollicitant die precies voldoet aan de eisen van een baan (bijvoorbeeld: een softwareontwikkelaar).
De Verbetering: Ze maken een tweede sollicitant die exact hetzelfde is, maar dan met één extra vaardigheid (bijvoorbeeld: "Ik kan ook in Python programmeren").
- De verwachting: De AI moet de tweede kandidaat kiezen.
De Verslechtering: Ze maken een derde sollicitant die één vaardigheid mist.
- De verwachting: De AI moet de eerste kandidaat kiezen.
De Identieke Tweeling: Ze maken twee sollicitanten die exact even goed zijn, maar dan met een ander naam (bijvoorbeeld: "Jamal" vs. "Bradley") of een ander hobby (bijvoorbeeld: "Voetbal" vs. "Schaken").
- De verwachting: De AI moet zeggen: "Ik kan geen keuze maken, ze zijn even goed!" (Dit noemen ze abstaineren).

3. Wat Vonden Ze? (De Verbluffende Resultaten)

Toen ze deze "speelgoedkeuken" gebruikten om de populairste AI's (zoals GPT-4, Claude, Gemini) te testen, kwamen ze op een paar verrassende dingen:

De AI is niet altijd slim: Zelfs de "slimste" AI's haalden niet altijd de juiste keuze. Soms kozen ze de kandidaat met minder ervaring, of ze gaven gewoon op (zeiden "ik weet het niet") terwijl het antwoord duidelijk was.
- Vergelijking: Het is alsof een supercomputer een simpele som (2+2) niet kan uitrekenen, of denkt dat 2+2=5 is.
De AI is bang om "nee" te zeggen: Veel AI's durven niet te zeggen "deze twee zijn even goed". Ze kiezen er toch voor om er één te kiezen, zelfs als er geen verschil is.
- Vergelijking: Het is alsof een rechter in een rechtszaak twee verdachten heeft die precies even schuldig zijn, maar de rechter toch iemand moet veroordelen. Dat is niet eerlijk.
De AI heeft soms een "te goed" bias: In plaats van dat de AI mensen met een bepaalde achtergrond (zoals zwarte mensen of vrouwen) discrimineert (zoals we vaak horen), zagen ze dat sommige AI's juist te veel voor hen kozen.
- Vergelijking: Het is alsof je een scheidsrechter hebt die probeert eerlijk te zijn, maar zo bang is om vooroordelen te hebben, dat hij de ene ploeg elke keer een penalty geeft als de andere ploeg de bal raakt. Ze proberen zo hard om "goed" te zijn, dat ze het juist verkeerd doen.

4. Waarom is dit belangrijk?

Dit onderzoek is als een nieuwe soort meetlat voor bedrijven en toezichthouders.

Vroeger zeiden we: "De AI kiest de beste kandidaten, want hij is slim."
Nu zeggen deze onderzoekers: "Nee, we moeten eerst kijken of de AI de regels begrijpt. Is hij eerlijk? Is hij accuraat? En durft hij te zeggen 'ik weet het niet' als het onduidelijk is?"

De boodschap in één zin:
We mogen AI niet zomaar blindelings vertrouwen om mensen aan te nemen. Net zoals je een nieuwe auto niet op de snelweg zet zonder eerst te testen of de remmen werken, moeten we deze slimme computers testen met onze "speelgoedkeuken" voordat ze over echte mensen beslissen.

Dit artikel geeft ons de gereedschapskist om die test te doen, zodat we kunnen zorgen dat de toekomst van werken eerlijk en slim blijft.

Probleemstelling

Het gebruik van Large Language Models (LLMs) voor het screenen en rangschikken van sollicitaties is snel toegenomen, met naar schatting 90% van de werkgevers die deze tools inzetten. Hoewel er veel onderzoek is gedaan naar fairness (eerlijkheid), specifiek gemeten als statistische pariteit tussen demografische groepen, is er een kritisch blinde vlek: de validiteit van de beslissingen.

De kernvraag is niet alleen of een model discrimineert, maar of het de beste kandidaat op basis van relevante kwalificaties kan identificeren. Bestaande evaluaties hebben twee grote methodologische hordes:

Gebrek aan Ground Truth: Er is geen grote corpus van sollicitaties met bekende, objectieve rangschikkingen beschikbaar om de prestaties van modellen te testen.
Train-Test Contaminatie: Publiek beschikbare data is vaak gebruikt om de LLM's te trainen, waardoor evaluaties op deze data de prestaties kunstmatig kunnen opblazen (de modellen "leren" de antwoorden in plaats van te redeneren).

Bovendien zijn bestaande benchmarks vaak afhankelijk van menselijke beoordelingen als ground truth, maar menselijke recruiters zijn zelf ook bevooroordeeld en maken fouten, wat een slechte basis vormt voor het meten van objectieve validiteit.

Methodologie

De auteurs introduceren een nieuw framework dat gebaseerd is op principes uit software engineering (metamorfe en mutatie-testing) om systematisch evaluatietaken te construeren met een bekende ground truth, zonder dat deze data in de training van de LLM's zit.

1. Constructie van Testgevallen (Synthetische Data):

Input: Het framework gebruikt live vacatureteksten (o.a. van Greenhouse, LinkedIn, Indeed).
Proces: Een basis-sollicitatie wordt gegenereerd die precies voldoet aan de vereiste kwalificaties.
Variatie:
- Criterion Validity: Er worden paren gemaakt met een minder gekwalificeerde variant (verwijdering van vereiste vaardigheden) en een meer gekwalificeerde variant (toevoeging van voorkeurskwalificaties). De ground truth is hier dat de meer gekwalificeerde kandidaat altijd moet worden gekozen.
- Discriminant Validity: Er worden paren gemaakt met gelijk gekwalificeerde kandidaten die alleen verschillen in irrelevante attributen (demografische signalen zoals naam of lidmaatschap van organisaties). De ground truth is hier dat het model moet onthouden (abstain) omdat er geen kwaliteitsverschil is.
Demografie: Signalen worden toegevoegd voor vier groepen: {Zwart, Wit} × {Man, Vrouw}, zowel impliciet (namen) als expliciet (toekenningen/organisaties).

2. Evaluatiemetrics:
Het framework meet afwijkingen van het ideale gedrag:

Criterion Validity: Het percentage keren dat het model de correcte (meer gekwalificeerde) kandidaat kiest bij ongelijke paren.
Discriminant Validity: Het percentage keren dat het model zich onthoudt van een keuze bij gelijk gekwalificeerde paren. Een lage score betekent dat het model willekeurig kiest op basis van irrelevante factoren.
Over-assessment: Het meten van hoe vaak een model een minder gekwalificeerde kandidaat kiest of een keuze maakt bij gelijke kandidaten, gespecificeerd per demografische groep.

3. Experimenteel Setup:
Er werden diverse state-of-the-art LLM's getest (o.a. GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, Llama 3.3, DeepSeek) op hun vermogen om deze paren te rangschikken. Het framework testte zowel scenario's waarbij het model moet kiezen (forced-choice) als scenario's waarbij het mag onthouden (abstain).

Belangrijkste Bijdragen

Nieuw Evaluatieframework: Het eerste principieel onderbouwde, reproduceerbare framework dat ground-truth-gestuurde auditing van zowel validiteit als eerlijkheid mogelijk maakt zonder train-test contaminatie.
Scheiding van Validiteit en Fairness: Het paper benadrukt dat validiteit (het vinden van de beste kandidaat) en eerlijkheid (het niet discrimineren) aparte, meetbare eigenschappen zijn. Een model kan eerlijk zijn maar onnauwkeurig, of nauwkeurig maar bevooroordeeld.
Scalabiliteit: Het framework kan dynamisch worden toegepast op nieuwe vacatures en modellen, wat essentieel is voor continue monitoring en naleving van wetgeving (zoals New York's Local Law 144).

Resultaten

De evaluaties leverden enkele verrassende en zorgwekkende bevindingen op:

Beperkte Validiteit: Veel LLM's presteren niet consistent boven de 95% validiteit, zelfs niet bij duidelijke kwaliteitsverschillen.
- Bij kleine verschillen in kwalificaties ( $k=1$ ) daalt de validiteit aanzienlijk voor veel modellen (soms onder de 0.90).
- Grotere en nieuwere modellen (zoals GPT-5, Claude Sonnet 4) presteren beter, maar zijn verre van perfect.
Fouttype: De meeste fouten zijn onrechtvaardige onthoudingen (het model weigert een keuze te maken bij een duidelijk betere kandidaat) in plaats van het kiezen van de verkeerde kandidaat. Dit verhoogt de kosten voor menselijke tussenkomst.
Discriminant Validiteit (Eerlijkheid):
- Modellen zijn vaak niet in staat om zich te onthouden bij gelijk gekwalificeerde kandidaten; ze kiezen willekeurig in meer dan 10% van de gevallen.
- Over-correction: In tegenstelling tot eerdere studies die vaak bias tegen minderheden toonden, vonden de auteurs dat sommige modellen (zoals Claude Sonnet 4) in bepaalde scenario's historisch gemarginaliseerde kandidaten (Zwart, Vrouwen) vaker selecteren dan Witte mannen, zelfs bij gelijke kwalificaties. Dit suggereert een vorm van "over-alignment" waar demografische signalen de relevante kwalificaties overrulen.
- Modellen reageren gevoeliger op expliciete demografische signalen (zoals awards) dan op impliciete signalen (namen).
Afhankelijkheid van Context: De prestaties variëren sterk per vacaturetype (bijv. Software Engineering vs. Nurse Practitioner) en per type vaardigheid (harde vaardigheden vs. zachte vaardigheden).

Betekenis en Conclusie

Dit paper biedt een cruciale tool voor onafhankelijke auditors, beleidsmakers en ontwikkelaars om de betrouwbaarheid van AI-gedreven wervingssystemen te testen.

Validiteit is niet gegarandeerd: De aannames dat "state-of-the-art" modellen automatisch goede beslissingen nemen in werving zijn onjuist. Zelfs de grootste modellen falen bij subtiele onderscheidingen.
Noodzaak voor Auditing: Omdat bedrijven vaak "out-of-the-box" modellen gebruiken zonder aanpassing, is het essentieel dat deze modellen vooraf en tijdens gebruik worden getest op specifieke validiteitsmetrics.
Complexiteit van Bias: De bevindingen tonen aan dat bias-mitigatiestrategieën (alignment) soms leiden tot nieuwe vormen van invaliditeit, waarbij demografische factoren onterecht zwaar wegen. Dit vereist een gebalanceerde benadering waarbij validiteit en eerlijkheid samen worden geoptimaliseerd in plaats van als tegenstrijdige doelen.

Kortom, het paper verschuift de focus van ethische aspiraties naar empirische betrouwbaarheid en biedt een methodologische basis om te garanderen dat AI-systemen in de werving daadwerkelijk de juiste kandidaten selecteren op basis van hun vaardigheden.