Bias in the Tails: How Name-conditioned Evaluative Framing in Resume Summaries Destabilizes LLM-based Hiring

Probleemstelling

Hoewel er veel onderzoek is gedaan naar vooroordelen (bias) in Large Language Models (LLMs) bij het aannemen van personeel en het bepalen van salarissen, richt deze studie zich op een specifiek, maar vaak over het hoofd gezien aspect: de tussenliggende artefacten die door LLMs worden gegenereerd. In moderne rekruteringspijplijnen worden LLMs steeds vaker ingezet om sollicitatiedossiers (CV's) te samenvatten voordat menselijke recruiters of andere AI-systemen beslissingen nemen.

De kernvraag is of deze samenvattingen, die bedoeld zijn om feitelijke informatie te distilleren, onbewust vooroordelen bevatten die afhankelijk zijn van de naam van de sollicitant. Bestaand onderzoek kijkt vaak naar aggregaten (gemiddelde uitkomsten), maar mist de subtiele mechanismen waarbij vooroordelen zich manifesteren in de evaluatie van de tekst, in plaats van in de feitelijke inhoud.

Methodologie

De auteurs hebben een grootschalig, gecontroleerd experiment opgezet om deze vraag te beantwoorden.

1. Dataverzameling (Synthetische CV's):

   • Er zijn bijna 1 miljoen CV-samenvattingen gegenereerd.
   • De basisdata bestaat uit 1.073 unieke, synthetische CV's, gebaseerd op gestandaardiseerde O*NET-taakbeschrijvingen (US Department of Labor) voor 232 verschillende functietitels.
   • Deze CV's zijn gekoppeld aan echte vacatures van grote platforms (Indeed, LinkedIn, ZipRecruiter).
   • Om variatie te creëren zonder de inhoud te veranderen, zijn 5 verschillende "cohorten" gegenereerd met gecontroleerde willekeur in de taakkeuze.

2. Naammanipulatie (Counterfactuals):

   • Voor elke CV zijn 8 varianten gemaakt die alleen verschillen in de voornaam en achternaam, representatief voor 8 intersectie-race-gender groepen: Witte man/vrouw, Zwarte man/vrouw, Spaanse man/vrouw, en Aziatische man/vrouw.
   • Dit resulteerde in een ontwerp waarbij voor elke sollicitant precies dezelfde inhoud werd beoordeeld, maar met een ander demografisch signaal in de naam.

3. Modeltesten:

   • Vier verschillende LLMs werden getest: GPT-4o-mini, Qwen2.5-32B, Llama-3.1-8B, en Gemma-9B.
   • De modellen kregen de instructie om een samenvatting van precies vier zinnen te genereren:
     • Zinnen 1-3: Feitelijke samenvatting gebaseerd uitsluitend op het CV.
     • Zin 4: Een evaluatieve zin die uitlegt hoe de ervaring past bij de functie.

4. Analyse:

   • De samenvattingen werden ontbonden in feitelijke inhoud (S1-S3) en evaluatieve framing (S4).
   • Er werden diverse metrics gebruikt: tokenlengte, sentiment (VADER), lexicaal overlap (Jaccard), feitelijke juistheid (MiniCheck), en subjectiviteit/agentiek (TextBlob en Language Agency Classifier).
   • Statistische tests (gepaarde permutatietests) werden gebruikt om na te gaan of verschillen significant waren en of ze zich concentreerden in de "staarten" (extremen) van de verdeling.

Belangrijkste Bijdragen

1. Locatie van Bias: Het paper toont aan dat naam-geconditioneerde bias in LLM-gedreven rekrutering voornamelijk voortkomt uit evaluatieve framing (de laatste zin), en niet uit de feitelijke weergave van de ervaring.
2. Instabiliteit in de Staarten: De bias manifesteert zich niet als een systematische verschuiving in het gemiddelde (bijv. "Zwarte namen krijgen altijd lagere scores"), maar als symmetrische instabiliteit geconcentreerd in de uiterste waarden van de verdeling (de tails). Dit betekent dat voor bepaalde namen de evaluatie extreem kan variëren, terwijl het gemiddelde stabiel lijkt.
3. Propagation naar Beslissingen: Subtiele verschillen in de evaluatieve zin leiden tot significante volatiliteit in downstream beslissingen (hiring judgments), zelfs als de volledige samenvatting wordt beoordeeld.
4. Nieuwe Audit-methode: Het paper introduceert een raamwerk dat groepsgewijze audits combineert met instance-level counterfactual analyse om deze "onzichtbare" bias te detecteren die door traditionele fairness-tests wordt gemist.

Resultaten

• Feitelijke Stabiliteit: De eerste drie zinnen (feitelijke inhoud) waren zeer stabiel. Er waren geen noemenswaardige verschillen in lengte, sentiment of feitelijke juistheid tussen de naamgroepen. De LLMs volgden de instructies om feiten trouw te blijven.
• Evaluatieve Variatie (Zin 4): De vierde zin (evaluatie) vertoonde subtiele, maar significante variatie afhankelijk van de naam.
  • Open-source modellen (Llama, Gemma, Qwen) toonden een veel sterkere versterking van subjectiviteit en "agentiek" (het toekennen van initiatief/leiderschap) bij naamswaps dan GPT-4o-mini.
  • De verschillen waren vaak lexicaal subtiel (bijv. "toont leiderschap" vs. "werkt samen"), maar leidden tot grote kwantitatieve verschillen in scores voor agentiek en subjectiviteit.
  • Deze effecten waren het sterkst bij namen die geassocieerd worden met Spaanse en Aziatische achtergronden.
• Hiring Simulatie:
  • Bij directe beoordeling van het CV (zonder samenvatting) was er sprake van directionele bias (bepaalde groepen scoorden systematisch lager).
  • Bij beoordeling van alleen de evaluatieve zin (S4) verdween de directionele bias, maar ontstond er symmetrische instabiliteit: dezelfde kandidaat kreeg willekeurig hoge of lage scores afhankelijk van de naam.
  • Deze instabiliteit in de evaluatieve zin "verankerde" (anchoring effect) de beoordeling van de volledige samenvatting, wat leidde tot een verdubbeling van de scorevariatie binnen groepen in vergelijking met de basislijn.
  • De beslissingsflip-ratio (de kans dat een kandidaat wel of niet wordt geselecteerd afhankelijk van de naam) steeg aanzienlijk bij het gebruik van alleen de evaluatieve zin.

Betekenis en Conclusie

Dit paper heeft belangrijke implicaties voor de inzet van AI in hoog-risico beslissingen:

1. Gevaar voor "Onzichtbare" Bias: Traditionele fairness-audits die kijken naar gemiddelde uitkomsten per groep, kunnen deze vorm van bias missen. Omdat de bias niet directioneel is (er is geen groep die systematisch benadeeld wordt in het gemiddelde), maar wel arbitrair (willekeurige uitsluiting voor individuen), wordt het systeem onbetrouwbaar zonder dat het direct als "onfair" wordt gedetecteerd door standaard tests.
2. LLM-naar-LLM Bias: De studie waarschuwt voor een kettingreactie in geautomatiseerde pijplijnen. Als een eerste LLM een gebiasde samenvatting genereert, kan een tweede LLM (de recruiter) deze bias versterken en vastzetten, zelfs als de feitelijke data correct is.
3. Aanbevelingen: De auteurs pleiten voor het ontkoppelen van feitelijke extractie en evaluatieve synthese. Systemen moeten specifiek worden gemonitord op de "staarten" van de verdeling (extreme uitschieters in framing) en niet alleen op gemiddelden. Menselijke toetsing is essentieel voor gevallen waar de evaluatieve framing extreem afwijkt.

Kortom, de studie toont aan dat zelfs als LLMs feitelijke informatie correct verwerken, de interpretatie en evaluatie van die informatie gevoelig blijft voor demografische signalen, wat leidt tot een vorm van willekeurige onrechtvaardigheid die moeilijk te detecteren is maar potentieel schadelijk is voor sollicitanten.