Developing and assessing a scale for measuring human–AI alignment in hiring decisions

In de moderne wereld veranderen de poortwachters van kansen. Decennialang rustte de beslissing om iemand aan te nemen voor een baan volledig op menselijk oordeel, een proces dat werd beïnvloed door ervaring, intuïtie en soms onbewuste vooroordelen. Vandaag de dag stapt kunstmatige intelligentie steeds vaker in die rol, waarbij duizenden cv's worden gescreend en de eerste selecties worden gemaakt voordat een mens ooit een naam ziet. Deze verschuiving roept een fundamentele vraag op: wanneer een machine een wervingsbeslissing neemt, denkt zij dan als een mens? Het antwoord is niet zo eenvoudig als vragen of de computer gelijk heeft of ongelijk. In plaats daarvan vragen onderzoekers hoe nauw de keuzes van de machine de rommelige, gevarieerde en vaak inconsistente manieren weerspiegelen waarop mensen daadwerkelijk beslissen. Om dit te begrijpen, zijn wetenschappers begonnen het werven niet alleen als een economische transactie te zien, maar als een test van afstemming, waarbij de afstand tussen menselijke redenering en algoritmische logica wordt gemeten.

Een team van onderzoekers zette zich scharpe om deze afstand te meten met een nieuwe aanpak die zij een Arbeidsmarkt Turing-test noemen. De klassieke Turing-test, decennia geleden voorgesteld, was ontworft om te zien of een machine een mens kon overtuigen dat zij ook mens was. Deze nieuwe versie draait het scenario om. In plaats van te vragen of een machine een persoon kan misleiden, vraagt het hoeveel de beslissingen van een machine op die van een persoon lijken. De onderzoekers vroegen de AI niet simpelweg om de beste kandidaat te kiezen. Ze creëerden een gecontroleerd experiment in Ecuador met 277 professionele menselijke recruiters. Deze echte mensen werden ingehuurd om paren sollicitanten te beoordelen voor tien verschillende soorten banen, variërend van magazijnmedewerkers tot softwareontwikkelaars. Om ervoor te zorgen dat de test eerlijk was en gericht was op de beslissingsstijl in plaats van op specifieke kwalificaties, werden de sollicitanten in elk paar gematcht op hun vaardigheden, opleiding en ervaring. De enige verschillen tussen hen waren identiteitskenmerken, zoals geslacht, seksuele geaardheid of immigratiestatus—factoren die logischerwijs geen invloed zouden moeten hebben op wie voor de baan wordt aangenomen.

De menselijke recruiters maakten hun keuzes, en vervolgens bouwden de onderzoekers een digitale spiegel. Ze creëerden vier verschillende teams van kunstmatige intelligentie-agenten, elk aangedreven door een groot taalmodel, om exact dezelfde taak uit te voeren. Het eerste team, genaamd "Robots", kreeg alleen basisinstructies om de beste kandidaat te kiezen. Het tweede team, "Avatars", kreeg de opdracht om specifieke menselijke recruiters na te bootsen, waarbij zij hun persoonlijkheidskenmerken, opleiding en professionele achtergrond imiteerden. Het derde team, "Clones", ging nog een stap verder; zij kregen niet alleen de opdracht om een specifieke mens na te bootsen, maar werden ook beperkt tot het zien van precies dezelfde informatie die de mens had gezien, in exact dezelfde volgorde. Het laatste team, "Randomistas", maakte hun keuzes door een digitale munt op te gooien, dienend als een baseline voor pure willekeur. Het doel was om te zien welk van deze AI-teams beslissingen nam die het meest leken op die van de menselijke recruiters.

Om de resultaten te meten, ontwikkelden de onderzoekers een schaal om elke recruiter, mens of machine, op een enkele lijn te plaatsen. Aan het ene uiteinde van de lijn bevindt zich een referentiepunt genaamd "Skynet", dat de gemiddelde keuze van het basis Robot-team vertegenwoordigt. Dit is geen maatstaf voor eerlijkheid, maar een maatstaf voor pure algoritmische consistentie. Een recruiter die altijd overeenstemt met Skynet, handelt op een zeer machine-achtige manier. Een recruiter die vaak afwijkt, handelt op een meer menselijke manier. De studie vond dat de gemiddelde menselijke recruiter significant verschilde van de gemiddelde machine. Sterker nog, de menselijke keuzes lagen ongeveer 1,73 standaarddeviaties verwijderd van het typische gedrag van de machine. Dit betekent dat mensen, gemiddeld genomen, veel minder voorspelbaar en minder consistent zijn dan de basis-AI.

De onderzoekers ontdekten dat hoe meer ze de AI probeerden te laten handelen als een mens, hoe dichter het bij het menselijke gemiddelde kwam, maar het kwam nooit helemaal aan. Zelfs de "Clones", die geprogrammeerd waren om specifieke mensen na te bootsen en beperkt waren tot dezelfde informatie die zij zagen, produceerden nog steeds een patroon van keuzes dat statistisch verschillend was van de echte mensen. De meest verrassende bevinding kwam van de "Randomistas". De AI-agenten die simpelweg een muntje wierpen om hun beslissingen te nemen, bleken in feite een patroon van keuzes te hebben dat dichter bij het menselijke gemiddelde lag dan welk van de geavanceerde AI-teams dan ook. Dit suggereert dat menselijke besluitvorming bij werving een niveau van willekeur of inconsistentie bevat dat zelfs voor de meest menselijke AI moeilijk te repliceren is. De mensen maakten niet alleen rationele, regelgebaseerde keuzes; zij maakten keuzes die een mate van onvoorspelbaarheid inhouden die de machines, zelfs wanneer ze de opdracht kregen menselijk te zijn, niet volledig konden vatten.

De studie onthulde ook dat de kloof tussen mensen en machines groter werd afhankelijk van de complexiteit van de baan. Wanneer de recruiters keuzes moesten maken tussen kandidaten voor eenvoudige banen, zoals een schoonmaker of een magazijnmedewerker, stemden mensen en machines vaker overeen. Echter, naarmate de banen veeleisender werden en gespecialiseerde vaardigheden of hogere opleiding vereisten, nam de overeenstemming af. De machines en de mensen begonnen sterker uiteen te lopen. Bovendien, wanneer de twee kandidaten in een paar zeer vergelijkbaar waren, met slechts minimale verschillen in leeftijd of jaren werkervaring, waren de mensen en de machines vaker het oneens. De machines leken zich vast te bijten in deze minuscule details en een beslissing op basis daarvan te nemen, terwijl mensen eerder geneigd waren de kandidaten als essentieel gelijk te behandelen. Dit geeft aan dat de AI hyper-waakzaam is over kleine verschillen, terwijl mensen eerder bereid zijn ambiguïteit te accepteren.

De onderzoekers keken ook naar de vraag of ze konden verklaren waarom sommige mensen meer "machine-achtig" waren dan anderen. Ze onderzochten de persoonlijkheidskenmerken van de recruiters, hun cognitieve testscores, hun opleiding en hun jarenlange ervaring. Verrassend genoeg boden geen van deze factoren een duidelijke verklaring. De intelligentie van een recruiter of hun jaren in het vak voorspelde niet of zij keuzes zouden maken die op een machine leken. De enige eigenschappen die een zwakke connectie vertoonden, waren persoonlijkheidsgebonden: recruiters met een hoger zelfbeeld neigden er iets meer naar om machine-achtig te zijn, terwijl zij met een hogere neuroticisme iets minder neigden dat te doen. Maar zelfs met deze factoren bleef het overgrote deel van het verschil tussen menselijke en machine-keuzes onverklaard. Dit suggereert dat de manier waarop mensen deze beslissingen nemen een complexe, verborgen dimensie bevat die niet gemakkelijk gemeten kan worden met standaard enquêtes of tests.

Uiteindelijk suggereert de studie dat perfecte imitatie van menselijk oordeel niet alleen het vangen van de gemiddelde neiging om een bepa kind type kandidaat te kiezen vereist, maar ook de volledige diversiteit van menselijke redenering, inclusief de inconsistenties ervan. De AI-systemen, zelfs wanneer ze op menselijk gedrag zijn afgestemd, neigen meer consistent en regelgebaseerd te zijn dan de mensen die zij proberen na te bootsen. Dit creëert een paradox: hoe meer een AI-systeem probeert perfect consistent en rationeel te zijn, hoe minder het op een mens lijkt. De onderzoekers betogen dat dit verschil cruciaal is voor het begrijpen van hoe we AI bij werving moeten gebruiken. Als we willen dat AI vertrouwd wordt, moeten we begrijpen dat het niet van nature zal handelen als een mens. Het zal niet van nature dezelfde mate van ambiguïteit of willekeur omarmen als mensen dat doen. De studie concludeert dat voordat we de sleutels van de werving aan algoritmen overhandigen, we moeten erkennen dat deze systemen niet alleen snellere mensen zijn; het zijn fundamenteel andere soorten besluitvormers, die opereren op een logica die stabiel en regelgebonden is, maar vaak vreemd is aan de rommelige realiteit van menselijke keuzes.