Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
Door middel van drie factoriële experimenten met 4.320 API-aanroepen over vier grote taalmodellen heen, toont deze studie aan dat institutionele prestige en publicatiekanaal significant sterkere discriminerende effecten uitoefenen op kandidaat-evaluaties dan de naam, etniciteit of geografische herkomst van de sollicitant, waarbij een "reddingseffect" aantoont dat publicaties met een hoge impact disproportioneel kunnen compenseren voor een lage institutionele prestige.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld is kunstmatige intelligentie stilletjes een poortwachter geworden. Deze computerprogramma's, bekend als grote taalmodellen, worden steeds vaker gevraagd om beslissingen te nemen die menselijke levens vormgeven. Ze helpen bepalen wie een baan krijgt, wie een onderzoeksbeurs ontvangt en wie in aanmerking komt voor een lening. Ze doen dit door aanvragen te lezen en scores toe te kennen, waarbij ze optreden als geautomatiseerde rechters. Jarenlang hebben wetenschappers zich zorgen gemaakt dat deze digitale rechters dezelfde vooroordelen kunnen dragen als de mensen die hen hebben gebouwd. We weten dat ze bevooroordeeld kunnen zijn tegen mensen op basis van hun namen, hun geslacht of hun ras. Maar een nieuwere, subtielere vraag is ontstaan: bevoordelen deze modellen kandidaten ook simpelweg vanwege de plek waar ze gestudeerd hebben? Dit gaat niet over de kwaliteit van het werk dat iemand heeft verricht, maar over de reputatie van de instelling op hun cv. Als een computerprogramma een hogere score geeft aan een wetenschapper van een beroemde universiteit dan aan een even gekwalificeerde wetenschapper van een minder beroemde universiteit, is het niet neutraal; het versterkt bestaande hiërarchieën.
Een team van onderzoekers zette zich schouder aan schouder om dit specifieke type vooroordeel te testen met behulp van vier verschillende kunstmatige intelligentiemodellen. Ze wilden weten of de modellen reageerden op het prestige van een universiteit of simpelweg op het land waar die universiteit gevestigd was. Om het antwoord te vinden, creëerden ze duizenden nep-sollicitaties en subsidieaanvragen. Ze hielden de vaardigheden en ervaring van de kandidaat in elk scenario exact hetzelfde. De enige dingen die ze veranderden, waren de naam van de universiteit waar de kandidaat had gestudeerd en, in sommige gevallen, de naam van het tijdschrift waar de kandidaat zijn werk had gepubliceerd. Ze testten kandidaten van topuniversiteiten uit de Verenigde Staten, van gerespecteerde instellingen in Chili en Colombia, en van een universiteit in Ecuador die niet op wereldwijde ranglijsten voorkomt. Ze varieerden ook de namen op de aanvragen door namen met een Anglo, Latino en Arabische oorsprong op te nemen om te zien of de modellen vasthielden aan oude stereotypen.
De resultaten waren duidelijk en statistisch robuust. De kunstmatige intelligentiemodellen gaven consequent hogere scores aan kandidaties van prestigieuze universiteiten. Deze kloof was geen kleine fluctuatie; het was een constante, meetbare trend. Over de verschillende modellen en professionele velden heen, ontving een kandidaat van een hooggeplaatste universiteit een score die bijna drie tienden van een punt hoger was dan die van een kandidaat van een niet-gerangschikte universiteit. In de wereld van geautomatiseerde beoordeling is dit verschil significant. Echter, toen de onderzoekers naar de namen op de aanvragen keken, veranderde het verhaal. De modellen vertoonden geen statistisch significante voorkeur voor kandidaten met een Anglo-naam boven die met een Latino- of Arabische naam. De scores voor deze verschillende groepen namen lagen zo dicht bij elkaar dat het verschil aan toeval kon worden toegeschreven. Dit suggereert dat hoewel de modellen succesvol zijn getraind om etnische namen te negeren, ze niet getraind zijn om de status van de school op een cv te negeren.
Om te begrijpen of dit vooroordeel kwam door de reputatie van de school of door het land waar de school lag, voerden de onderzoekers een tweede reeks experimenten uit. Ze vergeleken een hooggeplaatste universiteit in Mexico met een laaggeplaatste, niet-gerangschikte universiteit in de Verenigde Staten. Als de modellen simpelweg bevooroordeeld waren tegen ontwikkelingslanden, zouden ze de Amerikaanse school de voorkeur hebben gegeven. In plaats daarvan hadden de modellen de voorkeur voor de Mexicaanse universiteit, ook al was deze minder beroemd dan de top Amerikaanse scholen, maar wel beroemder dan de kleine Amerikaanse school. Dit bewees dat de modellen reageerden op het prestige van de instelling zelf, en niet alleen op de geografie. De bias ging over het merk van de universiteit, niet over het paspoort van de aanvrager.
De meest verrassende ontdekking kwam toen de onderzoekers een derde variabele introduceerden: het tijdschrift waarin de kandidaat zijn onderzoek had gepubliceerd. Ze vergeleken kandidaten die hadden gepubliceerd in het beroemdste wetenschappelijke tijdschrift ter wereld met kandidaten die hadden gepubliceerd in een kleiner, open-access tijdschrift. Het verschil in scores was enorm. Het prestige van het tijdschrift deed er veel meer toe dan het prestige van de universiteit. Een kandidaat van een minder beroemde universiteit die in het top-tijdschrift had gepubliceerd, kreeg een veel hogere score dan een kandidaat van een topuniversiteit die in het kleinere tijdschrift had gepubliceerd. Sterker nog, de boost van een beroemd tijdschrift was bijna zes keer sterker dan de boost van een beroemde universiteit. Dit creëerde een "reddingseffect", waarbij publiceren in een top-tijdschrift het gebrek aan institutioneel prestige volledig kon compenseren. De modellen leken een top-publicatie als een zo sterk signaal van kwaliteit te beschouwen dat het de bias tegen de school oversteeg.
De onderzoekers keken ook naar hoe consistent de modellen waren in hun beoordelingen. Ze ontdekten dat wanneer de modellen kandidaten van minder beroemde instellingen evalueerden, ze minder consistent waren. De ene keer gaf het model een lage score aan een kandidaat van een kleinere universiteit, en de volgende keer gaf het misschien een iets hogere score voor exact hetzelfde profiel. Deze inconsistentie kwam niet zo vaak voor bij kandidaten van topuniversiteiten. Dit suggereert dat de modellen minder zeker zijn over hoe ze mensen moeten beoordelen van instellingen die ze minder goed kennen, wat leidt tot een dubbel nadeel: lagere gemiddelde scores en onvoorspelbaardere evaluaties.
Uiteindelijk onthult deze studie dat hoewel kunstmatige intelligentie vooruitgang heeft geboekt in het vermijden van bepaalde vormen van discriminatie, het een diepgewortelde bias naar status heeft geërfd. De modellen fungeren als versterkers van bestaande sociale hiërarchieën, waarbij ze het bekende en het prestigieuze belonen en het onbekende bestraffen. Ze lijken zich niet zoveel zorgen te maken over het land van herkomst als over de merknaam van de school. De studie biedt echter ook een weg vooruit. Het laat zien dat hoogwaardig werk, wanneer het op de juiste plaatsen wordt gepubliceerd, deze barrières kan doorbreken. Voor onderzoekers van minder beroemde instellingen ligt de weg naar een eerlijke evaluatie door deze digitale rechters niet in het veranderen van hun namen of landen, maar in het onbetwistbare gewicht van hun gepubliceerde werk. De machines leren de waarde van het werk te waarderen, maar alleen wanneer het op het meest prestigieuze podium wordt gepresenteerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.