Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation
Deze studie toont aan dat grote taalmodellen bij het automatisch annoteren van teksten systematisch raciale stereotypen reproduceren, waarbij namen en dialecten van minderheidsgroepen leiden tot onrechtvaardige beoordelingen van agressie, intelligentie en professionaliteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme bibliotheek hebt vol met duizenden teksten, en je wilt ze allemaal snel en eerlijk beoordelen: wie is slim? Wie is een goede leider? Wie is te huren? In plaats van dat duizenden mensen dit doen, gebruiken we nu slimme computers (zogenaamde "Large Language Models" of LLM's) die als digitale bibliothecarissen werken. Ze lezen de tekst en geven direct een oordeel.
Maar deze nieuwe studie van Petter Törnberg laat zien dat deze digitale bibliothecarissen geen neutrale kijkers zijn. Ze dragen onbewust de vooroordelen van de wereld mee, net als een mens die opgegroeid is met bepaalde stereotypen.
Hier is wat ze hebben ontdekt, vertaald in alledaags taal:
1. De "Naam-Test": Wie is wie?
De onderzoekers gaven dezelfde tekst aan 19 verschillende AI-modellen, maar veranderden één ding: de naam van de persoon in de tekst.
- Zwarte namen: Als de tekst een naam had die typisch Zwamer klinkt, zagen de AI's de persoon direct als agressiever en kletsachtiger. Alsof de computer denkt: "Oh, die naam, dan is het wel een ruziemaker."
- Aziatische namen: Hier gebeurde er iets interessants, een fenomeen dat de "bamboe-plafond" wordt genoemd. De AI's dachten: "Die persoon is slim en creatief!" (een compliment), maar dachten tegelijkertijd: "Maar hij is niet zelfverzekerd, niet sociaal en geen echte leider." Alsof ze denken: "Goed voor het kantoor, maar niet voor de top."
- Arabische namen: De AI's dachten: "Die persoon is slim en ambitieus, maar ook emotioneel en niet goed in communiceren."
- Spaanse namen: De AI's dachten: "Die persoon is slim, maar waarschijnlijk arm."
Het verrassende puntje: Bij de vraag "Is deze persoon aan te nemen?" (hiring) deden de AI's het tegenovergestelde van wat mensen vaak doen. Ze gaven mensen met minderheidsnamen juist meer kans. Dit komt waarschijnlijk omdat de makers van de AI's specifiek hebben geprobeerd racisme bij namen te voorkomen, maar ze hebben het niet goed genoeg aangepakt voor de andere oordelen (zoals karakter of zelfdiscipline).
2. De "Taal-Test": Het dialect-dilemma
Vervolgens deden ze een nog strengere test. Ze namen exact dezelfde zin en schreven deze twee keer:
- In standaard Amerikaans Engels (SAE).
- In Afro-Amerikaans Vernaculair Engels (AAVE), de taal die veel Afro-Amerikanen spreken.
De inhoud was 100% hetzelfde, alleen de manier van spreken verschilde.
Het resultaat was schokkend: Alle 19 AI-modellen oordeelden dat de tekst in AAVE:
- Minder professioneel was.
- Minder opgeleid klonk.
- Bozer en giftiger klonk.
Het is alsof je een briefje leest dat in het Nederlands is geschreven, en als je het in het Brabants of Antwerps dialect leest, denkt de computer ineens dat de schrijver een boze, onopgeleide crimineel is. De AI's zien de taal niet als een geldige manier van spreken, maar als een teken van slechte kwaliteit.
3. De "Zelfdiscipline"-straf
Er was één ding waar alle minderheidsgroepen op werden gestraft, ongeacht hun naam of taal: Zelfdiscipline. Of het nu een Aziatische, Arabische, Zwarte of Spaanse naam was; de AI's vonden ze allemaal minder zelfdisciplinair dan een persoon met een westerse naam.
Wat betekent dit voor ons?
Stel je voor dat je een spiegel gebruikt om je gezicht te zien. Als die spiegel scheef is, zie je jezelf niet zoals je bent, maar zoals de spiegel je wil laten zien. Deze AI's zijn die scheve spiegels.
- Het probleem: We gebruiken deze AI's steeds vaker om beslissingen te nemen in onderzoek, bij het selecteren van sollicitanten of om te bepalen of een bericht "giftig" is. Als de AI's deze vooroordelen inbouwen, versterken we onbewust de ongelijkheid in de maatschappij.
- De valkuil: De onderzoekers zeggen: "We denken dat we het racisme eruit hebben gehaald door de namen te controleren, maar we hebben de diepere vooroordelen (zoals over dialect en karakter) niet aangepakt."
Kortom: Deze slimme computers zijn niet zo slim als we denken als het gaat om eerlijkheid. Ze hebben de vooroordelen van hun trainers (de data waarop ze zijn getraind) in zich opgeslagen. Als we ze blindelings gebruiken als rechters of beoordelaars, kunnen we per ongeluk een wereld creëren waarin mensen op basis van hun naam of dialect onterecht worden afgewezen of beoordeeld.
De boodschap is duidelijk: Gebruik deze AI's met een korreltje zout. Ze zijn handige hulpmiddelen, maar ze zijn geen neutrale waarnemers. Ze zien de wereld door een gekleurd glas dat we zelf moeten schoonmaken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.