Bias Taught: Linguistic and Model Stereotypes in AI-Based Educational Evaluations
Deze studie onthult dat grote taalmodellen systematische linguïstische en culturele vooroordelen vertonen in educatieve evaluaties, waarbij ze beoordelingen genereren met variërende moeilijkheidsgraad en lengte over verschillende talen die correleren met PISA-scores, terwijl ze stereotypen versterken die de nadruk leggen op empathie in westerse contexten versus hiërarchie in Aziatische contexten, hetgeen cultuurondersteunende audits noodzakelijk maakt vóór implementatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne klaslokaal vindt een stille revolutie plaats. Leraren en studenten wenden zich steeds vaker tot kunstmatige intelligentie, specifiek grote taalmodellen, om te helpen bij het ontwerpen van toetsen, het nakijken van werk en het geven van feedback. Deze computerprogramma's zijn getraind op enorme hoeveelheden tekst van het internet, waarbij ze leren voorspellen welke woorden als volgende in een zin horen te komen. Omdat ze zo goed zijn in het nabootsen van menselijke teksten, beginnen scholen hen te gebruiken om educatief materiaal te creëren voor studenten over de hele wereld. Er is echter een groeiende bezorgdheid dat deze hulpmiddelen niet zo neutraal zijn als ze lijken. Net zoals een persoon onbewuste overtuigingen kan hebben over hoe verschillende groepen mensen leren, kunnen deze computerprogramma's vergelijkbare vooroordelen hebben geabsorbeerd uit de data waarmee ze zijn gevoed. Als een AI-systeem een student anders behandelt simpelweg omdat diegene een vraag in een andere taal stelde, zou dit een onrechtvaardige leeromgeving kunnen creëren die oude stereotypen versterkt in plaats van studenten te helpen slagen.
Een team onderzoekers van Bowdoin College besloot te testen of deze digitale hulpmiddelen werkelijk onpartijdig waren. Ze wilden zien of de taal die een student gebruikte om hulp te vragen, de moeilijkheidsgraad van het werk zou veranderen dat de computer toewees. Hiervoor vroegen ze vier van de meest populaire AI-modellen om wiskunde-, lees- en wetenschapstoetsen te maken voor vijftienjarige studenten. Ze gaven exact dezelfde instructies aan elke computer, maar ze vertaalden die instructies naar acht verschillende talen: Arabisch, Engels, Frans, Duits, Hindi, Mandarijn, Portugees en Spaans. In totaal verzamelden de onderzoekers meer dan vierduizend reacties van de machines. Vervolgens analyseerden ze de lengte van de toetsen, hoe moeilijk de modellen de toetsen vonden, en wat voor gedrag de modellen zagen als kenmerkend voor een "goede" of "slechte" student en docent.
De resultaten onthulden een opvallend patroon. Wanneer de onderzoekers de AI vroegen om een toets in het Hindi of Mandarijn te maken, genereerde de computer consequent veel langere en moeilijkere opdrachten dan wanneer er om hetzelfde werd gevraagd in het Arabisch, Duits of Spaans. Bijvoorbeeld, één model schatte dat een wiskundetoets geschreven in het Mandarijn een student twee uur zou kosten om te voltooien, terwijl een toets in het Spaans minder dan een uur zou duren, ook al waren de instructies identiek. De modellen beoordeelden de moeilijkheidsgraad van de Hindi- en Mandarijn-toetsen ook aanzienlijk hoger. Dit was geen willekeurige fout; de verschillen waren zo consistent dat ze zichtbaar waren bij alle vier de verschillende AI-systemen die de onderzoekers testten. De studie toonde aan dat de moeilijkheidsgraad en de lengte van de door AI gegenereerde toetsen sterk overeenkwamen met de internationale ranglijsten van studentenprestaties. Met andere woorden, de computers leken te geloven dat studenten uit landen met hoge testscores zwaardere arbeid verdienden, terwijl studenten uit landen met lagere scores gemakkelere arbeid verdienden, ongeacht de werkelijke student die voor het scherm zat.
Naast het enkel maken van toetsen, vroegen de onderzoekers de AI ook om te beschrijven hoe een "goede" docent of student eruitziet. Ook hier veranderde de gebruikte taal het antwoord. Wanneer de prompt in het Engels, Duits of Portugees was, neigde de AI ernaar goede docenten te beschrijven als empathisch, geduldig en gericht op het opbouwen van relaties met studenten. Echter, wanneer de prompt in het Hindi of Mandarijn was, beschreef de AI goede docenten als streng, gedisciplineerd en gericht op kennis en hiërarchie. Op dezelfde manier beschreven de modellen "slechte" studenten verschillend afhankelijk van de taal. In sommige talen richtte de AI zich op een gebrek aan discipline of uitstelgedrag, terwijl het in andere talen zich richtte op een gebrek aan respect of algemeen wangedrag. Deze verschillen suggereren dat de AI niet alleen woorden vertaalt, maar put uit een database van culturele stereotypen over hoe onderwijs in verschillende delen van de wereld werkt.
De onderzoekers waren zorgvuldig om te controleren of deze verschillen simpelweg voortkwamen uit het feit dat verschillende landen verschillende curricula hebben. Ze raadpleegden een groep onderwijzers van over de hele wereld om te zien of de AI simpelweg nationale standaarden volgde. Ze ontdekten dat verschillen in curriculum slechts een klein deel van de resultaten konden verklaren. Het overgrote deel van de variatie kwam van de AI zelf. De studie suggereert dat deze computerprogramma's hebben geleerd bepaalde talen te associëren met specifieke academische verwachtingen, waardoor ze effectief fungeren als spiegels voor mondiale ongelijkheden. Als een student in een niet-Westers land een AI-tutor gebruikt, krijgt deze misschien een veel zwaardere werklast of een ander soort feedback dan een student in een Westers land, simpelweg vanwege de taal die zij spreken.
Dit onderzoek benadrukt een cruciaal probleem voor de toekomst van het onderwijs. Naarmate scholen meer vertrouwen op kunstmatige intelligentie voor het ontwerpen van lessen en het evalueren van studenten, bestaat het risico dat deze hulpmiddelen stilletjes schadelijke stereotypen versterken. De AI maakt deze oordelen niet omdat het de studenten begrijpt; het herhaalt patronen die het in zijn trainingsdata heeft gevonden. De studie concludeert dat voordat deze hulpmiddelen breed worden ingezet in klaslokalen, ze gecontroleerd moeten worden om te waarborgen dat ze studenten niet ongelijk behandelen op basis van hun taal. Zonder deze controle zou de belofte van gepersonaliseerd, mondiaal onderwijs in plaats daarvan een systeem kunnen worden dat de kloof tussen studenten verdiept, waarbij hen wordt geleerd dat hun potentieel wordt bepaald door de taal die ze spreken in plaats van door hun eigen vermogens.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.