AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics
Dit onderzoek onthult dat op AI gebaseerde scoresystemen systematisch de conceptuele kennis van taalkundig zwakkere natuurkundestudenten onderschatten, een taalvooringenomenheid die menselijke expertentendenzen weerspiegelt en aanzienlijke risico's vormt voor meertalige leerlingen bij toetsen met hoge inzet.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Begrijpt deze leerling de werking van het universum werkelijk?" De enige aanwijzing die je hebt, is een handgeschreven briefje. Dit is de dagelijkse realiteit voor natuurkundeleraars. Ze kunnen niet in het brein van een leerling kijken om de draaiende tandwielen te zien; ze kunnen het begrip alleen beoordelen via de woorden die de leerling schrijft. Maar hier komt het lastige deel bij: schrijven is een vaardigheid op zich. Een leerling kan een briljant, solide begrip hebben van waarom geluid door een muur reist, maar er niet in slagen het uit te leggen omdat de zinnen onhandig zijn of de woordenschat beperkt is. Omgekeerd kan een leerling een prachtig gepolijst essay schrijven dat slim klinkt, maar in feite vol onzin zit. Decennialang hebben experts geweten dat menselijke leraren hier soms door in de war raken, waardoor ze per ongeluk lagere cijfers geven aan leerlingen die simpelweg niet zo goed zijn in schrijven, ook al begrijpen die leerlingen de natuurkunde wel.
En dan komt de nieuwe generatie detectives: Kunstmatige Intelligentie. Scholen beginnen AI te gebruiken om deze essays te beoordelen omdat het snel, consistent en niet moe wordt. Maar een grote vraag hangt boven de klas: is de AI beter in het onderscheiden van "slimme ideeën" van "slecht schrijven" dan een menselijke docent? Als de AI net zo gemakkelijk wordt misleid door slechte grammatica als een vermoeide leraar, dan bouwen we misschien een beoordelingssysteem dat leerlingen die nog bezig zijn met het leren van de taal van de wetenschap onrechtvaardig straft, waarbij we hun stilte of haperingen aanzien voor een gebrek aan intelligentie. Dit is het raadsel dat een team onderzoekers in Duitsland besloot op te lossen.
De onderzoekers zetten een grootschalig experiment op om te zien of AI het verschil kon zien tussen een leerling die geen natuurkunde begrijpt en een leerling die natuurkunde begrijpt maar slecht schrijft. Ze verzamelden 116 essays van negende-klas leerlingen in Duitsland. De leerlingen kregen de opdracht om een scenario van een ruimtewandeling uit te leggen: Waarom kunnen astronauten elkaars geschreeuw in het vacuüm van de ruimte niet horen, maar kunnen ze elkaar wel horen als ze hun helmen tegen elkaar drukken?
Eerst beoordeelden menselijke experts deze essays twee keer. Eén keer gaven ze een score voor "Conceptueel Begrip" (Begrepen ze de natuurkunde correct?). Afzonderlijk daarvan gaven ze een score voor "Linguïstische Kwaliteit" (Was het Duits qua grammatica en vocabulaire goed?). Dit creëerde een perfecte controlegroep waarbij de "slimheid" en de "schrijfvaardigheid" onafhankelijk van elkaar werden gemeten.
Daarna voerden ze deze essays in bij negen verschillende AI-"hersenen". Sommigen waren traditionele machine learning-modellen (de ouderwetse AI die leert door duizenden beoordeelde papers te lezen), en andere waren Large Language Models (de hippe nieuwe AI zoals die achter chatbots die kunnen redeneren en instructies kunnen opvolgen). De taak van de AI was simpel: kijk naar het essay en raad de score voor "Conceptueel Begrip".
De resultaten waren een beetje een waarschuwing. De AI was over het algemeen goed in haar werk en stemde in 67% tot 78% van de gevallen overeen met de menselijke experts. Echter, toen de onderzoekers nauwkeuriger keken naar de fouten, kwam er een duidelijk patroon naar voren. De AI had een systematische blinde vlek. Wanneer een leerling een uitleg schreef met een lagere linguïstische kwaliteit (onhandige zinnen, eenvoudiger woorden), was de AI aanzienlijk eerder geneigd hun begrip te onderschatten. Met andere woorden: de AI keek naar een leerling met een geweldig idee maar rommelig schrift en dacht: "Deze leerling begrijpt de natuurkunde niet," en gaf hen een lagere score dan de menselijke expert deed.
Interessant genoeg gebeurde het tegenovergestelde minder vaak. Als een leerling prachtig schreef maar zwakke natuurkundige ideeën had, overschatte de AI hun score niet consistent. De bias was specif een straf voor slecht schrijven. Dit gebeurde breed geaccepteerd, of het nu ging om een traditioneel machine learning-model of een geavanceerd Large Language Model. Het maakte niet uit welke "hersenen" ze gebruikten; ze leken allemaal moeite te hebben met het voorbijzien van de rommelige woorden om de slimme ideeën te vinden.
De onderzoekers ontdekten dat voor elke stap omlaag in schrijfkwaliteit de kans dat de AI het natuurkundige begrip van de leerling onderschatte, met ongeveer 1,3 tot bijna 4 keer toenam. Dit suggereert dat het probleem niet slechts een glitch is in één specifieke type AI-code. In plaats daarvan lijkt het een fundamentele moeilijkheid van de taak zelf te zijn. Omdat we de gedachten van een leerling alleen kunnen zien via hun taal, is het ontzettend moeilijk — zelfs voor een superintelligente computer — om te bepalen of de taal slecht is omdat de ideeën slecht zijn, of dat de taal slecht is simpelweg omdat de schrijver nog aan het leren is zichzelf uit te drukken.
De studie concludeert dat hoewel AI een krachtig hulpmiddel is, het momenteel dezelfde "taalbias" draagt waar menselijke docenten al jaren mee worstelen. Het heeft de neiging om een gebrek aan vocabulaire te verwarren met een gebrek aan begrip. Dit is een serieuze zorg, vooral voor leerlingen die natuurkunde leren in een taal die niet hun moedertaal is. Als scholen deze AI-systemen gaan gebruiken voor belangrijke beslissingen (zoals eindexamencijfers) zonder deze bias aan te pakken, riskeren ze het systematisch benadelen van meertalige leerlingen, waarbij ze hun strijd met woorden aanzien voor een strijd met de wetenschap. Het artikel suggereert dat totdat we AI kunnen bouwen die echt robuust is tegen deze linguïstische verschillen, we zeer voorzichtig moeten zijn met het gebruik ervan, bijvoorbeeld door het als een helper te gebruiken in plaats van als een definitieve rechter.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.