Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
Deze studie onthult dat hoewel huidige generatieve AI-modellen een hoge interne stabiliteit vertonen, ze een lagere overeenstemming met menselijke beoordelaars, systematische ernstbiases en een gebrek aan toepassing van specifieke rubricregels vertonen vergeleken met menselijke dubbele beoordeling, wat suggereert dat ze het best geschikt zijn voor gesuperviseerde, door discrepanties getriggerde ondersteuning in plaats van autonome vervanging bij consequentiële EFL-schrijfevaluatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hogere inzet van de taalverwerving kan een enkele essay bepalen of een student doorstroomt naar de universiteit of vast blijft zitten in een voorbereidende klas. Decennialang hebben onderwijzers vertrouwd op menselijke docenten om deze essays te lezen en cijfers toe te kennen op basis van complexe rubrieken die alles meten, van grammatica tot de logische flow van een argument. Onlangs heeft een nieuwe uitdager het toneel betreden: kunstmatige intelligentie. Large language models, dezelfde krachtige computerprogramma's die verhalen kunnen schrijven of vragen kunnen beantwoorden, worden steeds vaker voorgesteld als geautomatiseerde beoordelaars. De belofte is verleidelijk: machines zijn snel, onvermoeibaar en consistent. Maar in de wereld van het onderwijs is snelheid niet genoeg. Een beoordelingssysteem moet meer doen dan een plausibel gemiddelde score produceren; het moet het eens zijn met menselijke experts over de specifieke details van het werk van elke individuele student, de regels eerlijk toepassen en herkennen wanneer een student iets heeft geschreven dat simpelweg niet thuishoort bij het examen. De vraag is niet langer of een machine een getal kan genereren, maar of dat getal erop kan worden vertrouwd om levensveranderende beslissingen te nemen voor leerlingen.
Een onderzoeker zette zich in om dit vertrouwen in een echte setting te testen, waarbij verder werd gekeken dan eenvoudige vergelijkingen van gemiddelde scores om te zien hoe goed machines en mensen daadwerkelijk overeenstemmen bij individuele papers. Zij verzamelden tweeënzeventig handgeschreven essays van studenten in Turkije die een vaardigheidsexamen aflegden om hun gereedheid voor een studie te bepalen. Deze studenten hadden opiniestukken geschreven over onderwerpen variërend van de waarde van hard werken tot de balans tussen vrienden en bezit. De onderzoeker onderwierp deze papers vervolgens aan een rigoureuze, end-to-end evaluatie. Eerst beoordeelden zes ervaren docenten elk essay tweemaal, gebruikmakend van een vijfdelige rubriek die taakbeheersing, organisatie, woordenschat, grammatica en coherentie scoorde. Daarna lazen drie verschillende kunstmatige intelligentiemodellen — specifiek versies van Claude, GPT en Gemini — de gescande afbeeldingen van dezelfde handgeschreven essays en beoordeelden deze met exact dezelfde instructies. Cruciaal was dat de machines geen speciale training hadden ontvangen voor deze specifieke essays; ze moesten de regels ter plekke toepassen, net zoals een nieuwe menselijke docent dat zou doen.
De resultaten onthulden een landschap dat veel complexer is dan de hoop op een perfecte, geautomatiseerde vervanging voor menselijk oordeel. Hoewel de kunstmatige intelligentiemodellen opmerkelijk consistent waren met zichzelf — wat betekent dat als je hetzelfde model tweemaal om hetzelfde essay vraagt te beoordelen, het bijna altijd exact dezelfde score geeft — hadden ze moeite om overeen te stemmen met de menselijke docenten. De overeenkomst tussen de twee menselijke beoordelaars was sterk, maar wanneer de machines werden vergeleken met het menselijke gemiddelde, was de verbinding aanzienlijk zwakker. Elk model had de neiging strenger te zijn dan het menselijke panel, waarbij zij over de hele linie lagere scores toekenden. Deze strengheid was geen vaststaand bedrag; de machines bestraften sterkere essays zwaarder dan zwakkere essays, wat betekent dat een eenvoudige wiskundige aanpassing de kloof niet kon dichten. Eén model in het bijzonder was bijna perfect in het herhalen van zijn eigen beslissingen, maar was de strengste van allemaal, wat aantoont dat consistentie niet automatisch gelijkstaat aan eerlijkheid of nauwkeurigheid.
De studie bracht ook aan het licht hoe deze modellen omgingen met de specifieke regels van het examen, met name met betrekking tot essays die volledig buiten het onderwerp vielen. De rubriek stelde duidelijk dat als een student over het verkeerde onderwerp schreef, zij een score van nul op elke dimensie zouden moeten krijgen. De menselijke docenten volgden deze regel zonder uitzondering. De machines deden dat echter niet. Zelfs wanneer ze werden geconfronteerd met essays die niets met de opdracht te maken hadden, kregen ze nog steeds gedeeltelijke scores, waarbij de machines er niet in slaagden te herkennen dat de inhoud niet in aanmerking kwam voor beoordeling. Dit was een kritieke operationele fout, die liet zien dat machines zonder menselijk toezicht niet het onderscheid konden maken tussen een slecht antwoord en een irrelevant antwoord. Bovendien, wanneer de onderzoeker naar de specifieke kenmerken van het schrijven keek, zoals woordenschat of grammatica, faalden de modellen vaak in het zien van de verschillen tussen deze categorieën, waarbij ze ze behandelden als een vage massa in plaats van als afzonderlijke vaardigheden.
Uiteindelijk suggereert het onderzoek dat deze kunstmatige intelligentietools niet klaar zijn om menselijke beoordelaars te vervangen in examens met een hoge inzet waarbij de toekomst van een student op het spel staat. De machines zijn niet kapot, maar ze zijn nog niet betrouwbaar genoeg om zelfstandig te staan. Ze functioneren het best niet als onafhankelijke rechters, maar als assistenten die discrepanties signaleren of een tweede mening bieden voor een mens om te beoordelen. De studie concludeert dat voor AI om nuttig te zijn in het onderwijs, het deel moet uitmaken van een gesuperviseerde workflow waarbij mensen de controle behouden, het werk van de machine controleren, de regels handhaven en het laatste woord hebben. De technologie biedt een krachtige manier om de reikwijdte van onderwijzers te vergroten, maar kan de genuanceerde beoordeling die nodig is om te garanderen dat elke student eerlijk en nauwkeurig wordt beoordeeld, nog niet vervangen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.