Beyond Automated Scoring: An Evidence-Informed Human–GenAI Complementarity Framework for Formative Writing Assessment
Deze studie maakt gebruik van een mixed-methods ontwerp om aan te tonen dat hoewel generatieve AI en menselijke docenten een beperkte overeenstemming in beoordeling vertonen, zij in de meeste score-dimensies praktische equivalentie bereiken en verschillende feedbackkenmerken bieden, wat leidt tot de ontwikkeling van een kader dat GenAI positioneert als een aanvullende ondersteuning voor in plaats van een vervanging van het oordeel van de docent bij formatieve schrijfbeoordeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In klaslokalen over de hele wereld is het doceren van schrijven een diep menselijke inspanning. Het rust op een docent die het werk van een student leest, de strijd achter de woorden begrijpt en begeleiding biedt die de schrijver helpt groeien. Dit proces, bekend als formatieve beoordeling, gaat niet over het toekennen van een definitief cijfer, maar over het geven van feedback die de volgende versie vormgeeft. Decennialang hebben onderwijzers gezocht naar manieren om deze feedback tijdiger en consistenter te maken, vooral naarmate de klassengroottes zijn gegroeid. Onlangs is er een nieuw instrument het gesprek binnengekomen: generatieve kunstmatige intelligentie. Dit zijn computersystemen die in staat zijn tekst te lezen en mensachtige reacties te genereren, inclusen kritieken en suggesties. De centrale vraag voor onderwijzers is niet geweest of deze machines kunnen lezen, maar of ze kunnen onderwijzen. Kan een computer dezelfde soort nuttige, leergerichte feedback geven als een bekwame docent, of is er een fundamenteel verschil in hoe zij het werk van een student zien?
Een team van onderzoekers zette een stap om dit te beantwoorden door menselijke docenten en drie verschillende kunstmatige intelligentiesystemen op de proef te stellen. Ze verzamelden honderd essays geschreven door universiteitsstudenten die Engels leerden als tweede taal. Deze essays besloegen een breed scala aan vaardigheidsniveaus en werden vervolgens onafhankelijk geëvalueerd door drie ervaren docenten en drie verschillende AI-systemen. Het doel was niet simpelweg om te zien of de machines de scores van de docenten konden evenaren, maar om te begrijpen hoe de geproduceerde feedback vergeleken kon worden in inhoud en stijl. De onderzoekers gebruikten een standaard beoordelingsgids die keek naar vier specifieke gebieden: de inhoud van het schrijven, de organisatie van de ideeën, het taalgebruik en de mechanische details zoals spelling en interpunctie.
De resultaten onthulden een verrassende complexiteit. Wanneer de drie docenten de essays onderling beoordeelden, stemden ze nauw met elkaar overeen, wat een hoog niveau van consistentie aantoonde. De drie AI-systemen stemden ook bijna even goed met elkaar overeen. Echter, wanneer de onderzoekers de docenten rechtstreeks met de AI-systemen vergeleken, daalde de overeenstemming aanzienlijk. De scores gegeven door de mensen en de machines kwamen vaak niet overeen, zelfs niet toen een van beide groepen statistisch gezien niet "fout" was op een manier die op een totaal falen wees. Sterker nog, voor de meeste categorieën van het schrijven waren de verschillen in scores klein genoeg om als praktisch equivalent te worden beschouwd, wat betekent dat de machines niet extreem uit koers waren. Maar voor de inhoud van de essays week de AI meer merkbaar af van de docenten, waarbij de machines de substantie van het schrijven vaak anders beoordeelden dan de mensen dat deden.
Het echte verhaal kwam echter niet voort uit de cijfers, maar uit de woorden die de docenten en de machines in hun feedback schreven. De menselijke docenten concentreerden zich intensief op specifieke fouten. Hun commentaren waren direct en corrigerend; ze wezen precies aan waar een zin grammaticaal onjuist was, waar een alinea een duidelijk onderwerp miste, of waar een specif specific woord verkeerd gespeld was. Ze traden op als een coach die een fout in de vorm van een speler opspoort, door een precieze oplossing aan te bieden. De AI-systemen namen daarentegen een veel bredere aanpak. Zij hadden de neiging om alle vier de gebieden van het schrijven in één enkele reactie te behandelen, waarbij ze vaak complimenten afwisselden met kritiek. Een AI zou een student kunnen vertellen dat hun ideeën sterk en goed georganiseerd zijn, voordat het voorzichtig opmerkt dat de grammatica verbetering behoeft. Ze wierpen een breed net van observaties uit in plaats van een gerichte aanval op specifieke fouten.
Dit verschil in aanpak leidde de onderzoekers ertoe een nieuwe manier van denken over hoe deze hulpmiddelen gebruikt zouden moeten worden voor te stellen. De studie suggereert dat kunstmatige intelligentie niet moet worden gezien als een vervanging voor de docent, noch als een machine die getraind moet worden om exact als een mens te denken. In plaats daarvan bieden de twee verschillende sterktes die het beste werken wanneer ze gecombineerd worden. De AI kan fungeren als een onvermoeibare eerste lezer, die onmiddellijke, uitgebreide feedback geeft die elk aspect van het schrijven dekt en ervoor zorgt dat geen enkele student hoeft te wachten op een reactie. De docent fungeert vervolgens als de deskundige redacteur, die die brede feedback beoordeelt, de belangrijkste kwesties voor de specifieke student prioriteert en de diepe, contextuele begeleiding biedt die alleen een mens kan bieden.
De onderzoekers noemen dit een door bewijs ondersteund kader voor complementariteit. Het erkent dat hoewel de machines uitstekend zijn in het scannen naar patronen en het genereren van consistente, multidimensionale feedback, ze het pedagogische oordeel missen om te weten welke feedback daadwerkelijk zal helpen voor een specifieke leerling op een specifiek moment. De menselijke docent brengt de ervaring mee om te beslissen wat het belangrijkst is. De studie concludeert dat de toekomst van de beoordeling van het schrijven niet ligt in het kiezen tussen de mens en de machine, maar in het coördineren van hen. Door de AI de breedte van de initiële beoordeling te laten afhandelen en de docent de diepgang van de instructie, kunnen scholen een systeem creëren waarin studenten zowel de snelheid van technologie als de wijsheid van menselijke expertise ontvangen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.