When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

In de wereld van het leren van een tweede taal vertrouwen docenten en onderzoekers al lang op een drieledig kader om te begrijpen hoe goed een student schrijft. Ze kijken naar complexiteit, wat de mate is waarin zinsstructuren ingewikkeld en gevarieerd zijn; nauwkeurigheid, wat meet hoe vrij het geschreven werk is van grammaticale fouten; en vloeiendheid, wat telt hoeveel woorden een student produceert in een enkele eenheid van gedachte. Decennialang vereiste het meten van deze eigenschappen dat een menselijke expert elke zin las, elke clausule telde en elke fout markeerde, een proces dat traag, duur en moeilijk consistent te herhalen was. Nu biedt kunstmatige intelligentie een nieuwe mogelijkheid. Grote taalmodellen, dezelfde krachtige computersystemen die essays kunnen schrijven of vragen kunnen beantwoorden, kunnen ook worden gevraagd om deze taalkundige kenmerken direct te tellen. Maar een kritische vraag blijft over: alleen omdat een computer het met een mens eens is over de algemene rangschikking van essays, produceert het dan ook daadwerkelijk dezelfde getallen? Als een docent deze getallen gebruikt om de voortgang van een student in de loop van de tijd te volgen, kan een kleine, consistente fout in de telling van de computer leiden tot een volkomen verkeerde conclusie over of de student verbetert of moeite heeft.

Een team van onderzoekers aan de Universiteit van Maragheh in Iran zette zich in om deze vraag te beantwoorden door zes verschillende publieke kunstmatige intelligentiesystemen te testen tegenover menselijke experts. Ze verzamelden 90 argumentatieve essays geschreven door 45 universiteitsstudenten, waarbij elke student twee essays schreef over hetzelfde onderwerp over sociale media, gescheiden door twee weken. De menselijke experts lazen eerst elk essay en kwamen tot overeenstemming over een enkele set getallen voor complexiteit, nauwkeurigheid en vloeiendheid op basis van strikte regels. Vervolgens voerden de onderzoekers exact dezelfde essays in bij zes verschillende AI-modellen, waaronder bekende systemen zoals ChatGPT, Gemini en anderen, waarbij ze de modellen vroegen om dezelfde strikte regels toe te passen en de tellingen terug te geven. Het doel was niet om te zien of de AI een goed essay kon schrijven, maar om te zien of het als een precies meetinstrument kon fungeren, waarbij het de exacte waarden repliceert die een mens zou berekenen.

De resultaten onthulden een verrassende kloof tussen wat de AI en de mensen met elkaar eens waren en wat ze daadwerkelijk maten. Elk AI-model vertoonde een sterke verbinding met de menselijke scores; wanneer een mens een essay als zijnde hoog in complexiteit beoordeelde, beoordeelde de AI het ook als hoog. Dit betekent dat de computers goed waren in het begrijpen van de relatieve volgorde van de essays. Echter, wanneer de onderzoekers naar de werkelijke getallen keken, zaten de computers er vaak op een specifieke manier naast. Voor de maatstaf van complexiteit, die inhoudt hoeveel clausules er in een zin zijn gepakt, onderschatten vijf van de zes modellen consequent de waarde. Ze zagen minder complexe structuren dan de mensen dat deden. Dit was geen willekeurige fout, maar een systematische bias waarbij de modellen de ingewikkelde delen van het studentenschrijven leken te missen. In contrast hiermee waren de modellen veel beter in het meten van nauwkeurigheid. Ze konden betrouwbaar identificeren of een zin een grammaticale fout bevatte of niet, en hun getallen lagen veel dichter bij de menselijke tellingen.

De studie onderzocht ook hoe goed de modellen veranderingen in het schrijven van een student in de loop van de tijd konden detecteren. Omdat de studenten twee essays schreven, konden de onderzoekers zien of de AI dezelfde verschuivingen in prestaties opmerkte als de mensen deden. De menselijke experts vonden dat de studenten in het tweede essay schreven met aanzienlijk minder grammaticale fouten, maar kortere, minder complexe zinnen produceerden. De AI-modellen kopieerden dit patroon succesvol voor nauwkeurigheid en vloeiendheid, waarbij ze correct identificeerden dat de studenten minder fouten maakten en minder woorden per zin schreven. Echter, wat betreft complexiteit, waren de modellen inconsistent. Sommigen merkten de daling in complexiteit geheel niet op, terwijl anderen een verandering zagen die te klein was. Dit suggereert dat hoewel een AI nuttig kan zijn voor het spotten van algemene trends in een grote groep studenten, het nog niet vertrouwd kan worden om de exacte getallen te leveren die nodig zijn voor een gedetailleerde analyse van zinsstructuur zonder menselijk toezicht.

Onder de zes geteste systemen presteerde één model genaamd DeepSeek het beste in totaal, waarbij het de nauwkeurigheid over alle drie de categorieën beter balanceerde dan de anderen. Een ander model, ChatGPT, was bijzonder sterk in het meten van nauwkeurigheid. Toch benadrukten de onderzoekers dat geen enkel model perfect was voor elke taak. De prestaties van de AI hingen sterk af van wat er precies werd gemeten. Een model dat uitstekend is in het tellen van fouten, kan slecht zijn in het tellen van zinsstructuren. Deze bevinding daagt het idee uit dat een hoge correlatie tussen menselijke en machinale scores betekent dat de twee uitwisselbaar zijn. Het suggereert dat het gebruik van kunstmatige intelligentie voor taalbeoordeling een zorgvuldige, specifieke aanpak vereist waarbij het instrument wordt gevalideerd voor de specifieke taak waarvoor het wordt gevraagd, in plaats van ervan uit te gaan dat het even goed werkt voor alles.

Uiteindelijk concludeert de studie dat deze krachtige computersystemen waardevolle assistenten zijn, maar geen vervanging voor menselijk oordeel in dit specifieke veld. Ze kunnen grote hoeveelheden tekst snel scannen om algemene patronen te vinden of essays te markeren die nauwere inspectie nodig hebben. Echter, voor precieze metingen, vooral met betrekking tot de complexiteit van zinsstructuren, moeten de getallen die zij produceren nog steeds worden gecontroleerd tegenover menselijke standaarden. Het onderzoek benadrukt dat in het streven naar geautomatiseerde taalanalyse het verschil tussen in dezelfde richting bewegen en op hetzelfde getal uitkomen een cruciaal onderscheid is dat onderzoekers en docenten in gedachten moeten houden.