Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

In de wereld van het taalonderwijs is het schrijven van een academisch essay een complexe handeling. Het gaat niet enkel om het correct spellen van woorden of het rangschikken van zinnen zonder grammaticale fouten. Om te slagen, moet een student ook sterke ideeën ontwikkelen, die ideeën vloeiend met elkaar verbinden zodat de tekst logisch doorloopt, en een toon aannemen die past bij de serieuze, objectieve verwachtingen van het wetenschappelijke debat. Decennialang hebben docenten geprobeerd deze essays eerlijk en consistent te beoordelen. Menselijk oordeel is waardevol, maar het is ook traag, duur en gevoelig voor vermoeidheid, wat kan leiden tot verschillende scores van verschillende docenten voor hetzelfde werk. Dit heeft gezorgd voor een vraag naar computers die schrijven automatisch kunnen lezen en beoordelen.

Onlangs zijn krachtige kunstmatige intelligentiesystemen, bekend als large language models, opgekomen. Dit zijn dezelfde soorten technologieën die gesprekken kunnen voeren, verhalen kunnen schrijven of vragen kunnen beantwoorden. Omdat ze de menselijke taal zo goed begrijpen, vroegen onderzoekers zich af of ze ook als eerlijke en nauwkeurige leraren zouden kunnen fungeren, door essays van studenten te beoordelen zoals een mens dat zou doen. De hoop was dat deze machines duizenden studenten tegelijkertijd directe feedback konden geven. Er bleef echter een kritische vraag onbeantwoord: begrijpen deze machines werkelijk wat goed schrijven maakt, of raden ze slechts getallen die toevallig kloppen? Om dit uit te zoeken, zette een onderzoeker genaamd Pegah Merrikhi drie van de meest geavanceerde AI-systemen van dit moment af tegen de gouden standaard van het menselijk oordeel.

De studie richtte zich op een specifiek kader genaamd LICA, dat de kwaliteit van een essay onderverdeelt in vier afzonderlijke onderdelen. Het eerste deel is Taal (Language), dat kijkt naar grammatica en vocabulaire. Het tweede is Ideeën (Ideas), dat meet hoe diepgaand en goed onderbouwd de argumenten zijn. Het derde is Cohesie (Cohesion), dat controleert hoe goed de zinnen en alinea's aan elkaar plakken. Het laatste deel is Academische Gepastheid (Academic Appropriateness), dat beoordeelt of het schrijven klinkt als een serieuze geleerde die spreekt, in plaats van een informeel gesprek. De onderzoeker nam vijf essays die geschreven waren door tweede taal-leerlingen en vroeg drie verschillende AI-systemen — GPT-4o, Claude 3.5 Sonnet en Gemini 1.5 Pro — om elk essay op deze vier schalen te beoordelen. Tegelijkertijd leverde een menselijke expert de "correcte" scores aan. Het doel was om te zien hoe nauw de machines overeenkwamen met de menselijke expert en hoe ze met elkaar vergeleken.

De resultaten onthulden een verhaal van verrassende precisie gemengd met duidelijke persoonlijkheden binnen deze specifieke, kleinschalige test. Een van de AI-systemen, GPT-4o, presteerde met perfecte nauwkeurigheid op de vijf essays die werden gebruikt voor deze voorlopige kalibratie. Het kwam bij elk essay en voor elke categorie in deze specifieke steekproef exact overeen met de scores van de menselijke expert, waardoor het het oordeel van de menselijke expert voor deze beperkte dataset effectief repliceerde. Het tweede systeem, Claude 3.5 Sonnet, was ook zeer dicht bij de menselijke expert, maar vertoonde een lichte neiging om te gul te zijn. Bij het beoordelen van de flow van ideeën en de academische toon, gaf het scores die een klein beetje hoger lagen dan de menselijke expert zou hebben gegeven. Het was niet fout, maar het was iets milder.

Het derde systeem, Gemini 1.5 Pro, vertoonde een ander patroon. Hoewel het erg goed was in het beoordelen van hoe alinea's met elkaar verbonden waren, had het de neiging om strenger te zijn dan de menselijke expert. Wanneer het kwam tot het evalueren van de diepgang van de ideeën van de student en de gepastheid van de academische toon, gaf het scores die merkbaar lager waren dan die van de menselijke expert. Dit suggereert dat hoewel de machine de structuur van de tekst kon zien, het moeilijker was voor de inhoud en de stem van de schrijver.

Misschien wel de meest onthullende bevinding was niet hoe de machines vergeleken met mensen, maar hoe ze met elkaar vergeleken. Wanneer de drie AI-systemen de essays zonder menselijke hulp beoordeelden, waren ze het bijna perfect eens over de technische aspecten van taal en de flow van de tekst. Echter, ze hadden moeite om het met elkaar eens te zijn wanneer het kwam tot het beoordelen van de academische toon en de kwaliteit van de ideeën. Over de vraag of het schrijven passend was voor een universitaire setting, waren de machines vaak het oneens, waarbij de een genereus was en de ander streng. Dit geeft aan dat hoewel deze systemen uitstekend zijn in het herkennen van grammatica en structuur, ze nog geen enkel, verenigd begrip hebben van wat een academisch argument juist laat klinken.

De studie concludeert dat deze kunstmatige intelligentietools krachtig genoeg zijn om nuttig te zijn, maar nog niet klaar zijn om menselijke docenten volledig te vervangen. Ze kunnen de mechanische delen van het nakijken met grote snelheid en nauwkeurigheid afhandelen, maar ze missen nog steeds de consistente menselijke intuïtie die nodig is om de subtiele sociale en culturele nuances van academisch schrijven te beoordelen. De onderzoeker stelt voor dat de beste aanpak is om deze machines te gebruiken als assistenten die een eerste concept van feedback leveren, terwijl een menselijke docent in de loop blijft om het definitieve oordeel te vellen, vooral op de meer complexe aspecten van het schrijven. Dit zorgt ervoor dat studenten de snelheid van automatisering ontvangen zonder de diepgang van het menselijk begrip te verliezen.