Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

In de wereld van het onderwijs is het nakijken van een stapel essays een zware, tijdrovende taak. Decennialang hebben computers geprobeerd hierbij te helpen, maar ze worstelen vaak met het evenredig kunnen matchen van de nuance van een menselijke docent. Onlangs heeft een nieuwe generatie krachtige computerprogramma's, bekend als large language models, een opmerkelijk vermogen getoond om menselijke teksten te lezen en te begrijpen. Deze systemen kunnen de instructie krijgen om als examinator op te treden, waarbij ze scores toekennen aan het werk van studenten op basis van specifieke regels. Er blijft echter een aanzienlijk probleem bestaan: deze programma's zijn duur in gebruik. Hoe gedetailleerder de instructies zijn die aan de computer worden gegeven, hoe hoger de kosten om een antwoord te krijgen. Bovendien is de beste manier om de computer een vraag te stellen niet altijd voor de hand liggend; dit verandert afhankelijk van de specifie% essay of de versie van de software die wordt gebruikt. Onderwijzers en testorganisaties staan voor een moeilijke keuze: een hoge prijs betalen om elke essay door elke mogelijke set instructies te laten lopen om de beste te vinden, of het risico nemen om een goedkopere, minder nauwkeurige methode te gebruiken die de plank mogelijk misslaat.

Een team van onderzoekers aan Carleton University heeft een nieuwe manier voorgesteld om dit dilemma op te lossen. In plaats van vooraf te proberen de perfecte set instructies te raden, hebben zij een systeem gebouwd dat de beste aanpak leert terwijl het werkt. Ze behandelden de verschillende manieren om de computer de opdracht te geven een essay te beoordelen als een reeks gokautomaten, waarbij elke machine een andere kans heeft om een goed resultaat uit te betalen. Terwijl het systeem essays beoordeelde, hield het bij welke methode scores produceerde die het meest overeenkwamen met menselijke docenten en welke het meest efficiënt was. Na verloop van tijd stopte het systeem vanzelf met het verspillen van inspanning aan de slechte methoden en concentreerde het zich bijna volledig op de methoden die het beste werkten. Deze aanpak stelde hen in staat om de meest effectieve beoordelingsstrategie te vinden terwijl ze veel minder computerbronnen gebruikten dan traditionele methoden.

De onderzoekers testten dit idee met een collectie van 787 echte essays van het IELTS-schrijfexamen, een belangrijke internationale toets voor Engelse taalvaardigheid. Ze stelden vier verschillende manieren op waarop de computer de papers kon beoordelen. Twee methoden vroegen de computer om direct een enkele, algemene score te geven, terwijl de andere twee de computer vroegen om het essay onder te verdelen in vier specifie specifieke categorieën — zoals hoe goed de schrijver de opdracht heeft beantwoord en hoe georganiseerd de ideeën waren — voordat er een eindscore werd berekend. Voor de helft van deze methoden kreeg de computer ook voorbeelden van goede en slechte essays te zien om het te helpen begrijpen waar het naar moest kijken; voor de andere helft moest het vertrouwen op de eigen kennis. Het systeem begon vervolgens de essays te beoordelen, waarbij een leeralgoritme werd gebruikt om te beslissen welke van de vier methoden voor elk nieuw papier gebruikt moest worden.

De resultaten waren duidelijk en onmiddellijk. Het systeem leerde snel dat de meest effectieve strategie de methode was die het essay onderverdeelde in specifieke categorieën en voorbeelden bood van wat een goed of slecht essay was. Deze methode produceerde consequent scores die het nauwst aansloten bij de menselijke examinatoren. In tegenstelling hiertoe presteerden de methoden die de voorbeelden oversloegen of probeerden een enkele score te geven zonder onderverdeling, aanzienlijk slechter. Het leeralgoritme was zo effectief dat het na een korte testperiode bijna volledig stopte met het kiezen van de zwakkere methoden en meer dan 70 procent van zijn inspanningen aan de best presterende aanpak wijdde.

Misschien wel de meest verrassende ontdekking kwam toen de onderzoekers naar de kosten van deze instructies keken. De conventionele wijsheid suggereert dat het geven van meer gedetailleerde regels en uitleg over hoe er beoordeeld moet worden, tot betere resultaten leidt. Echter, de studie vond het tegenovergestelde. Wanneer de onderzoekers de lange, gedetailleerde beschrijvingen van de beoordelingsregels uit de instructies verwijderden, presteerde de computer eigenlijk beter. De eenvoudigere instructies, die vertrouwden op het bestaande begrip van de computer over het schrijven in plaats op een handboek met regels, leidden tot nauwkeurigere scores en gebruikten minder computerbronnen. Dit suggereert dat deze krachtige computerprogramma's de nuances van academisch schrijven al hebben geleerd tijdens hun training en niet opnieuw elke kleine detail hoeven te krijgen verteld.

De efficiëntiewinst van deze adaptieve aanpak was aanzienlijk. Door het systeem de beste methode te laten kiezen tijdens het proces, verminderden de onderzoekers het aantal keren dat ze de computer om hulp moesten vragen met bijna 79 procent vergeleken met een traditionele methode die elke mogelijke optie op elke essay probeerde. Deze enorme reductie in computeroproepen vertaalde zich direct in een daling van bijna 79 procent in het totaal aantal woorden dat de computer moest verwerken, en een reductie van 70 procent in de geschatte kosten van het experiment. Het systeem bereikte hetzelfde niveau van nauwkeurigheid als de uitputtende, dure methode, maar deed dit met een fractie van de inspanning.

Dit werk vertegenwoordigt een verschuiving in de manier waarop geautomatiseerde beoordeling kan worden afgehandeld. In plaats van de keuze voor instructies te behandelen als een vaste instelling die vóór het begin van het werk moet worden beslist, hebben de onderzoekers aangetoond dat het een dynamisch proces kan zijn dat verbetert naarmate het vordert. Hoewel de studie beperkt was tot een specifieke set essays en één type computerprogramma, bieden de bevindingen een veelbelovend pad vooruit voor onderwijstechnologie. Door de behoefte aan nauwkeurigheid in balans te brengen met de realiteit van operationele kosten, biedt deze methode een manier om hoogwaardige geautomatiseerde beoordeling toegankelijk en duurzaam te maken voor grootschalige testprogramma's. De studie suggereert dat de toekomst van geautomatiseerde beoordeling niet ligt in het bouwen van complexere instructies, maar in het bouwen van slimmere systemen die weten hoe ze de beste instructies kunnen leren gebruiken op het juiste moment.