ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
Het artikel introduceert ICLE++, een nieuwe corpus van overtuigende studentessays geannoteerd met zowel holistische als taalspecifieke scores, ontworpen om de beperkingen in generalisatie van bestaande modellen die getraind zijn op de ASAP-dataset aan te pakken en om onderzoek in multi-trait en cross-prompt automatische essaybeoordeling te faciliteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers leren om leraren te zijn, specifiek door essays van studenten te beoordelen. Dit vakgebied, bekend als Automated Essay Scoring (AES), is als een digitale beoordelaar die het werk van een student leest en een cijfer toekent om aan te geven hoe goed het is. Jarenlang zijn deze computerleraren bijna uitsluitend getraind op één enorme stapel essays genaamd "ASAP". Denk aan ASAP als een enorme bibliotheek vol met essays geschreven door Amerikaanse middelbare scholieren die Engels als eerste taal spreken. De computer leert de regels van een goede essay door deze specifieke bibliotheek te bestuderen. Maar hier zit de crux: alleen omdat een computer Amerikaanse essays perfect kan beoordelen, betekent dat niet dat hij weet hoe hij essays van studenten uit andere landen, of essays voor verschillende soorten opdrachten, moet beoordelen. Het is alsof je een chef leert om de perfecte Amerikaanse burger te maken en dan verwacht dat hij direct weet hoe hij een perfecte sushirol moet bereiden zonder nieuwe training.
Om dit op te lossen, hadden onderzoekers een nieuwe, meer diverse bibliotheek van essays nodig om deze computerleraren te testen. Ze hadden een plek nodig waar ze konden zien of de computer om kon gaan met verschillende schrijvers, verschillende onderwerpen en verschillende manieren om kwaliteit te beoordelen. Hier komt het verhaal van een nieuwe dataset genaamd "ICLE++" in beeld. Het gaat niet alleen om het geven van één enkel cijfer; het gaat om het begrijpen van het waarom achter het cijfer. In plaats van alleen te zeggen "dit essay is een 3 uit 4", is het doel om te zeggen "dit essay is een 3 omdat de ideeën een beetje rommelig waren, maar de woordenschat geweldig was." Dit artikel introduceert deze nieuwe bibliotheek en test of de oude computerleraren ermee om kunnen gaan.
De onderzoekers, Shengjie Li en Vincent Ng, besloten een nieuwe, gespecialiseerde collectie essays op te bouitsen genaamd ICLE++. Ze verzamelden 1.006 overtuigende essays geschreven door universiteitsstudenten uit 16 verschillende landen die Engels leren als vreemde taal. In tegen tegenstelling tot de oude bibliotheek (ASAP), die essays van verschillende lengtes had, waren deze essays allemaal ongeveer even groot geschreven (tussen de 500 en 600 woorden), wat een lastige variabele verwijdert die de computers voorheen in verwarring had kunnen brengen.
Maar de echte magie van ICLE++ is niet alleen de essays zelf; het is hoe ze zijn beoordeeld. De onderzoekers hebben de beoordeling niet alleen voorzien van één algemeen cijfer. In plaats daarvan hebben ze de beoordeling onderverdeeld in 10 specifieke kenmerken, zoals een monteur die een auto onderdeel voor onderdeel controleert. Deze kenmerken omvatten zaken als Prompt Adherence (heeft de student de vraag beantwoord?), Thesis Clarity (is het hoofdpunt duidelijk?), Argument Persuasiveness (is het argument overtuigend?), Development (zijn de ideeën volledig uitgelegd?) en Technical Quality (zijn er grammatica- en spelfouten?).
Het team kwam tot de conclusie dat deze 10 kenmerken als de ingrediënten in een recept zijn. Sommige ingrediënten, zoals Argument Persuasiveness en Development, bleken de belangrijkste te zijn voor de uiteindelijke "smaak" (het algemene cijfer). Sterker nog, ze ontdekten dat als een student een geweldig argument en goed ontwikkelde ideeën had, de essay meestal een hoog algemeen cijfer kreeg, zelfs als andere onderdelen slechts oké waren. Echter, ze ontdekten ook dat sommige kenmerken, zoals Thesis Clarity, verrassend genoeg minder verbonden waren met het eindcijfer dan men zou verwachten. Dit suggereert dat menselijke beoordelaars vergevensgezind kunnen zijn voor een vaag hoofdpunt als de rest van de essay sterk is, een nuance die eenvoudige computermodellen zou kunnen missen.
Wanneer de onderzoekers de beste computermodellen uit de oude bibliotheek (ASAP) testten op de nieuwe ICLE++ bibliotheek, waren de resultaten een schok. De computers, die kampioenen waren op de oude bibliotheek, worstelden aanzienlijk op de nieuwe. Hun scores daalden, wat suggereert dat de modellen de specifieke patronen van de Amerikaanse essays hadden uit het hoofd geleerd in plaats van de universele regels van goed schrijven. Het is als een student die de antwoorden op een specifieke oefentoets heeft uit het hoofd geleerd, maar faalt wanneer de vragen anders worden geformuleerd.
Het artikel verkende ook een "wat als"-scenario: wat als de computer de scores voor alle 10 de kenmerken zou kunnen zien voordat het probeert het algemene cijfer te raden? Wanneer ze de computer dit "spiekbriefje" van perfecte kenmerkscores gaven, schoot de prestatie van de computer omhoog, wat bewees dat deze 10 kenmerken inderdaad zeer nuttig zijn voor het begrijpen van de kwaliteit van een essay. Echter, wanneer de computer eerst de kenmerkscores zelf moest raden, hielp dat niet altijd; soms maakte de extra ruis van het raden van de kenmerken het algemene cijfer juist slechter. Dit suggereert dat hoewel het kennen van de details krachtig is, de computer nog steeds moet leren hoe hij die details nauwkeurig op eigen kracht kan vinden.
Kortom, het artikel betoogt dat de oude manier van het testen van essay-beoordelende computers op slechts één type essay niet langer genoeg is. De nieuwe ICLE++ bibliotheek laat zien dat hoewel computers beter worden, ze nog veel te leren hebben over de subtiele, meerdimensionale manieren waarop mensen schrijven beoordelen. De onderzoekers geloven dat deze nieuwe dataset een cruciale stap voorwaarts is, die een realistischer en uitdagender speelveld biedt voor toekomstige AI-leraren om te leren hoe ze eerlijk, gedetailleerd en echt behulpzaam kunnen zijn voor studenten overal ter wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.