ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
Dit artikel introduceert ArguLens, een open-source, lokaal inzetbaar systeem dat de beperkingen van bestaande tools voor automatische essaybeoordeling aanpakt door het proces te ontleden in een discourse-move classifier, een feature-gebaseerde scorer en een label-bewuste feedbackgenerator, waarbij sterke prestaties worden behaald op de PERSUADE 2.0-dataset terwijl gegevensprivacy en interpreteerbaarheid worden gewaarborgd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille nagenoot van een klaslokaal leest een docent het betoog van een leerling, waarbij zinnen wordt afgewogen op helderheid, logica en kracht. Decennialang hebben computers geprobeerd deze menselijke beoordeling na te bootsen, een vakgebied dat bekend staat als automatische essaybeoordeling. Vroege pogingen vertrouwden op eenvoudige tellingen van woorden of zinslengte, terwijl moderne versies complexe neurale netwerken gebruiken die fungeren als 'black boxes', die wel een cijfer geven maar zelden uitleggen waarom. Dit creëert een dilemma: systemen die accuraat zijn, missen vaak transparantie, terwijl systemen die duidelijk zijn, vaak een gebrek aan precisie hebben. Bovendien vereisen de krachtigste tools van vandaag meestal dat studentenschriften naar verre bedrijfsservers worden gestuurd, wat zorgen oproept over privacy en kosten. Het doel voor onderzoekers is al lang het bouwen van een systeem dat zowel slim genoeg is om accuraat te beoordelen als open genoeg om zijn werk te laten zien, terwijl de gegevens veilig binnen de eigen computers van een school blijven.
Een team onderzoekers aan de Fudan Universiteit heeft deze uitdaging aangepakt met ArguLens, een nieuw open-source systeem dat ontworpen is om lokaal geïnstalleerd te worden, waardoor studentessays buiten het internet blijven. In plaats van te proberen in één grote sprong een cijfer te raden, verdeelt het systeem de taak in drie duidelijke, beheersbare stappen. Eerst fungeert het als een retorische detective, die het essay zin voor zin leest om de functie van elk deel te identificeren. Het zoekt naar specifieke zetten in een argument, zoals een bewering, een stuk bewijs, een tegenargument of een weerlegging. Hiervoor gebruikt het een gespecialiseerde versie van een groot taalmodel dat getraind is om deze patronen te herkennen zonder de hele tekst te hoeven herschrijven. Zodra het systeem de structuur van het argument begrijpt, gaat het naar de tweede stap: het scoren. Hierbij vertrouwt het niet op het zware taalmodel. In plaats daarvan telt het eenendertig specifieke kenmerken, zoals de variatie in vocabulaire, de complexiteit van zinsstructuren en de frequentie van de zojuist geïdentificeerde argumentatieve zetten. Deze getallen worden gevoed aan een lichtgewicht, zeer efficiënte scoring-engine die een definitief cijfer berekent. De derde stap is het genereren van feedback. Met behulp van de scores en de geïdentificeerde argumentatieve zetten schrijft het systeem een gestructureerd rapport voor de student, waarbij sterktes worden aangewezen en specifieke verbeterpunten worden voorgesteld, terwijl ervoor wordt gezorgd dat het advies constructief en geworteld is in de werkelijke tekst.
De onderzoekers testten dit systeem op een grote collectie betogen van middelbare scholieren, een dataset die duizenden voorbeelden bevat geschreven door studenten in de Verenigde Staten. Ze ontdekten dat het vermogen van het systeem om de verschillende onderdelen van een argument te identificeren vrij sterk was, waarbij de functies van zinnen in meer dan tweeentachtig procent van de gevallen correct werden gelabeld. Hoewel het soms een hoofdclaim verwarde met het bewijs dat de claim ondersteunt — een veelvoorkomende moeilijkheid zelfs voor mensen — slaagde het er meestal in om tussen de verschillende soorten argumenten te onderscheiden. Wanneer het kwam op het toekennen van een definitief cijfer, presteerde het systeem met een mate van overeenstemming met menselijke docenten die in dit vakgebied als zeer hoog wordt beschouwd. De onderzoekers ontdekten dat het opnemen van de structurele informatie over de argumentatieve zetten de nauwkeurigheid van het uiteindelijke cijfer aanzienlijk verbeterde. Wanneer ze het systeem testten zonder deze structurele kennis, waarbij ze alleen vertrouwden op vocabulaire en zinspatronen, daalde de nauwkeurigheid merkbaar. Dit suggereert dat begrijpen hoe een argument wordt opgebouwd even belangrijk is als weten welke woorden worden gebruikt.
Een van de meest significante aspecten van dit werk is niet alleen de cijfers, maar het ontwerp. Het systeem is gebouwd om transparant en reproduceerbaar te zijn. Elke component, van de code die kenmerken extraheert tot de specifieke instellingen die gebruikt zijn om de modellen te trainen, is beschikbaar voor iedereen om te inspecteren. De onderzoekers waren zorgvuldig in het onderscheid tussen wat het systeem kan doen met perfecte informatie en wat het kan doen in de echte wereld. Ze lieten zien dat als het systeem de exacte argumentstructuur vooraf zou kennen, het met hoge precisie zou kunnen beoordelen, maar ze erkenden ook dat het systeem in een echte klas de structuur zelf moet voorspellen. Ze maten hoe lang elke stap duurde op standaard computerhardware, en vonden dat de beoordelingsstap bijna onmiddellijk was, terwijl de analyse van de argumentstructuur iets meer dan een seconde duurde voor een typisch essay. De stap voor het genereren van feedback, die de geschreven commentaren produceert, is ontworpen om flexibel te zijn, in staat om op lokale servers te draaien of verbinding te maken met externe diensten indien nodig, hoewel de specifieke snelheid van die laatste stap niet is gemeten in deze initiële release.
Het team is duidelijk over de beperkingen van hun creatie. Het systeem is uitsluitend getraind op essays geschreven door Amerikaanse middelbare scholieren en de onderzoekers waarschuwen dat het niet gebruikt mag worden voor het beoordelen van andere soorten schrijfwerk, zoals creatieve verhalen of wetenschappelijke rapporten, zonder verdere training. Ze merken ook op dat het systeem nog niet is getest op conceptversies, alleen op voltooide essays, wat ertoe doet als een docent het wil gebruiken voor voortdurende begeleiding tijdens het schrijfproces. Misschien wel het belangrijkste is dat de onderzoekers benadrukken dat hoewel het systeem accuraat is, het geen vervanging is voor menselijk oordeel in situaties met een hoge inzet. Het is bedoeld als een hulpmiddel om docenten te assisteren, door een tweede mening en gedetailleerde analyses te bieden die studenten kunnen helpen hun eigen schrijven te begrijpen. Door het gehele systeem open en gratis beschikbaar te stellen, hopen de onderzoekers andere onderwijzers en wetenschappers aan te moedigen om voort te bouwen op hun werk, het in verschillende contexten en talen te testen en uiteindelijk de feedback die het geeft te verfijnen om ervoor te zorgen dat het elke leerling helpt verbeteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.