💬 NLP

Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training

Dit artikel stelt een nieuwe aanpak voor om de prestaties van Automated Essay Scoring te verbeteren in zowel beperkte data- als volledige data-omgevingen door drie belangrijke technieken — Two-Stage fine-tuning, Score Alignment en uncertainty-aware self-training — te integreren in het DualBERT-model, waarmee state-of-the-art resultaten worden behaald op meerdere datasets, waaronder ASAP++.

Oorspronkelijke auteurs: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin een vermoeide docent elke week honderden essays moet nakijken. Het is een enorme klus, en het eerlijk nakijken ervan kost tijd en energie. Om te helpen hebben wetenschappers "Automated Essay Scoring" (AES) systemen gebouwd—computerprogramma's die de teksten van studenten lezen en er een cijfer aan geven, precies zoals een mens dat zou doen. Denk aan deze programma's als digitale assistenten. Lange tijd waren deze assistenten als slimme maar onhandige robots; ze moesten duizenden voorbeelden lezen voordat ze goed konden worden in het nakijken. Als een docent slechts een paar essays te nakijken had, raakte de robot in de war en gaf hij slechte scores. Dit is een groot probleem, want in de echte wereld hebben docenten vaak geen duizenden essays om de computer op te trainen; ze hebben gewoon een stapel papierwerk uit hun eigen klas.

De uitdaging is dat het leren van een computer om te begrijpen hoe je schrijft moeilijk is. Het gaat niet alleen over het tellen van woorden of het controleren van grammatica; het gaat over het begrijpen van de flow van ideeën, de toon en de structuur. Hoewel er enorme, krachtige AI-modellen bestaan (zoals de modellen die verhalen schrijven of met je chatten), worstelen ze vaak met deze specifieke taak, tenzij ze een enorme hoeveelheid data krijgen. Dus is de grote vraag voor onderzoekers: Hoe kunnen we een computer-corrector maken die slim en eerlijk is, zelfs wanneer hij weinig voorbeelden heeft gezien?

Dit artikel introduceert een slimme nieuwe manier om deze digitale correctoren te trainen, vooral wanneer er heel weinig essays zijn om van te leren. De onderzoekers, werkend met een model genaamd DualBERT (wat een soort slimme lezer is die zowel individuele zinnen als de hele essay begrijpt), hebben drie speciale technieken ontwikkeld om de prestaties te verbeteren.

Ten eerste gebruikten ze een methode genaamd Two-Stage Fine-Tuning met LoRA. Stel je voor dat je een student leert die de basis van Engels al kent. In plaats van hem alles opnieuw te laten leren, geef je hem een speciale set "highlighters" (LoRA) waarmee hij zich kan concentreren op specifieke, lastige delen van de opdracht zonder te vergeten wat hij al wist. De onderzoekers lieten het model oefenen met deze highlighters in twee rondes, waarbij ze verschillende manieren probeerden om het belang van verschillende essaykenmerken (zoals inhoud versus organisatie) te wegen, totdat ze de perfecte balans vonden.

Ten tweede introduceerden ze Score Alignment. Soms wordt zelfs een slimme corrector een beetje nerveus en speelt hij het veilig. Als een student een perfect essay schrijft, is de computer misschien bang om een perfect cijfer te geven en geeft hij een 9,8 van de 10. Als het essay verschrikkelijk is, geeft hij een 0,2 in plaats van een 0. Deze techniek werkt als een "kalibratie-instrument". De onderzoekers kijken naar hoe de computer een kleine oefenset essays heeft nagekeken, zien waar de computer te verlegen of juist te brutaal was, en passen dan een eenvoudige wiskundige aanpassing toe om de scores voor de echte test te corrigeren. Het is als het stemmen van een gitaar zodat elke noot de juiste toonhoogte bereikt.

Ten derde gebruikten ze Uncertainty-Aware Self-Training. Dit is waar de computer oefent op essays die nog niet zijn nagekeken. De computer leest deze onbeoordeelde essays en geeft ze een "nep"-cijfer. Maar hier komt de crux: als de computer onzeker is over zijn eigen cijfer (hij is "onzeker"), gooit hij die essay weg. Hij houdt alleen de essays die hij met vertrouwen kan beoordelen om als extra oefenmateriaal te gebruiken. Op deze manier leert de computer van meer voorbeelden zonder per ongeluk te leren van zijn eigen fouten.

Toen de onderzoekers deze drie trucs samen testten op een dataset genaamd ASAP++, waren de resultaten indrukwekkend. In een scenario waarin de computer slechts 32 essays had om van te leren (een zeer kleine hoeveelheid), verbeterde de nieuwe methode de nauwkeurigheid van het nakijken aanzienlijk. Het bereikte 91,2% van het prestatieniveau van een model dat getraind was op ongeveer 1.000 essays. In simpelere termen: met slechts een piepklein beetje data en deze drie slimme trucs, werd de computer bijna zo goed als wanneer hij een hele bibliotheek aan essays had gelezen.

Nog interessanter is dat wanneer de computer over voldoende data beschikte (de "full-data" setting), de "Score Alignment"-truc alleen al hielp om alle eerdere records te verbreken, waarmee een nieuwe best score werd behaald. De onderzoekers testten dit ook op andere datasets met verschillende soorten essays en vonden dat de trucs daar ook werkten, wat suggereert dat deze methoden robuust zijn en niet slechts een toevalstreffer voor één specifieke test.

Het artikel suggereert dat deze technieken modulair zijn, wat betekent dat ze gemengd en gecombineerd kunnen worden met andere systemen. De auteurs merken echter voorzichtig op dat hoewel de resultaten sterk zijn, ze nog steeds beperkingen kennen. Bijvoorbeeld, de "Self-Training"-methode heeft een grote stapel onbeoordeelde essays nodig om te werken, wat niet altijd beschikbaar is in elke school. Ook kost de "Two-Stage"-methode wat meer tijd om de computer initieel te trainen, hoewel het het eigenlijke nakijkproces later niet vertraagt.

Uiteindelijk laat deze studie zien dat we niet altijd enorme hoeveelheden data nodig hebben om geweldige AI-tools te bouwen. Door slimme strategieën te gebruiken om modellen te verfijnen, hun scores te kalibreren en zorgvuldig oefenmateriaal te selecteren, kunnen we automatische correctoren creëren die betrouwbaar zijn, zelfs wanneer data schaars is. Dit brengt ons een stap dichter bij het hebben van behulpzame, eerlijke en efficiënte digitale assistenten voor docenten overal.

Technische Samenvatting: Verbeteren van Automatische Essay Beoordeling met Drie Technieken

Probleemstelling
Automatische Essay Beoordeling (Automated Essay Scoring, AES) is cruciaal voor schaalbare educatie, maar staat voor aanzienlijke hindernissen bij implementatie in de echte wereld, voornamelijk door het extreme tekort aan gelabelde data. Het construeren van AES-datasets is arbeidsintensief, duur en gevoelig voor inter-rater inconsistentie. Hoewel Large Language Models (LLMs) succesvol zijn in diverse NLP-taken, blijft hun prestatie in AES suboptimaal (Quadratic Weighted Kappa [QWK] van ~0,5–0,6) vergeleken met taakspecifieke deep learning-modellen, en vormen hun computationele vereisten barrières voor adoptie. Bovendien worstelen bestaande deep learning-benaderingen vaak in omgevingen met weinig middelen waar slechts een klein aantal gelabelde essays beschikbaar is.

Methodologie
De auteurs stellen een nieuwe aanpak voor om de AES-prestaties te verbeteren in zowel beperkte-data als volledige-data instellingen door drie kerntechnieken te integreren op een baseline model, DualBERT, dat inter-token en inter-zin semantiek vastlegt.

Tweestaps Fine-Tuning met Low-Rank Adaptation (LoRA):
- Fase 1: Het basis DualBERT-model wordt gefinetuned op de gelabelde dataset.
- Fase 2: LoRA-lagen worden ingevoegd in het bevroren basismodel. De auteurs introduceren een strategie om verschillende trait-specifieke loss-weight configuraties te doorzoeken. In plaats van volledig aparte modellen te trainen voor verschillende gewichtcombinaties, traint de methode alleen de adapter-lagen (LoRA) voor elke configuratie. De configuratie die de beste prestaties levert op de ontwikkelset wordt geselecteerd. Dit stelt het model in staat om fijnmazige kenmerken te vangen en efficiënt aan te passen aan specifieke trait-vereisten.
Score Alignment (SA):
- Dit is een training-vrije, post-processing techniek ontworpen om de distributionele bias tussen voorspelde en ware scores te corrigeren. Gefinetunede modellen falen vaak in het voorspellen van extreme scores (bijv. het voorspellen van 0,95 in plaats van 1,0).
- SA past een lineaire transformatie toe op de testset-voorspellingen op basis van het verschil tussen de ware en voorspelde scores geobserveerd in de uit de hand gelaten (held-out) ontwikkelset. Specifiek berekent het de gemiddelde verschillen voor de bovenste en onderste $p\%$ van de scores in de ontwikkelset en gebruikt deze om de minimum- en maximumgrenzen van de testvoorspellingen aan te passen, zodat de voorspelde distributie nauwer aansluit bij de ware distributie.
Uncertainty-Aware Self-Training (UST):
- Ontworpen om ongelabelde data te benutten (die gemakkelijker te verzamelen is dan gelabelde data), schat UST de onzekerheid van voorspellingen op onbeoordeelde essays.
- Onzekerheid wordt gemeten als de standaarddeviatie van voorspellingen verkregen via Monte Carlo dropout (herhaalde dropout-passes).
- Samples worden gepartitioneerd in bins op basis van de voorspelde score-grootte. Vanuit elke bin wordt een vast aantal samples met de laagste onzekerheid geselecteerd om te dienen als pseudo-gelabelde data. Deze filtering beperkt de propagatie van labelruis. De uitgebreide dataset (originele gelabelde + geselecteerde pseudo-gelabelde) wordt vervolgens gebruikt om het model opnieuw te trainen.

Belangrijkste Bijdragen

Nieuwe Integratie: Het artikel integreert Two-Stage fine-tuning, Score Alignment en UST in een modulair framework. Dit maakt het mogelijk om technieken te combineren of onafhankelijk toe te passen om complementaire knelpunten aan te pakken: modeladaptatie, output-kalibratie en data-augmentatie.
Innovatie in Score Alignment: De auteurs demonstreren dat Score Alignment de prestaties consistent verbetert in zowel limited-data als full-data instellingen. Wanneer gecombineerd met LoRA, bereikt het DualBERT-model nieuwe state-of-the-art (SOTA) resultaten in de full-data instelling, waarmee het bestaande AES-methoden overtreft.
Effectiviteit bij Lage Middelen: De studie levert uitgebreid bewijs dat de geïntegreerde aanpak de prestaties aanzienlijk verhoogt wanneer gelabelde data schaars is, waarbij 91,2% van de full-data prestaties wordt bereikt met slechts 32 gelabelde samples per prompt.

Experimentele Resultaten
Experimenten werden uitgevoerd op de ASAP++ dataset, waarbij de generaliseerbaarheid werd getest op TOEFL11 en ELLIPSE.

Full-Data Instelling (ASAP++): De integratie van LoRA en Score Alignment met DualBERT bereikte een nieuw SOTA-resultaat, waarbij het vorige methoden zoals ArTS+RMTS en SaMRL overtrof. De QWK verbeterde met 0,011 (per-trait) en 0,008 (per-prompt) ten opzichte van de baseline DualBERT, waarbij de volledige integratie (LoRA+SA) 0,714 (per-trait) en 0,732 (per-prompt) bereikte. Terwijl Score Alignment alleen op gelijke hoogte presteerde met de beste gesuperviseerde baselines, leverde de combinatie met LoRA de beste algehele resultaten op.
Limited-Data Instelling (32-data): In de 32-data instelling verbeterde de geïntegreerde methode (LoRA+SA+UST) de QWK met 4,6 punten (per-trait) en 5,4 punten (per-prompt) ten opzichte van de basis DualBERT. Dit resulteerde in een eindscore van 0,639 (per-trait), wat 91,2% is van de full-data prestatie.
Vergelijking met LLMs: De voorgestelde methode presteerde beter dan few-shot LLM baselines (bijv. Llama-3.1-8B-Instruct) op ASAP++ in low-resource settings, terwijl het aanzienlijk minder computationele middelen en parameters vereiste.
Generaliseerbaarheid: Op TOEFL11 en ELLIPSE verbeterden Score Alignment en UST de prestaties consistent ten opzichte van de baseline, hoewel LoRA marginale of negatieve effecten vertoonde in multi-prompt settings vanwege overfitting op homogene trait-sets.

Betekenis en Claims
Het artikel claimt dat de aanpak effectief de uitdaging van dataschaarste in AES aanpakt zonder te vertrouieren op massieve LLMs. De betekenis ligt in de modulariteit van de voorgestelde technieken, die incrementele prestatieverbeteringen mogelijk maken. De auteurs benadrukken dat Score Alignment bijzonder robuust is en consistente winst biedt, ongeacht het datavolume. De geïntegreerde methode demonstreert dat hoogwaardige AES haalbaar is, zelfs met ernstige labeltekorten (bijv. 32 samples), waardoor de kloof tussen limited-data prestaties en full-data capaciteiten wordt overbrugd. De studie concludeert dat deze technieken een praktisch en efficiënt pad bieden voor het implementeren van robuuste AES-systemen in real-world educatieve scenario's waar gelabelde data een knelpunt vormt.

Meer zoals dit