The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

Technische Samenvatting: De Volgorde Doet Er Toe: Sequentiële Fine-Tuning van LLaMA voor Coherente Automatische Essay Beoordeling

Probleemstelling
Systemen voor Automatische Essay Beoordeling (AES) worden geconfronteerd met een cruciale uitdaging in het modelleren van de onderlinge afhankelijkheid van discourselementen binnen een essay. Traditionele benaderingen behandelen componenten zoals de inleiding, positie, bewering, bewijsvoering en conclusie vaak geïsoleerd. Deze fragmentatie faalt in het vastleggen van de logische flow en hiërarchische afhankelijkheden die inherent zijn aan argumentatieve tekst (bijv. hoe de helderheid van een positie de kracht van een bewering beïnvloedt). Gevolgd wordt hierdoor een gebrek aan coherentie, generalisatie over diverse schrijfstijlen en de betrouwbare beoordeling van integratieve componenten. Bovendien is er, hoewel Large Language Models (LLMs) potentieel bieden, een gebrek aan begrip over de vraag of kleinere, efficiënt gefinetunede modellen grotere, algemene baselines kunnen overtreffen wanneer taakafhankelijkheden expliciet worden gemodelleerd.

Methodologie
De studie onderzoekt de impact van trainingscurricula op de fine-tuning van LLaMA-3.1-8B voor AES. De auteurs maken gebruik van de PERSUADE 2.0 corpus, een dataset van meer dan 25.000 argumentatieve essays geannoteerd met vijf specifieke discourselementen: Inleiding (Lead), Positie (Position), Bewering (Claim), Bewijsvoering (Evidence) en Conclusie (Conclusion).

Om het model efficiënt aan te passen, gebruiken de auteurs Low-Rank Adaptation (LoRA) met 4-bit kwantisatie (NF4), waardoor training op een enkele A100 GPU mogelijk is terwijl de vooraf getrainde kennis behouden blijft. Het kernontwerp van het experiment vergelijkt drie verschillende trainingscurricula met een zero-shot LLaMA-70B baseline:

1. Onafhankelijke Fine-Tuning: Vijf aparte modellen worden getraind, elk toegewijd aan een enkele discoursecomponent met taakspecifieke LoRA-adapters. Dit dient als baseline om de waarde van gedeelde representaties te beoordelen.
2. Gerandomiseerde (Multi-Task) Fine-Tuning: Een enkel model wordt getraind op een door elkaar gehusselde mix van alle vijf de component-datasets tegelijkertijd. Deze aanpak behandelt taken als onafhankelijk en identiek verdeeld (i.i.d.), waarbij de sequentiële structuur wordt genegeerd.
3. Sequentiële (Curriculum) Fine-Tuning: De primair voorgestelde methode. Een enkel model wordt progressief getraind volgens de natuurlijke logische volgorde van het schrijven van een essay: Inleiding $\rightarrow$ Positie $\rightarrow$ Bewering $\rightarrow$ Bewijsvoering $\rightarrow$ Conclusie. Parameters die in één fase zijn geleerd, dienen als initialisatie voor de volgende, met als doel complexe representaties op te bouwen door gebruik te maken van kennis van fundamentele componenten.

Belangrijkste Resultaten
Experimenten op de PERSUADE 2.0 testset laten zien dat de structuur van het trainingscurriculum de prestaties van het model aanzienlijk beïnvloedt:

• Superioriteit van Sequentieel Leren: Het Sequentiële curriculum leverde de sterkste algemene resultaten op. Het behaalde de hoogste F1-scores op drie van de vijf componenten: Bewering (40%), Bewijsvoering (65%) en Conclusie (87%). Opvallend genoeg behaalde het een nauwkeurigheid van 85% op de Conclusie-taak.
• Taakinterdependentie: Het Sequentiële model presteerde aanzienlijk beter dan de Onafhankelijke modellen, met name op de Conclusie-taak (87% F1 vs. 12% F1 voor Onafhankelijk). Dit suggereert dat het evalueren van integratieve componenten contextuele representaties vereist die geïnformeerd zijn door voorgaande secties van het essay, wat geïsoleerde training niet kan vastleggen.
• Inconsistentie van Gerandomiseerd Leren: Hoewel de Gerandomiseerde aanpak de Positie-score verbeterde (57% F1), presteerde het slecht op de Inleiding-component (7% F1), wat aangeeft dat ongestructureerd multi-task leren minder robuust is dan een curriculum dat is afgestemd op de discoursestructuur.
• Klein vs. Groot Model: Een compact, taakgeoptimaliseerd LLaMA-8B model (Sequentieel) overtrof de veel grotere, zero-shot LLaMA-70B baseline op contextafhankelijke taken. Specifiek versloeg het 8B-model de 70B-baseline op Bewijsvoering (65% vs. 49% F1) en Conclusie (87% vs. 60% F1), ondanks de superieure capaciteit van de 70B-versie.

Betekenis en Claims
Het artikel beweert dat de "volgorde ertoe doet" bij fine-tuning, en stelt dat curriculumontwerp dat is afgestemd op de intrinsieke structuur van de taak fungeert als een krachtige inductieve bias. De auteurs beargumenteren dat:

1. Curriculumontwerp is Cruciaal: Het modelleren van taakafhankelijkheden door middel van sequentiële fine-tuning verbetert de AES-prestaties materieel, vooral voor integratieve componenten waar de logische flow essentieel is.
2. Efficiëntie en Concurrentiekracht: Kleine, taakgeoptimaliseerde modellen kunnen concurreren met, en zelfs grotere LLM's overtreffen, wanneer de trainingsstrategie is afgestemd op de hiërarchische aard van de taak. Dit biedt een praktisch, kosteneffectief pad voor schaalbare educatieve beoordeling zonder afhankelijk te zijn van middelenintensieve propriëtaire API's.
3. Generaliseerbaarheid: Door af te stappen van geïsoleerde componentbeoordeling, adresseert de voorgestelde aanpak het probleem van incoherente feedback, waardoor een robuuster kader ontstaat voor het evalueren van studentenschrijven dat de logische relaties tussen essaysecties weerspiegelt.

De auteurs concluderen dat voor gestructureerde voorspellings-taken in NLP, hoe een model wordt onderwezen (het curriculum) even belangrijk is als wat het wordt onderwezen, wat de inductie van robuustere en efficiëntere representaties mogelijk maakt.