From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

Deze studie biedt een uitgebreide vergelijking van verschillende LLM-gebaseerde methoden voor het automatisch beoordelen van IELTS-opstellen, waarbij een combinatie van gesuperviseerde fijnafstemming en retrieval-augmented generation de beste resultaten behaalt met een F1-score van 93%.

De kern

Stel je voor dat je een leraar Engels bent met een berg van 10.000 proefopdrachten. Het nakijken kost dagen, is vermoeiend en elke leraar kijkt misschien net iets anders naar een essay. Nu komt er een slimme robot (een zogenaamde "Large Language Model" of LLM) die dit werk voor je kan doen. Maar hoe moet je die robot het beste instrueren?

Deze studie is als een grote proefkeuken waar de onderzoekers vier verschillende manieren testen om die robot te leren essays te beoordelen. Ze kijken naar de IELTS-toets, een wereldberoemde Engelse taaltest.

Hier is hoe ze het hebben aangepakt, vertaald in alledaagse taal:

1. De vier methoden (De "Recepten")

De onderzoekers hebben vier verschillende "recepten" getest om de robot slim te maken:

• Methode 1: De Strakke Cursus (Discriminative Fine-Tuning)

  • De analogie: Dit is alsof je de robot een heel specifiek examen geeft. Je leert hem alleen het antwoord (het cijfer) te raden, zonder dat hij mag uitleggen waarom. Het is als een robot die alleen "Goed" of "Slecht" zegt, maar niet weet waarom.
  • Resultaat: Het werkt redelijk, maar de robot is niet heel creatief en maakt soms domme fouten als de vraag net anders is dan hij heeft geoefend.

• Methode 2: De Vriendelijke Vraag (Prompting)

  • De analogie: Hier geef je de robot geen nieuwe lessen, maar vraag je hem gewoon beleefd: "Hé, doe eens alsof je een strenge IELTS-examinator bent en geef dit essay een cijfer." Je geeft hem misschien een paar voorbeelden (zoals "kijk, dit essay kreeg een 7,0").
  • Resultaat: Dit is snel en goedkoop. Soms is de robot verrassend goed, maar soms raakt hij in de war als je de vraag net iets anders stelt. Het is alsof je een vriend vraagt om te helpen: soms is hij perfect, soms heeft hij een slechte dag.

• Methode 3: De Gespecialiseerde Expert met Handboek (Instruction Tuning + RAG)

  • De analogie: Dit is de winnaar van de studie. Je leert de robot niet alleen hoe hij moet beoordelen, maar je geeft hem ook een handboek (de officiële IELTS-regels) en voorbeeldessays die hij tijdens het nakijken kan opzoeken.
  • Het geheim: De robot is opgesplitst in vier kleine experts. Eén kijkt alleen naar de inhoud, één naar de structuur, één naar het woordgebruik en één naar de grammatica. Ze kijken allemaal in hun eigen handboek.
  • Resultaat: Dit werkt het beste! De robot is nu extreem nauwkeurig (93% score) omdat hij zich strikt houdt aan de regels en voorbeelden.

• Methode 4: De Menselijke Trainer met Feedback (SFT + DPO)

  • De analogie: Hier leer je de robot niet alleen cijfers te geven, maar ook hoe hij moet praten. Je laat hem zien: "Als je deze tekst beoordeelt, zeg dan dit (goed), en niet dat (slecht)." Je traint hem om te denken zoals een menselijke leraar die constructieve feedback geeft.
  • Resultaat: De cijfers zijn bijna net zo goed als bij Methode 3, maar de feedback die de robot geeft, klinkt veel menselijker en nuttiger voor de leerling. Het is alsof je een robot hebt die niet alleen cijft, maar ook echt begrijpt wat de leerling nodig heeft.

2. De grote ontdekkingen

De onderzoekers ontdekten een belangrijke afweging, net zoals bij het kopen van een auto:

• Prijs vs. Kwaliteit: De simpele methoden (Methode 1 en 2) zijn goedkoop en snel, maar de auto rijdt niet altijd veilig. De geavanceerde methoden (3 en 4) kosten meer rekenkracht en tijd om te trainen, maar ze rijden als een Formule 1-auto: supersnel en veilig.
• De "Gouden Middenweg": Methode 3 (de gespecialiseerde experts met handboek) bleek de beste balans. Het was het meest nauwkeurig in het geven van het juiste cijfer.
• De "Menselijke Touch": Methode 4 was iets minder perfect in het cijfer, maar gaf de allerbeste uitleg. Als je wilt dat een leerling leert van zijn fouten, is dit de beste methode.

3. Conclusie voor de gewone mens

Stel je voor dat je een school hebt.

• Wil je duizenden examens in één nacht nakijken met een perfect cijfer? Kies dan voor Methode 3. Het is als een super-efficiënte machine die nooit moe wordt en zich aan de regels houdt.
• Wil je dat je leerlingen goede feedback krijgen om te verbeteren? Kies dan voor Methode 4. Het is als een geduldige tutor die uitlegt waarom iets fout is, in plaats van alleen een cijfer te plakken.

Deze studie laat zien dat we niet meer hoeven te kiezen tussen "goedkoop" of "goed". Door slimme technologie te combineren met menselijke regels, kunnen we nu een systeem bouwen dat zowel nauwkeurig is als leerzaam. Het is een enorme stap voorwaarts voor het onderwijs, waarbij AI de leraar niet vervangt, maar wel de zware last van het nakijken van hem afneemt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring", geschreven in het Nederlands.

Titel: Van Prompting naar Preferentie-Optimalisatie: Een Comparatieve Studie van LLM-gedreven Automatisch Essay Scoring

1. Probleemstelling

Automatisch Essay Scoring (AES) is een langdurig onderzoeksgebied binnen Natural Language Processing (NLP) dat gericht is op het automatisch beoordelen van geschreven teksten met een consistentie die vergelijkbaar is met menselijke beoordelaars. Hoewel er veel vooruitgang is geboekt, blijven bestaande studies vaak gefragmenteerd:

• Isolatie van technieken: Bestaand onderzoek analyseert methoden zoals prompting, fine-tuning of retrieval-augmented generation (RAG) vaak los van elkaar, zonder een systematische vergelijking van hun onderlinge prestaties.
• Gebrek aan benchmarks voor L2: Er is geen unificerend benchmark dat moderne Large Language Model (LLM)-strategieën vergelijkt specifiek voor Engels als Tweede Taal (L2), zoals IELTS Writing Task 2.
• Trade-offs: Het is onduidelijk welke balans er bestaat tussen nauwkeurigheid, kosten (rekenkracht/tijd) en robuustheid bij verschillende aanpassingsparadigma's voor LLM's.

Het doel van dit onderzoek is deze kloof te dichten door een uitgebreide vergelijking uit te voeren van vier hoofdparadigma's voor AES op een unificerend benchmark.

2. Methodologie

De auteurs evalueren vier representatieve benaderingen op een geconsolideerd dataset van IELTS Writing Task 2 (10.328 essays, met trainings- en testsets). De dataset bevat prompts, essays, en scores gebaseerd op de vier officiële IELTS-criteria: Task Response (TR), Coherence and Cohesion (CC), Lexical Resource (LR) en Grammatical Range and Accuracy (GRA).

De vier onderzochte paradigma's zijn:

1. Discriminatieve Fine-Tuning (A1):

   • Methode: Encoder-based modellen (zoals RoBERTa en GPT-2-encoder) worden getraind als classificatiemodellen die essays direct afbeelden naar discrete band-scores (0.0 tot 9.0).
   • Doel: Fungeren als een sterke neurale baseline.
   • Beperking: Genereert alleen scores, geen kwalitatieve feedback.

2. In-Context Learning (A2):

   • Methode: Gebruik van generatieve LLM's (zoals GPT-4o, Llama-3-70B, Gemini) via zero-shot en few-shot prompting. De modellen fungeren als examinator zonder parameter-updates.
   • Variatie: Vergelijking van gesloten (propriëtaire) versus open-source modellen.

3. k-Instruction Tuning met Retrieval-Augmented Generation (RAG) (A3):

   • Methode: Een hybride aanpak waarbij het model wordt getuned op instructies specifiek voor de 4 IELTS-criteria (k=4).
   • RAG: Externe voorbeelden en scoringrichtlijnen worden opgehaald om hallucinaties te verminderen en de voorspellingen te "gronden" in de rubriek.
   • Techniek: Gebruik van LoRA (Low-Rank Adaptation) voor parameter-efficiënt fine-tuning. Het model genereert gescheiden scores per criterium die worden geaggregeerd tot een totaalscore.

4. Supervised Fine-Tuning (SFT) met Direct Preference Optimization (DPO) en RAG (A4):

   • Methode: Een geavanceerde pijplijn: eerst SFT voor het genereren van score-feedback paren, gevolgd door DPO om het model af te stemmen op menselijke voorkeuren (gebaseerd op geprefereerde feedback).
   • RAG: Integratie van opgehaalde voorbeelden tijdens inferentie.
   • Doel: Verbetering van de kwaliteit van feedback en kalibratie, niet alleen de nauwkeurigheid van de score.

3. Belangrijkste Bijdragen

• Eerste Unificerend Benchmark: De studie introduceert het eerste benchmark dat systematisch vier grote LLM-aanpassingsparadigma's vergelijkt voor AES in Engels L2.
• Criterium-bewust Framework: Ontwikkeling van een framework dat instruction tuning, RAG en preferentie-optimalisatie combineert om voorspellingen af te stemmen op de complexe IELTS-rubrieken.
• Empirische Trade-off Analyse: Het onthullen van duidelijke afwegingen tussen nauwkeurigheid, kosten en robuustheid, wat praktische richtlijnen biedt voor het implementeren van AES-systemen.
• Open Source: De code en dataset zijn publiek beschikbaar gesteld.

4. Resultaten

De resultaten tonen een duidelijke hiërarchie in prestaties (van laag naar hoog):

• Discriminatieve Fine-Tuning (A1): Matige prestaties (F1-score < 0.31), beperkt in het vangen van nuance.
• Prompting (A2): Flexibel, maar vertoont grote variatie en hoge kosten bij gesloten modellen. Open-source modellen presteerden vaak slechter zonder tuning.
• Instruction Tuning (A3): Significante verbetering ten opzichte van puur prompting.
• k-Instruction Tuning + RAG (A3+RAG): De beste configuratie. Het model Llama-3.1-8B met k-instruction tuning en RAG bereikte de hoogste nauwkeurigheid (Accuracy: 0.9902, F1-Score: 0.9350).
• SFT + DPO + RAG (A4): Bereikte bijna optimale nauwkeurigheid (F1: 0.9250) met de laagste foutmarges (RMSE/MAE), wat wijst op beter gekalibreerde voorspellingen.

Kostenefficiëntie:

• A3+RAG bleek de meest effectieve balans te bieden tussen hoge nauwkeurigheid en redelijke trainingskosten.
• A4 bood de beste feedbackkwaliteit maar vereiste de hoogste rekenkosten (9,5 uur training vs. 7,2 uur voor A3).

Kwalitatieve Analyse (Case Study):

• A3+RAG excelleerde in het leveren van precieze, criterium-specifieke feedback en exacte band-scores.
• A4 leverde holistischere, meer natuurlijke feedback die leek op die van een menselijke examinator, maar soms iets afweek in de exacte scorevoorspelling.

5. Betekenis en Conclusie

De studie concludeert dat er geen "one-size-fits-all" oplossing is, maar dat de keuze van de methode afhangt van het toepassingsdoel:

• Voor hoge-stakes beoordeling (waar exacte scores cruciaal zijn) is k-instruction tuning met RAG de aanbevolen strategie vanwege de superieure nauwkeurigheid en diagnostische precisie.
• Voor formatief leren (waar kwalitatieve, leerzame feedback belangrijk is) is SFT met DPO geschikter, omdat het meer gestructureerde en pedagogisch waardevolle feedback genereert.

De auteurs benadrukken dat de integratie van retrieval (RAG) en preferentie-optimalisatie (DPO) essentieel is voor het overwinnen van de beperkingen van eerdere neurale AES-systemen, waardoor LLM's een robuustere en betrouwbaardere rol kunnen spelen in het beoordelen van Engels als tweede taal.