Large language model scoring of medical student reflection essays: Accuracy and reproducibility of prompt-model variations

De studie concludeert dat grote taalmodellen, met name bij gebruik van fijnafstemming en voorbeelden, reflectie-essays van medische studenten met bijna perfecte nauwkeurigheid en reproduceerbaarheid kunnen beoordelen, waarbij de kosten en prestaties variëren afhankelijk van het model en de schaal.

De kern

Stel je voor dat je een leraar bent die honderden reflectie-essays van medische studenten moet nakijken. Elke essay is een verhaal over een ervaring die de student heeft gehad. Het nakijken van deze verhalen is lastig: het kost veel tijd, het is duur om mensen in te huren om dit te doen, en twee verschillende leraren kunnen vaak tot verschillende cijfers komen voor hetzelfde verhaal.

Deze studie onderzoekt of we kunstmatige intelligentie (AI), specifiek grote taalmodellen (zoals de "hersenen" achter chatbots), kunnen gebruiken om deze essays automatisch te nakijken. Maar niet zomaar: de onderzoekers wilden weten welke "recept" (prompt) het beste werkt.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Grote Experiment: De AI als "Super-Beoordelaar"

De onderzoekers namen 51 essays (15 echte en 36 door een andere AI gegenereerde) en lieten ze nakijken door verschillende versies van de AI. Ze veranderden de instructies die ze aan de AI gaven, alsof ze een chef-kok zijn die verschillende recepten uitprobeert om de perfecte soep te maken.

Ze testten 29 verschillende "recepten" (prompt-model combinaties), variërend van:

• De basisinstructie: "Je bent een beoordelaar, geef een cijfer."
• De "Voorbeeldjes" methode (Few-shot): "Hier zijn drie voorbeelden van essays met de juiste cijfers en uitleg. Gebruik deze als leidraad."
• De "Denk-stap-voor-stap" methode (Chain-of-thought): "Denk eerst na over elk onderdeel voordat je een cijfer geeft."
• De "Gespecialiseerde" methode (Fine-tuning): De AI werd eerst getraind met 18 voorbeeld-essays voordat ze aan het echte werk begon.

2. De Resultaten: Wat werkt het beste?

De "Voorbeeldjes" zijn goud waard
Stel je voor dat je iemand vraagt om een schilderij te maken. Als je alleen zegt "maak een mooi schilderij", is het resultaat wisselend. Maar als je drie voorbeelden laat zien van wat je precies bedoelt (een "voorbeelden-boekje"), maakt de AI veel betere schilderijen.

• Conclusie: De AI gaf veel nauwkeurigere cijfers als ze voorbeelden kreeg om naar te kijken.

De "Gespecialiseerde" AI (Fine-tuning) is de beste, maar duurder
Dit is alsof je een AI eerst een intensieve cursus geeft (met 18 voorbeeld-essays) voordat je haar de taak geeft.

• Voordeel: Ze is extreem nauwkeurig, bijna net zo goed als een menselijke expert.
• Nadeel: Het kost geld om die cursus te geven (de "fine-tuning" kosten).
• De slimme truc: Als je maar een paar essays hebt, is die cursus te duur. Maar als je 10.000 essays moet nakijken, verdien je die investering terug. Het wordt dan goedkoper per essay dan het gebruik van een simpele AI.

Meer regels = Betere cijfers
De onderzoekers gaven de AI soms een heel gedetailleerde "scorelijst" (rubric) en soms maar een paar regels.

• Vergelijking: Als je een speler in een spel alleen zegt "speel goed", doet hij dat willekeurig. Als je een lijstje geeft met "doel: 1 punt, assist: 2 punten, schone schone: 3 punten", speelt hij veel consistenter.
• Conclusie: Hoe meer details de AI kreeg over hoe ze moest scoren, hoe beter ze was.

Wat werkte niet zo goed als verwacht?
Sommige populaire AI-trucs uit het verleden bleken hier minder nuttig:

• Het "Denk-stap-voor-stap" verzoek: De onderzoekers dachten dat als ze de AI vroegen om hardop na te denken ("Laten we stap voor stap denken..."), het cijfer beter zou worden. Maar nee, bij deze moderne AI's maakte dat weinig verschil, en het kostte zelfs meer tijd.
• De "Persoonlijkheid": Het maakt niet uit of je de AI vraagt om zich voor te doen als een "onderzoeker" of een "leraar". Het cijfer bleef hetzelfde.

3. Kosten en Snelheid: De "Snelle Auto" vs. de "Formule 1"

• De goedkope auto (GPT-4.1-mini): Deze AI is snel en kost bijna niets (ongeveer 4 cent voor 100 essays). Ze doet het "bijna perfect" goed. Voor een school met weinig essays is dit de winnaar.
• De Formule 1 (Fine-tuned GPT-4.1): Deze is het snelst en nauwkeurigst, maar de brandstof (kosten) is duurder als je maar kort rijdt. Als je echter een hele lange race moet rijden (10.000 essays), is deze auto op de lange termijn het goedkoopst en het meest betrouwbaar.

4. Het Grote Nieuws: AI is klaar voor de klas

De belangrijkste boodschap van dit onderzoek is dat AI tegenwoordig zo slim is geworden dat ze essays kan nakijken met een nauwkeurigheid die "bijna perfect" is (beter dan 97% van de gevallen).

• Voor kleine groepen: Gebruik een simpele instructie met een goedkoop model. Het is snel, goedkoop en betrouwbaar.
• Voor grote groepen: Investeer in het "trainen" (fine-tuning) van de AI. Dan krijg je de beste kwaliteit voor de laagste prijs per essay.

Kortom:
Vroeger waren computers te dom om te begrijpen wat er in een verhaal zat. Tegenwoordig is de AI als een super-leraar die niet moe wordt, nooit een slechte dag heeft, en voor een paar centen per honderd essays kan nakijken. De kunst is niet meer om de AI te "overhalen" om slim te zijn, maar om de juiste instructies te geven zodat ze die slimheid ook echt gebruikt.

Technische samenvatting

Probleemstelling

Het beoordelen van kwalitatieve narratieve assessments, zoals reflectie-essays van medische studenten, is essentieel voor het meten van leerlingcompetenties die niet via meerkeuzevragen te toetsen zijn. Echter, het handmatig scoren van deze essays door menselijke beoordelaars brengt praktische uitdagingen met zich mee, waaronder hoge kosten, beperkte beschikbaarheid van beoordelaars, trainingsvereisten en inconsistenties in scoring (bijv. vermoeidheid, strengheid/soepelheid).

Hoewel geautomatiseerde essay-scoring (AES) systemen al bestaan, zijn deze vaak beperkt door de noodzaak van technische expertise, hoge ontwikkelkosten en het gebruik van simpele rubrieken die zich richten op grammatica in plaats van inhoudelijke redenering. De opkomst van Large Language Models (LLM's), zoals OpenAI GPT, biedt een potentieel oplossing, maar er ontbreekt nog solide bewijs voor de nauwkeurigheid, reproduceerbaarheid en kostenefficiëntie van verschillende prompt-engineering strategieën en modelkeuzes voor deze specifieke toepassing.

Methodologie

De studie evalueerde de prestaties van OpenAI GPT-modellen bij het scoren van 51 medische reflectie-essays (15 echte, 36 door een andere LLM gegenereerde essays) aan de hand van een bestaande 6-punts rubriek ("Reflective Ability Rubric").

Experimenteel Ontwerp:

• Dataset: 51 essays werden 6 keer gescoord onder verschillende condities (totaal 306 datapunten per conditie, behalve voor fine-tuning waar 36 essays werden gebruikt).
• Variabelen (Prompt-Model Condities): Er werden 29 verschillende condities getest door systematisch te variëren in:
  • Modellen: GPT-4.1, GPT-4.1-mini, GPT-o4-mini, GPT-4o, GPT-4-Turbo, GPT-3.5-Turbo.
  • Fine-tuning: Modellen die waren voorgeïmplementeerd (fine-tuned) met 18 trainingsessays versus niet-fine-tuned.
  • Few-shot learning: Het gebruik van 0, 1 of 3 voorbeelden (exemplars) in de prompt.
  • Rubriek: Volledige rubriek (6 niveaus) versus gedeeltelijke rubriek (3 of 1 niveau's) versus geen rubriek.
  • Prompt-strategieën: Persona (beoordelaar vs. onderzoeker), Chain-of-Thought (generiek vs. specifiek), volgorde van output (feedback eerst vs. score eerst), temperatuur (0.2, 0.7, 1.0), en type feedback (leraargericht vs. beoordelaar-gericht).
• Referentiestandaard: De scores van menselijke beoordelaars (die de essays hadden getraind en gescoord) dienden als de "ground truth".
• Analyse:
  • Nauwkeurigheid: Gemeten via Intraclass Correlation Coefficient (ICC) en Mean Absolute Difference (MAD) tussen LLM-scores en menselijke scores.
  • Reproduceerbaarheid: ICC binnen dezelfde conditie over de 6 replicaties.
  • Kosten: Berekend op basis van token-prijzen van OpenAI (per 100 essays en geamortiseerd over 10.000 essays).

Belangrijkste Bijdragen

1. Systematische Vergelijking: Dit is een van de eerste studies die een breed scala aan prompt-engineering technieken en LLM-generaties (inclusief de nieuwste modellen zoals GPT-4.1 en o4-mini) vergelijkt voor het scoren van medische reflectie-essays.
2. Kostenefficiëntie-analyse: De studie biedt een gedetailleerde kosten-batenanalyse, inclusief de impact van fine-tuning-kosten bij verschillende schalen (kleine vs. grote volumes).
3. Data-Generatie: De auteurs gebruikten een andere LLM (Gemini) om realistische, gecontroleerde test-essays te genereren, wat een nieuwe methode illustreert voor het creëren van validatie-data in AI-onderzoek.
4. Empirische Validatie van Prompt-strategieën: De studie testte veelgehoorde aannames over prompt-engineering (zoals Chain-of-Thought en Few-shot learning) tegen de feiten met moderne modellen.

Resultaten

• Algemene Nauwkeurigheid: De LLM's presteerden uitzonderlijk goed. Voor 28 van de 29 condities (97%) was de ICC > 0.80 ("bijna perfect") in vergelijking met menselijke beoordelaars.
• Invloed van Fine-tuning: Fine-tuned modellen waren significant nauwkeuriger dan niet-fine-tuned modellen (MAD verschil -0.24).
• Invloed van Exemplars (Few-shot learning): Condities met voorbeelden (exemplars) waren significant nauwkeuriger dan die zonder (MAD verschil -0.44). Het gebruik van 1 of 3 exemplars gaf vergelijkbare resultaten.
• Invloed van de Rubriek: Er was een duidelijke trend: hoe meer niveaus van de rubriek expliciet in de prompt werden opgenomen, hoe nauwkeuriger de scoring was. Condities zonder rubriek waren aanzienlijk minder nauwkeurig.
• Niet-significante Variabelen: In tegenstelling tot eerdere studies met oudere modellen, hadden variaties in Chain-of-Thought prompts, temperatuur, en persona geen significant effect op de nauwkeurigheid. Sommige "redenerende" prompts (zoals specifieke Chain-of-Thought) waren zelfs iets minder nauwkeurig en trager.
• Kosten:
  • Kleine volumes (100 essays): GPT-4.1-mini was het goedkoopst ($0.04 per 100 essays) met zeer goede prestaties. Fine-tuned modellen waren duurder door de eenmalige trainingskosten.
  • Grote volumes (10.000 essays): Fine-tuned modellen werden het goedkoopst ($0.20 per 100 essays voor fine-tuned GPT-4.1), omdat de eenmalige trainingskosten over veel essays werden uitgespreid.
• Reproduceerbaarheid: De reproduceerbaarheid (ICC > 0.80) was hoog voor bijna alle condities, wat aangeeft dat de LLM's zeer consistent scoren binnen dezelfde instellingen.

Significantie en Implicaties

• Haalbaarheid van Geautomatiseerd Scoren: De studie bevestigt dat LLM's met hoge nauwkeurigheid en reproduceerbaarheid kunnen worden ingezet voor het scoren van complexe narratieve medische assessments, wat de last voor educatoren aanzienlijk kan verlichten.
• Best Practices voor Prompt Engineering:
  • Voor hoge nauwkeurigheid is het gebruik van exemplars (few-shot learning) en een volledige rubriek cruciaal.
  • Chain-of-Thought en complexe redeneringsprompts bieden geen extra voordeel voor deze specifieke taak met moderne modellen en kunnen de kosten en verwerkingstijd onnodig verhogen.
  • Fine-tuning is kosteneffectief alleen bij zeer grote aantallen essays; voor kleinere volumes zijn niet-fine-tuned modellen (zoals GPT-4.1 of 4.1-mini) met een goede prompt voldoende.
• Toekomstgericht: De resultaten suggereren dat de snelheid van verbetering in LLM-technologie betekent dat eerdere bevindingen over prompt-engineering (vaak gebaseerd op oudere modellen) mogelijk verouderd zijn. Onderzoek moet continu worden bijgewerkt met de nieuwste modellen.
• Praktische Toepassing: Onderwijsinstellingen kunnen nu met vertrouwen LLM's gebruiken voor het beoordelen van reflectie-essays, waarbij ze kunnen kiezen tussen een goedkope, snelle oplossing (GPT-4.1-mini) of een hoogwaardige, schaalbare oplossing (fine-tuned modellen) afhankelijk van hun volume.