The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost

1. Probleemstelling

Geautomatiseerde scoring van gestructureerde antwoorden (bijvoorbeeld korte antwoorden, gesprekken) is cruciaal voor schaalbaar educatief assessment, maar staat voor uitdagingen op het gebied van consistentie, kosten en nauwkeurigheid. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken voor scoring in zero-shot of few-shot scenario's, blijven twee specifieke optimalisatiestrategieën in educatieve contexten onderbelicht:

1. Zelfconsistentie (Ensembling): De hypothese dat het aggregeren van meerdere modeloutput (meerderheidsstemming) de nauwkeurigheid verbetert door ruis te gladstrijken.
2. Redeneerinspanning: Het gebruik van "denkende" modellen die interne Chain-of-Thought (CoT)-sporen genereren voordat ze antwoorden, met de aanname dat diepere overweging leidt tot hogere nauwkeurigheid.

Vorig onderzoek suggereert dat deze methoden goed werken voor objectieve redeneertaken (zoals wiskundeproblemen met één correct antwoord), maar mogelijk niet vertaalbaar zijn naar rubric-gebaseerde scoring, waarbij correctheid subjectieve beoordeling vereist. Bovendien is de kosten-batenafweging van deze strategieën bij grootschalige educatieve implementaties onduidelijk.

2. Methodologie

Data en Context

• Dataset: 900 studentenconversaties uit Khan Academy's "Explain Your Thinking" (EYT)-items in middelbare schoolwiskunde (Algebra I en Meetkunde).
• Structuur: Elk item omvat een geselecteerd-response-vraag gevolgd door een door AI geleid gesprek.
• Scoringsrubric: Dichotome (binaire) checklists met 2–3 criteria per gesprek.
• Grondwaarheid: Scores gegenereerd door drie getrainde menselijke beoordelaars, waarbij de meerderheidsstemming dient als grondwaarheid (totaal 2.100 criteriascores).

Geëvalueerde Modellen

De studie vergeleek frontier- en low-cost-modellen van twee aanbieders (OpenAI en Google):

• OpenAI: GPT-5.4 (Frontier), GPT-5.4 Mini, GPT-5.4 Nano.
• Google: Gemini 3.1 Pro Preview (Frontier), Gemini 3 Flash Preview.

Experimenteel Ontwerp

De studie manipuleerde twee variabelen:

1. Zelfconsistentie (Ensemblegrootte, $j$): Geteste ensemblegroottes van $j=1, 3, 5, 7$.
   • Beperking: Temperatuur-sampling ($temp=1$) werd gebruikt voor ensembling om variatie te induceren. Deterministische calls ($temp=0$) dienden als baseline.
   • Opmerking: Redeneermodellen (OpenAI's reasoning_effort en Google's thinking_level) waren beperkt tot "geen" of "minimaal" voor de zelfconsistentie-analyse om prohibitieve kosten te voorkomen.
2. Redeneerinspanning: Geteste niveaus variërend van "geen/minimaal" tot "laag", "medium" en "hoog".
   • Beperking: Geanalyseerd als single calls ($j=1$) bij $temp=1$.

Metrieken

• Nauwkeurigheid: Gemeten met Cohen's $\kappa$ (overeenkomst met menselijke grondwaarheid) en Generalized Linear Mixed Models (GLMM's) voor statistische significantie.
• Kosten: Geschat op basis van API-prijzen (tarieven maart 2026), waarbij input/output-tokens en redeneertokens per 1.000 calls worden berekend.
• Efficiëntiegrens: Een Pareto-optimale analyse waarbij Nauwkeurigheid ($\kappa$) tegen Kosten wordt uitgezet om optimale configuraties te identificeren.

3. Belangrijkste Resultaten

R1: Zelfconsistentie (Ensembling)

• Hoge Intra-model Consistentie: Modellen waren zeer consistent met zichzelf (Fleiss' $\kappa$ tussen 0,88 en 0,97) zelfs bij $temp=1$. Dit geeft aan dat modellen stabiele scorepatronen produceren ongeacht willekeur, in plaats van variabele redeneerpaden.
• Geen Nauwkeurigheidswinst: Het vergroten van de ensemblegrootte van $j=1$ naar $j=7$ resulteerde in geen significante verbetering in scorenauwkeurigheid ($p = .379$).
• Temperatuureffect: Stochastische calls ($temp=1$) waren significant nauwkeuriger dan deterministische calls ($temp=0$) voor specifieke modellen (GPT-5.4 Mini/Nano), maar ensembling voegde geen waarde toe boven een enkele stochastische call.

R2: Redeneerinspanning

• Positieve Lineaire Trend: Over het algemeen correleerde hogere redeneerinspanning met hogere nauwkeurigheid ($b=0.145, p < .001$).
• Modelheterogeniteit: Het voordeel varieerde aanzienlijk per modelfamilie:
  • Gemini 3.1 Pro Preview: Behield de hoogste nauwkeurigheid ($\kappa \approx 0.794$) over alle redeneerniveaus, met weinig gevoeligheid voor de parameter.
  • GPT-5.4 Nano/Mini: Presteerde beter met geen redenering dan met lage redeneerinspanning. De nauwkeurigheid daalde bij "lage" inspanning voordat het zich herstelde bij "medium/hoog".
  • Gemini 3 Flash: Toonde een duidelijke trend van verbetering van minimaal naar medium redeneren, gevolgd door een plateau.
• Conclusie: Hogere redeneerinspanning is geen universele oplossing; het kan de prestaties verslechteren bij kleinere modellen of specifieke configuraties.

R3: Kosten-efficiëntie Analyse

• Kostenvariatie: Kosten varieerden sterk op basis van modelgrootte en redeneertokens.
  • Laagste Kosten: GPT-5.4 Nano (Geen redenering) bij $0,27 per 1.000 calls.
  • Hoogste Kosten: GPT-5.4 (Hoge redenering) bij $6,12 per 1.000 calls.
• Anomalieën: Gemini 3 Flash Preview toonde een tegenintuïtieve kostenpiek bij "medium" redeneren door overmatige generatie van thinking-tokens (716 tokens) vergeleken met "hoog" redeneren (417 tokens).
• Efficiëntiegrens:
  • Beste Waarde: GPT-5.4 Nano en Mini (Geen redenering) boden bijna grenswaarde-nauwkeurigheid ($\kappa \approx 0.75$) voor een fractie van de kosten.
  • Beste Nauwkeurigheid: Gemini 3.1 Pro Preview (Lage redenering) bood de hoogste nauwkeurigheid ($\kappa \approx 0.794$), maar tegen 4–15x de kosten van de meest efficiënte opties.
  • Inefficiëntie: Het verhogen van de redeneerinspanning voor GPT-5.4 en mid-tier modellen voegde over het algemeen kosten toe zonder evenredige nauwkeurigheidswinst, waardoor ze van de Pareto-grens werden geduwd.

4. Belangrijkste Bijdragen

1. Ontmaskeren van Zelfconsistentie voor Scoring: De studie levert empirisch bewijs dat zelfconsistentie (meerderheidsstemming) de nauwkeurigheid van geautomatiseerde scoring voor rubric-gebaseerde taken niet verbetert, aangezien modellen zelfs bij fouten hoge interne consistentie vertonen.
2. Nuance in Redeneerinspanning: Het toont aan dat "meer redeneren" niet altijd beter is. Voor sommige modellen (bijv. GPT-5.4 Mini/Nano) leveren het uitschakelen van redeneerfuncties superieure resultaten op in vergelijking met lage-inspanningsredeneringsmodi.
3. Kosten-Nauwkeurigheidsafweging Mapping: Het paper vestigt een duidelijke efficiëntiegrens, waarbij wordt geïdentificeerd dat low-cost modellen zonder redenering vaak de beste balans bieden voor grootschalige implementatie, terwijl high-cost frontier-modellen alleen gerechtvaardigd zijn voor specifieke hoge-stakes nauwkeurigheidsvereisten.
4. Praktische Implementatie Richtlijnen: Het biedt actieadvies voor educatieve technologen: prioriteer temperatuur-sampling ($temp=1$) boven ensembling, en selecteer redeneerniveaus zorgvuldig op basis van de specifieke modelfamilie in plaats van aan te nemen dat standaardinstellingen optimaal zijn.

5. Betekenis en Beperkingen

• Betekenis: De bevindingen daag de heersende aanname uit dat "ensemble-methoden" en "diep redeneren" universeel superieur zijn voor LLM-toepassingen in het onderwijs. Het verlegt de focus naar strategische modelselectie en parameter tuning als primaire hefbomen voor het optimaliseren van kosten en nauwkeurigheid.
• Beperkingen:
  • Bereik: Beperkt tot dichotome scoring in middelbare schoolwiskunde; resultaten zijn mogelijk niet generaliseerbaar naar polytome essay-scoring of andere vakken.
  • Temporele Validiteit: Kosten- en prestatiecijfers zijn specifiek voor de modelversies en API-prijzen beschikbaar in maart 2026; snelle modeliteratie kan deze cijfers wijzigen.
  • Ensembling Bereik: Alleen intra-model ensembling is getest; inter-model ensembling (combineren van verschillende architecturen) is niet onderzocht.

Conclusie: Voor geautomatiseerde scoring van korte antwoorden is de optimale strategie vaak een single call met een low-cost model (bijv. GPT-5.4 Nano) met temperatuur-sampling en geen/laag redeneerinspanning, in plaats van dure ensembling of hoge-inspanningsredeneringsconfiguraties.