💬 NLP

Confidence Estimation in Automatic Short Answer Grading with LLMs

Dit artikel stelt een hybride vertrouwensframework voor voor automatische beoordeling van korte antwoorden dat modelgebaseerde signalen combineert met dataset-afgeleide aleatorische onzekerheid om betrouwbaardere vertrouwensschattingen te genereren en de prestaties van selectieve beoordeling te verbeteren ten opzichte van benaderingen met één bron.

Oorspronkelijke auteurs: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een klaslokaal voor waar een robotleraar probeert korte antwoorden van leerlingen te beoordelen. De robot is zeer slim (het is een Groot Taalmodel, of LLM), maar niet perfect. Soms raakt hij in de war, en soms is het antwoord van de leerling gewoon vaag of moeilijk te begrijpen.

Het grote probleem is: Hoe weet de robot wanneer hij het niet zeker weet? Als de robot zegt: "Ik ben 90% zeker dat dit antwoord correct is", maar het is eigenlijk fout, dan is dat gevaarlijk. Het doel van dit paper is om de robot te leren zeggen: "Ik ben hier niet zeker van, een mens moet dit controleren."

Hieronder wordt uitgelegd hoe de onderzoekers dit hebben opgelost, in eenvoudige bewoordingen:

1. De Drie Manieren waarop de Robot zijn Eigen Zekerheid "Raadt"

De onderzoekers testten drie verschillende manieren voor de robot om ons te vertellen hoe zeker hij is:

De "Eerlijkheid"-Methode (Verbaliseren): Ze vroegen de robot simpelweg: "Op een schaal van 0 tot 1, hoe zeker ben je?" De robot bedacht gewoon een getal.
- Het Probleem: De robot is als een leerling die zelfverzekerd is, zelfs als hij het fout heeft. Hij neigt zijn eigen vaardigheden te overschatten.
De "Interne Wiskunde"-Methode (Latent): Ze keken naar de interne wiskunde van de robot. Wanneer de robot een antwoord kiest, berekent hij de waarschijnlijkheid van elk mogelijk woord dat hij als volgende zou kunnen zeggen. Ze gebruikten deze getallen om op zekerheid te gokken.
- Het Probleem: Dit was eigenlijk de slechtste methode. De interne wiskunde van de robot correspondeerde helemaal niet met de werkelijkheid.
De "Dubbelcheck"-Methode (Consistentie): Ze stelden de robot vijf keer dezelfde vraag met licht verschillende instellingen. Als de robot elke keer hetzelfde antwoord gaf, namen ze aan dat hij zeker was. Als hij van mening veranderde, namen ze aan dat hij het niet zeker wist.
- Het Resultaat: Dit was acceptabel, maar niet perfect.

2. Het Ontbrekende Puzzelstuk: De "Verwarrende Vraag"-Factor

De onderzoekers realiseerden zich dat de zekerheid van de robot niet het enige was dat telde. Soms is de vraag zelf of het antwoord van de leerling van nature verwarrend, ongeacht hoe slim de robot is.

De Analogie: Stel je voor dat een leerling schrijft: "De lucht is blauw vanwege de oceaan." Dit is een vreemde, dubbelzinnige zin. Zelfs een menselijke leraar zou kunnen discussiëren of hij punten moet geven of niet. Dit heet Aleatorische Onzekerheid (onzekerheid die voortkomt uit de data zelf).
De Oplossing: De onderzoekers creëerden een systeem om te meten hoe "rommelig" de antwoorden van de leerlingen waren. Ze groepeerden op elkaar lijkende antwoorden samen. Als een groep vergelijkbare antwoorden een mix had van "Correct" en "Incorrect" beoordelingen van mensen, werd die groep gelabeld als "Hoogst Verwarrend".

3. De "Hybride" Super-Zekerheid

De onderzoekers combineerden de eigen zekerheidssignalen van de robot met deze nieuwe "Verwarrende Vraag"-meting.

De Metafoor: Denk aan de robot als een weerberichter.
- De interne zekerheid van de robot is als de weerberichter die zegt: "Mijn computermodel zegt dat het gaat regenen."
- De dataset-onzekerheid is als naar buiten kijken en zien: "Maar de lucht is eigenlijk helder en zonnig."
- Als je alleen luistert naar het computermodel, neem je misschien een paraplu mee terwijl je dat niet nodig hebt. Maar als je het model combineert met de feitelijke luchtomstandigheden, krijg je een veel betere voorspelling.

Door de "Ik denk dat ik dit weet" van de robot te mengen met de "Deze vraag is eigenlijk lastig"-data, creëerden ze een Hybride Zekerheidsscore.

4. Wat gebeurde er? (De Resultaten)

De onderzoekers testten deze nieuwe Hybride Score tegenover de oude methoden:

Betere Sortering: Toen ze de Hybride Score gebruikten om de "twijfelachtige" antwoorden eruit te filteren en naar mensen te sturen, had de robot veel vaker gelijk bij de overige antwoorden. Het was als een portier bij een club die veel beter in staat is nep-identiteitsbewijzen te spotten.
Eerlijker: De oude methoden liegen vaak (ze zeiden dat ze 90% zeker waren terwijl ze maar 60% zeker waren). De Hybride Score was veel eerlijker. Als deze 80% zei, had hij het 80% van de tijd echt goed.

5. Waarom Dit Belangrijk Is

Het paper concludeert dat je niet kunt vertrouwen op de interne gevoelens van de robot alleen om te weten of het goed zit. Je moet ook kijken naar hoe rommelig of dubbelzinnig de antwoorden van de leerlingen zijn.

Door deze Hybride Zekerheid te gebruiken, kunnen scholen AI veilig gebruiken om de meeste antwoorden automatisch te beoordelen, terwijl ze alleen de echt verwarrende of riskante antwoorden naar menselijke leraren sturen. Dit bespaart tijd voor leraren en zorgt ervoor dat leerlingen eerlijke cijfers krijgen, omdat de AI precies weet wanneer hij moet zeggen: "Ik heb hulp nodig bij deze."

1. Probleemstelling

Automatische beoordeling van korte antwoorden (ASAG) met behulp van Large Language Models (LLMs) heeft sterke prestaties getoond zonder taakspecifieke fine-tuning en kan synthetische feedback genereren. Echter, beoordeling op basis van LLM's is niet perfect vanwege linguïstische variabiliteit, ambiguïteit in scorecriteria en inherente onenigheid tussen menselijke beoordelaars.

In Human-in-the-Loop (HITL) educatieve beoordeling moeten systemen beslissen welke antwoorden automatisch worden beoordeeld en welke aan menselijke experts worden doorverwezen. Dit vereist betrouwbare schatting van vertrouwen. Huidige uitdagingen omvatten:

Onvoldoende studie: Het merendeel van het bestaande onderzoek naar vertrouwensschatting richt zich op Pre-trained Language Models (PLM's), niet op generatieve LLM's.
Modelcentrische bias: Bestaande methoden vertrouwen uitsluitend op modelgebaseerde signalen (epistemische onzekerheid) en negeren uit het dataset afgeleide onzekerheid (aleatorische onzekerheid) die voortkomt uit ambiguïteit of onvoldoende specificatie in studentenantwoorden.
Gebrek aan betrouwbaarheid: Vertrouwensscores worden vaak gebruikt voor eenvoudige drempelbepaling zonder rigoureuze betrouwbaarheidsanalyse, wat leidt tot oververtrouwen of verkeerde kalibratie bij kritieke educatieve beslissingen.

2. Methodologie

De auteurs stellen een Hybride Vertrouwenskader voor dat modelgebaseerde vertrouwenssignalen integreert met een expliciete schatting van uit het dataset afgeleide aleatorische onzekerheid.

A. Modelgebaseerde Vertrouwenssignalen (Epistemische Onzekerheid)

De studie evalueert drie distincte strategieën voor het extraheren van vertrouwen uit een LLM (specifiek gpt-oss-20b):

Verbaliseren: Het model vragen om expliciet een vertrouwensscore (kans) uit te voeren naast zijn beoordelingsbeslissing.
Latent: Het berekenen van de genormaliseerde log-likelihood van het voorspelde label-token met behulp van de interne kansverdeling van het model (softmax over label-tokens).
Consistentie: Het nemen van meerdere steekproeven van voorspellingen bij variërende temperaturen (0,2 tot 1,0) en het meten van de frequentie waarmee het model hetzelfde label teruggeeft (stabiliteit).

Opmerking: Alle scores zijn zo georiënteerd dat hogere waarden aangeven dat er meer vertrouwen is dat een antwoord correct is.

B. Uit Dataset Afgeleide Onzekerheid (Aleatorische Onzekerheid)

Om ambiguïteit inherent aan de data te vangen (bijvoorbeeld antwoorden die semantisch vergelijkbaar zijn maar conflicterende menselijke labels hebben), operationaliseren de auteurs aleatorische onzekerheid via semantische heterogeniteit:

Embedding: Studentenantwoorden worden ingebed met behulp van all-MiniLM-L6-v2.
Clustering: Agglomeratieve hiërarchische clustering (Ward-linkage) groepeert semantisch vergelijkbare antwoorden.
Kwantificering van Heterogeniteit: Voor elke cluster wordt de Shannon-entropie van de labelverdeling berekend. Hoge entropie geeft aan dat semantisch vergelijkbare antwoorden verschillende scores krijgen van menselijke beoordelaars, wat wijst op hoge ambiguïteit.
Toewijzing: Testantwoorden krijgen de entropiewaarde van hun dichtstbijzijnde clustercentroïde toegewezen.

C. Vertrouwensfusie

De modelgebaseerde signalen ( $s_{verb}, s_{lat}, s_{cons}$ ) en de proxy voor aleatorische onzekerheid ( $s_{alea}$ ) worden gecombineerd tot een feature-vector.

Classificator: Een Random Forest-classificator wordt getraind om deze features te mappen naar de kans op een correcte beoordeling.
Kalibratie: De uitvoerkansen worden post-hoc gekalibreerd met behulp van Platt-scaling (via 5-voudige cross-validatie) om ervoor te zorgen dat de voorspelde kansen overeenkomen met empirische frequenties.
Basislijn: Een variant "Hybride (zonder aleatorisch)" wordt ook getraind om de bijdrage van uit het dataset afgeleide onzekerheid te isoleren.

D. Evaluatiemetrics

Selectieve Voorspelling: Gemeten via ROC-curven (AUROC) en Accuracy-Rejection Curves (AUARC). Dit evalueert het vermogen om fouten met laag vertrouwen eruit te filteren.
Betrouwbaarheid: Gemeten via Betrouwbaarheidsdiagrammen, Brier Score, Expected Calibration Error (ECE) en Maximum Calibration Error (MCE). Dit evalueert of een voorspelde zekerheid van $p$ daadwerkelijk overeenkomt met $p$ % nauwkeurigheid.

3. Belangrijkste Bijdragen

Systematische Vergelijking: Het eerste systematische onderzoek dat verbaliserende, latente en op consistentie gebaseerde vertrouwensstrategieën specifiek vergelijkt voor ASAG met LLM's.
Hybride Kader: Voorstellen van een nieuwe methode die modelgebaseerd vertrouwen fuseert met semantische heterogeniteit om aleatorische onzekerheid te schatten, waarmee de beperking van model-only benaderingen wordt aangepakt.
Empirische Validatie: Aantonen dat hybride vertrouwensscores zowel in selectieve beoordelingsnauwkeurigheid als in kalibratiebetrouwbaarheid significant beter presteren dan methoden met één bron, waardoor een principiële basis wordt geboden voor HITL-beoordeling.

4. Experimentele Resultaten

De experimenten werden uitgevoerd op SciEntsBank, een dataset van ongeveer 11.000 wetenschappelijke korte antwoorden.

Prestaties bij Selectieve Voorspelling:
- Enkele Bron: Latente vertrouwensschatting presteerde het slechtst (laagste AUROC). Verbaliseren en consistentie presteerden gemiddeld.
- Hybride: Het hybride model dat aleatorische onzekerheid integreerde, behaalde de hoogste AUROC (0,885) en AUARC (0,876).
- Impact: Bij een afwijzingspercentage van 40% (filteren van de 40% met het laagste vertrouwen) bereikte het hybride model 90,0% nauwkeurigheid op de overgebleven antwoorden, vergeleken met 70,4% zonder selectie. Het hybride model zonder aleatorische onzekerheid was concurrerend maar consequent lager, wat de waarde van het modelleren van data-ambiguïteit bewijst.
Betrouwbaarheid & Kalibratie:
- Enkele Bron: Verbaliseren toonde oververtrouwen (hoge MCE). Latent was slecht gekalibreerd. Consistentie had een lage gemiddelde fout maar een hoge maximale fout (geïsoleerde falen).
- Hybride: Het hybride model met aleatorische onzekerheid behaalde de laagste Brier Score (0,138) en laagste MCE (0,100). Het volgde de diagonaal in betrouwbaarheidsdiagrammen nauwkeurig, wat aangeeft dat zijn vertrouwensscores zeer betrouwbaar zijn.

5. Betekenis en Conclusie

Voorbij Modelsignalen: Het paper stelt vast dat alleen modelgebaseerd vertrouwen onvoldoende is voor ASAG. Ambiguïteit in studentenantwoorden (aleatorische onzekerheid) is een onderscheidende bron van fouten die expliciet moet worden gemodelleerd.
Veilige AI-implementatie: Door goed gekalibreerde vertrouwensscores te bieden, maakt het voorgestelde kader veiligere mens-AI-samenwerking mogelijk. Onderwijskundigen kunnen het systeem vertrouwen om antwoorden met hoog vertrouwen automatisch te beoordelen, terwijl ambiguïteitgevallen worden gemarkeerd voor menselijke beoordeling.
Praktische Beslissingsondersteuning: Het gebruik van Accuracy-Rejection Curves (ARC) biedt een praktisch hulpmiddel voor onderwijskundigen om beoordelingsnauwkeurigheid af te wegen tegen de kosten van handmatige beoordeling, verder gaand dan willekeurige drempelkeuzes.

Kortom, dit werk vult het veld van door AI ondersteund onderwijs aan door aan te tonen dat het integreren van semantische data-heterogeniteit met LLM-vertrouwenssignalen een robuuster, betrouwbaarder en interpreteerbaarder beoordelingssysteem creëert dat geschikt is voor implementatie in de echte wereld.