💬 NLP

When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment

Deze studie concludeert dat het vragen aan LLM's om hun eigen zekerheid te rapporteren de meest betrouwbare en kostenefficiënte methode is om te bepalen wanneer hun automatisch gegenereerde beoordelingen correct zijn, waardoor onzekere gevallen kunnen worden doorverwezen naar menselijke beoordeling.

Oorspronkelijke auteurs: Robinson Ferrer, Damla Turgut, Zhongzhou Chen, Shashank Sonkar

Gepubliceerd 2026-04-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Robinson Ferrer, Damla Turgut, Zhongzhou Chen, Shashank Sonkar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een schoolhoofd bent met honderden proefwerken te nakijken. Je hebt een nieuwe, slimme assistent: een kunstmatige intelligentie (een "LLM"). Deze assistent kan snel antwoorden controleren en cijfers geven. Maar er is een probleem: soms is de assistent heel zeker van zijn zaak, terwijl hij het eigenlijk helemaal fout heeft. Soms is hij juist heel voorzichtig, terwijl hij het goed heeft.

De vraag is: Wanneer kun je deze robot-assistent vertrouwen?

Deze studie van onderzoekers van de Universiteit van Centraal-Florida probeert precies dat antwoord te vinden. Ze willen niet per se de robot slimmer maken, maar ze willen een betrouwbare "waarschuwingslampje" bouwen. Als de robot zegt: "Ik ben 90% zeker dat dit antwoord goed is", dan moet die 90% ook echt betekenen dat hij in 9 op de 10 gevallen gelijk heeft.

Hier is hoe ze dit hebben onderzocht, vertaald in alledaagse termen:

1. Drie manieren om "zekerheid" te meten

De onderzoekers testten drie verschillende manieren om te vragen aan de robot: "Hoe zeker ben je van je antwoord?"

Manier A: De "Zelfverzekerde" (Self-reported): Je vraagt de robot gewoon: "Geef je antwoord en zeg erbij hoe zeker je bent." Het is alsof je een leerling vraagt: "Hoe zeker ben je van je antwoord?" en hij zegt: "Ik ben 9/10 zeker."
Manier B: De "Meerderheidsstem" (Self-consistency): Je laat de robot 5 keer hetzelfde antwoord bedenken. Als hij 5 keer hetzelfde zegt, is hij heel zeker. Als hij 3 keer "ja" en 2 keer "nee" zegt, is hij onzeker. Dit is alsof je de robot 5 keer laat nadenken en kijkt of hij steeds tot dezelfde conclusie komt.
Manier C: De "Interne Berekening" (Token probability): Je kijkt niet naar wat de robot zegt, maar naar de wiskundige kans die hij intern berekent. Het is alsof je in de hersenen van de robot kijkt om te zien hoe sterk de signalen zijn die naar "ja" of "nee" wijzen.

2. De verrassende uitkomst: Soms is "snel" beter dan "slim"

Je zou denken dat Manier B (de robot die 5 keer nadenkt) het meest betrouwbaar zou zijn. Maar dat bleek niet zo te zijn!

De winnaar: Manier A (De "Zelfverzekerde") deed het het beste. Als de robot gewoon zegt hoe zeker hij is, klopt dat getal het meest met de werkelijkheid. Het is alsof de robot een goed gevoel heeft voor zijn eigen kennis.
De verliezer: Manier B (De "Meerderheidsstem") was verrassend slecht, terwijl het 5 keer zo lang duurde om de antwoorden te genereren. Het was alsof je iemand 5 keer laat tellen, maar hij blijft toch telkens een andere fout maken. Het kostte veel tijd (rekenkracht), maar leverde geen betere zekerheid op.

3. Grotere robots zijn niet altijd beter in "zichzelf kennen"

De onderzoekers keken naar kleine en heel grote AI-modellen (van 4 miljard tot 120 miljard "neuronen").

Grote modellen geven over het algemeen betere antwoorden (hogere nauwkeurigheid).
Maar ze zijn niet per se beter in het inschatten van hun eigen zekerheid. Een grote robot kan net zo zeker van zijn zaak zijn als een kleine robot, terwijl hij het misschien net zo fout heeft. De "waarschuwingslampjes" moeten dus voor elke robot apart worden afgesteld.

4. Het probleem van de "Hoge Zekerheid"

Een heel belangrijke ontdekking is dat de robots extreem zelfverzekerd zijn.

De meeste antwoorden kregen een zekerheidsscore van 0,8 of hoger (80% of meer).
Er waren bijna geen antwoorden met een lage zekerheid (onder de 20%).
De analogie: Stel je voor dat je een kompas hebt dat bijna altijd naar het Noorden wijst, zelfs als je in het zuiden staat. Je kunt niet zeggen: "Alles boven 50% is goed." Je moet zeggen: "Alles boven 95% is goed."
Omdat de scores zo hoog liggen, moet je de drempel voor "automatisch goedkeuren" heel hoog leggen. Anders laat je te veel fouten door.

5. Wat betekent dit voor de praktijk?

De conclusie is een slimme manier om mens en machine samen te laten werken:

Vraag de robot om zijn zekerheid: Laat de AI gewoon zeggen hoe zeker hij is. Dat werkt het beste.
Gebruik een "Filter":
- Als de robot zegt: "Ik ben 95% zeker", laat het antwoord dan automatisch door.
- Als de robot zegt: "Ik ben 70% zeker", stop het antwoord dan bij een menselijke leraar voor controle.
Wees realistisch: Zelfs met de beste robots en de slimste filters, kun je maar een klein deel van de proefwerken volledig automatiseren (ongeveer 10-20%) als je wilt dat de foutmarge heel klein blijft. De rest moet door mensen worden gecontroleerd.

Kortom:
We hoeven niet te wachten tot AI perfect is. We kunnen nu al slimme systemen bouwen die weten wanneer ze hun eigen onzekerheid moeten erkennen. De beste manier om dat te doen is niet door de robot te laten "nadenken" tot hij moe wordt, maar door hem simpelweg te vragen: "Hoe zeker ben je?" en dan te luisteren naar zijn antwoord.

Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende resultaten voor geautomatiseerd beoordelen (grading), maar hun betrouwbaarheid is vaak twijfelachtig. Studies tonen aan dat LLMs soms afwijkingen vertonen ten opzichte van menselijke beoordelaars en rekenfouten maken, wat de nauwkeurigheid op complexe taken verlaagt. De fundamentele vraag is niet alleen hoe we de nauwkeurigheid van het graderen kunnen verbeteren, maar wanneer we een beslissing van een LLM-grader kunnen vertrouwen.

Het paper introduceert een complementaire aanpak: in plaats van de gradering zelf te optimaliseren, richt het zich op het voorspellen van de waarschijnlijkheid dat een gradering correct is. Dit maakt selectieve automatisering mogelijk:

Hoog-vertrouwensvoorspellingen worden automatisch verwerkt.
Onzekere gevallen worden gemarkeerd voor menselijke controle.
De sleutel hierbij is vertrouwenskalibratie: een betrouwbaarheidsscore van 0,8 moet corresponderen met een nauwkeurigheid van 80% binnen die groep voorspellingen. Helaas zijn moderne neurale netwerken (en LLMs) vaak slecht gekalibreerd en vertonen ze systematische oververtrouwen.

Methodologie

De auteurs evalueren drie methoden voor het schatten van vertrouwen (confidence estimation) over zeven LLMs (variërend van 4B tot 120B parameters) en drie educatieve datasets (RiceChem, SciEntsBank, Beetle).

De drie geëvalueerde methoden:

Self-Reported Confidence (Zelf gerapporteerd vertrouwen): De prompt vraagt het model expliciet om een numerieke vertrouwensscore (bijv. 1-10) naast de graderingsbeslissing (ja/nee) te genereren. Dit is een lichte methode (1 LLM-call) die berust op het vermogen van het model tot metacognitie.
Self-Consistency Voting (Zelf-consistentie): Het model genereert meerdere antwoorden (stochastische samples, $n=5$ ) en de vertrouwensscore wordt bepaald door het percentage van de meerderheidsstem. Dit is een sampling-gebaseerde methode die 5x de inferentiekost vereist.
Token Probability: De vertrouwensscore wordt afgeleid uit de interne waarschijnlijkheidsverdeling van het model over de "ja"/"nee" tokens in de output.

Evaluatiemetrics:

Expected Calibration Error (ECE): Meet het gemiddelde verschil tussen de voorspelde vertrouwen en de werkelijke nauwkeurigheid. Lager is beter.
Brier Score: Meet de kwadratische fout tussen vertrouwen en correctheid.
AUC-ROC: Meet de rangschikkingkwaliteit (hoe goed correleren hoge vertrouwen met hoge nauwkeurigheid).
Coverage at Risk: Het percentage voorspellingen dat kan worden geautomatiseerd terwijl de nauwkeurigheid boven een bepaald drempelwaarde blijft.

De datasets omvatten zowel lange antwoorden (chemie) als korte antwoorden (wetenschap). Er werden zeven modellen getest, waaronder Llama-3.1/3.3, Qwen3-varianten en GPT-OSS.

Belangrijkste Resultaten

1. Zelf gerapporteerd vertrouwen presteert het beste
Tegen alle verwachtingen in (gezien de complexiteit van sampling-methoden) presteerde Self-Reported Confidence consistent het beste in kalibratie.

ECE: Self-reported had een gemiddelde ECE van 0,166, vergeleken met 0,229 voor Self-Consistency en 0,235 voor Token Probability.
Kosten: Self-Consistency was 38% slechter in kalibratie ondanks dat het 5x de inferentiekost vereist.
Self-reported vertrouwen bleek in alle zes geëvalueerde condities (3 datasets × 2 modelgroottes) superieur te zijn.

2. Modelgrootte verbetert nauwkeurigheid meer dan kalibratie

Grotere modellen (≥70B parameters) waren consequent nauwkeuriger dan kleinere modellen (<20B).
De verbetering in kalibratie (vermindering van ECE) was echter gemengd en afhankelijk van de dataset en methode. Hoewel grotere modellen over het algemeen beter gekalibreerd waren, was de winst niet lineair of universeel.
Het model GPT-OSS-120B met self-reported confidence behaalde de beste kalibratie (gemiddelde ECE van 0,100) en sterke discriminatie (AUC 0,668).

3. Vertrouwen is sterk "top-skewed" (verzameld bij hoge waarden)

De verdeling van vertrouwensscores is extreem scheef: 86% van de voorspellingen had een score hoger dan 0,8.
Bij Self-Consistency is de verdeling discreet (bijv. 5/5, 4/5), waarbij 89,5% van de outputs een perfecte score van 1,0 had.
Dit creëert een "confidence floor": omdat bijna alle scores hoog zijn, moeten drempelwaarden (thresholds) worden ingesteld op basis van de waargenomen verdeling van het specifieke model, en niet op een intuïtief middenpunt (zoals 0,5).

4. Praktische implicaties voor Selectieve Automatisering
Ook bij de beste modellen (GPT-OSS-120B) en de strengste betrouwbaarheidseisen (5% risico), kan slechts 11% tot 20% van de voorspellingen veilig worden geautomatiseerd. Dit betekent dat selectieve automatisering onder strikte betrouwbaarheidseisen slechts een bescheiden deel van de workload overneemt, maar wel cruciaal is voor het behoud van kwaliteit.

Bijdragen en Significantie

Praktische Richtlijn: Het paper biedt een praktische, kostenefficiënte oplossing voor het identificeren van betrouwbare graderingen: vraag het model gewoon om zijn vertrouwen te rapporteren. Dit is effectiever en goedkoper dan complexe sampling-methoden.
Statistische Onderbouwing: De auteurs gebruiken geavanceerde statistische methoden, waaronder gepaarde bootstrap-analyses en lineaire mixed-effects-modellen, om de resultaten robuust te maken en interacties tussen modelkenmerken en kalibratie te onthullen.
Human-AI Samenwerking: De bevindingen ondersteunen een hybride workflow waarbij AI de "makkelijke" gevallen (hoge vertrouwen) afhandelt en menselijke experts zich richten op de onzekere gevallen, waardoor de lading voor docenten wordt verlicht zonder kwaliteit te verliezen.
Inzicht in Modelgedrag: Het paper onthult dat grotere modellen niet noodzakelijkerwijs beter gekalibreerd zijn op elke dataset, en dat de "denkmodus" (thinking vs. instruct) van modellen zoals Qwen een trade-off kan vertonen tussen nauwkeurigheid en kalibratie.

Conclusie:
Voor geautomatiseerd beoordelen is het vertrouwen van een LLM het meest betrouwbaar wanneer het model dit expliciet rapporteert. Hoewel grotere modellen nauwkeuriger zijn, blijft de kalibratie een uitdaging die afhankelijk is van de context. De implementatie van drempelwaarden moet rekening houden met de sterk naar boven geschoven verdeling van vertrouwensscores om een effectieve selectieve automatisering te realiseren.