💬 NLP

CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

Dit paper introduceert CHiL(L)Grader, een betrouwbaar automatisch beoordelingsframework dat gekalibreerde onzekerheidsschatting en menselijke feedback combineert om onzekere korte-antwoordbeoordelingen door leraren te laten verifiëren terwijl het model zich continu aanpast aan veranderende curriculumvereisten.

Oorspronkelijke auteurs: Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

Gepubliceerd 2026-03-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een school hebt met duizenden studenten die elk een korte vraag moeten beantwoorden. De leraar moet al die antwoorden nakijken, punten geven en feedback geven. Dat is een enorme klus, net als het proberen te drinken van een brandblusser.

Hier komt CHiL(L)Grader in beeld. Het is een slimme robot-assistent die helpt bij het nakijken, maar met een heel belangrijk verschil: deze robot weet precies wanneer hij het zelf moet doen en wanneer hij de leraar moet bellen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Zekere (maar soms verkeerde) Robot

Stel je een robot voor die heel zeker van zijn zaak is. Hij zegt: "Ik heb dit antwoord nagekeken, het is een 4/5!" Maar vaak is hij zó zeker dat hij zelfs fouten maakt zonder dat hij het doorheeft. In de wereld van AI noemen we dit oververzekerdheid.

Als je zo'n robot in een echte klas zet, kan dat gevaarlijk zijn. Hij geeft misschien een onterechte 10, of een onterechte 1, en de leraar weet niet dat de robot twijfelt. Dat is alsof een navigator die je dwingt om in een meer te rijden omdat hij "100% zeker" is dat daar een brug ligt.

2. De Oplossing: De "Zekerheidsmeter"

De makers van CHiL(L)Grader hebben een slimme truc bedacht. Ze hebben de robot niet alleen een antwoordenboekje gegeven, maar ook een kalibratie-schakelaar (in het technisch jargon: temperature scaling).

Stel je voor dat de robot een thermometer heeft.

Als de robot een antwoord ziet dat hij heel goed begrijpt, staat de thermometer op "heet" (hoge zekerheid). Hij zegt: "Ik doe dit zelf!" en geeft direct een cijfer.
Als de robot een antwoord ziet dat raar of moeilijk is, staat de thermometer op "koud" (lage zekerheid). Hij denkt: "Hé, dit is lastig. Ik ben niet zeker genoeg."

3. De Menselijke Schakelaar: Het "Human-in-the-Loop"

Hier komt de magie van de naam CHiL (Calibrated Human-in-the-Loop).

De robot doet het: Voor de "warme" (zekere) antwoorden schrijft de robot het cijfer op. De leraar hoeft hier niets te doen. Dit bespaart enorm veel tijd.
De leraar doet het: Voor de "koude" (onzekere) antwoorden roept de robot de leraar: "Hé, ik twijfel hieraan. Kijk jij even mee?"

De leraar kijkt naar die moeilijke antwoorden, geeft het juiste cijfer, en stuurt het terug naar de robot.

4. Leren van de Leraar: De "Herhalingstest"

Dit is het slimste deel. De robot is niet statisch; hij leert.
Wanneer de leraar een foutje corrigeert, onthoudt de robot: "Ah, oké, bij dit soort vragen moet ik anders denken." Hij gebruikt deze correcties om zichzelf te verbeteren voor de volgende ronde.

Het is alsof de robot elke avond een korte les krijgt van de leraar. De volgende dag is hij slimmer en kan hij nog meer antwoorden zelf nakijken zonder hulp. Dit noemen ze voortdurend leren (continual learning).

Waarom is dit zo goed?

In de proefversie hebben ze getest op drie verschillende vakken (van data-analyse tot natuurkunde). Het resultaat was indrukwekkend:

De robot kon 35% tot 65% van alle antwoorden zelf nakijken met een kwaliteit die net zo goed was als die van een menselijke expert.
Alleen de moeilijke, twijfelachtige gevallen gingen naar de leraar.
Door de leraar alleen de moeilijke gevallen te laten doen, werd de leraar niet overbelast, maar bleef de kwaliteit van de cijfers hoog.

De Grootte van de Analogie

Stel je een keukenteam voor:

De robot is de sous-chef die de snelle, simpele salades maakt (zekere antwoorden).
De leraar is de chef-kok.
De sous-chef kijkt naar de salade. Als hij denkt: "Dit is perfect, ik doe het zelf," dan is het klaar.
Maar als hij denkt: "Hmm, deze dressing is raar, ik weet niet of dit goed is," dan roept hij de chef: "Chef, jij kijkt even mee."
De chef kijkt, maakt het goed, en de sous-chef leert voor de volgende keer hoe hij die specifieke dressing moet herkennen.

Conclusie

CHiL(L)Grader is geen robot die de leraar vervangt. Het is een slimme assistent die de leraar ontlast door het saaie, makkelijke werk te doen, maar slim genoeg is om te weten wanneer hij zijn eigen grenzen heeft bereikt en de menselijke expertise nodig heeft. Hierdoor krijgen studenten sneller feedback, zonder dat de kwaliteit van de cijfers in gevaar komt.

Titel: CHiL(L)Grader: Gekalibreerde Human-in-the-Loop Beoordeling van Korte Antwoorden

Auteurs: Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, en Panagiotis Papapetrou (Stockholm University).

1. Probleemstelling

De schaalvergroting van onderwijsbeoordeling met Large Language Models (LLMs) staat voor twee fundamentele uitdagingen die een volledig autonome inzet in hoog-risico onderwijsomgevingen onveilig maken:

Systematische Oververzekerdheid (Overconfidence): LLMs neigen ertoe om zeer hoge betrouwbaarheidsscores toe te kennen, zelfs aan onjuiste voorspellingen. Dit maakt het voor docenten onmogelijk om te bepalen wanneer ze een modelvoorspelling kunnen vertrouwen en wanneer menselijke interventie nodig is.
Verslechtering bij Distributiewijziging (Distribution Shift): De prestaties van modellen dalen aanzienlijk wanneer ze geconfronteerd worden met nieuwe vraagtypes, veranderende beoordelingsrubrieken of andere antwoordpatronen dan die tijdens de initiële training zijn gezien. Dit maakt statische modellen kwetsbaar voor de evolutie van curriculum.

Bestaande oplossingen missen vaak een mechanisme om onzekere gevallen systematisch door te verwijzen naar mensen, of ze integreren geen continu leerproces om zich aan te passen aan nieuwe rubrieken zonder "catastrophic forgetting" (het vergeten van eerder geleerde kennis).

2. Methodologie: Het CHiL(L)Grader Framework

CHiL(L)Grader is een geïntegreerd framework dat drie complementaire mechanismen combineert om een betrouwbaar Human-in-the-Loop (HiL) systeem te creëren. De architectuur bestaat uit de volgende stappen:

A. Instructie-Tuning (Instruction-Tuning)

Een voorgeprogrammeerde LLM (in dit geval Qwen-2.5-7B-Instruct) wordt getraind op vraag-antwoordparen met menselijke grades. Het model leert gestructureerde output te genereren (JSON-formaat met de voorspelde grade en de maximale grade) en volgt strikt de gegeven rubrieken.

B. Post-hoc Kalibratie (Temperature Scaling)

Om het oververzekerdheidsprobleem op te lossen, wordt Temperature Scaling toegepast.

Het model genereert log-likelihoods voor alle mogelijke grades.
Een enkele schaalparameter $T$ (temperatuur) wordt geleerd op een kalibratie-set om de Expected Calibration Error (ECE) te minimaliseren.
Dit transformeert de ruwe, onbetrouwbare confidence-scores naar goed gekalibreerde waarschijnlijkheidsschattingen die de werkelijke onzekerheid van het model weerspiegelen.

C. Selectieve Voorspelling (Selective Prediction)

Op basis van de gekalibreerde confidence-score ( $\hat{c}$ ) wordt een drempelwaarde ( $\tau$ ) gebruikt voor routing:

Hoge confidence ( $\hat{c} \geq \tau$ ): De voorspelling wordt automatisch geaccepteerd.
Lage confidence ( $\hat{c} < \tau$ ): Het geval wordt afgewezen en doorgestuurd naar een menselijke beoordelaar (docent) voor handmatige correctie.

D. Continu Leren met Human-in-the-Loop (Continual Learning)

De door mensen gecorrigeerde antwoorden vormen een nieuwe dataset ( $H$ ). Om het model aan te passen aan nieuwe rubrieken zonder eerdere kennis te verliezen:

Replay Buffer: De nieuwe correcties worden gecombineerd met een gestratificeerde set van historische trainingsdata (replay buffer). Dit voorkomt dat het model overpast op de huidige examens en behoudt prestaties over verschillende vraagtypes.
LoRA Fine-tuning: Alleen de adapters (Low-Rank Adaptation) van het model worden bijgewerkt, terwijl de basisgewichten vast blijven. Dit maakt efficiënte updates mogelijk.
Her-calibratie: Na elke fine-tuning cyclus wordt de temperatuur $T$ opnieuw gekalibreerd om de drempelwaarde accuraat te houden.

3. Belangrijkste Bijdragen

Novelty: CHiL(L)Grader is het eerste HiL-framework voor korte antwoorden dat kalibratie, selectieve voorspelling en menselijke doorverwijzing in één systeem integreert.
Betrouwbaarheid: Het lost het oververzekerdheidsprobleem op door middel van temperatuurschaling, wat leidt tot goed gekalibreerde confidence-scores (ECE < 0.1) die geschikt zijn voor besluitvorming.
Adaptatie: Het framework demonstreert dat HiL-gebaseerd continu leren generalisatie mogelijk maakt onder distributiewijziging (nieuwe vragen/rubrieken) door menselijke correcties als supervisie te gebruiken.
Efficiëntie: Het reduceert de menselijke workload aanzienlijk door alleen onzekere gevallen te laten beoordelen, terwijl het toch expert-niveau kwaliteit behoudt voor het grootste deel van de geautomatiseerde beoordelingen.
Reproduceerbaarheid: Alle code, modelconfiguraties en evaluatiescripts zijn openbaar beschikbaar.

4. Resultaten

Het framework is geëvalueerd op drie datasets met verschillende domeinen (Data Mining, Wetenschap K-6, Techniek) en schalen:

Kwaliteit van Automatische Beoordeling: CHiL(L)Grader kan 35% tot 65% van de studentenantwoorden automatisch beoordelen met expert-niveau kwaliteit (Quadratic Weighted Kappa, QWK $\geq$ 0.80).
Effectiviteit van Routing: Er is een significante kloof in prestaties tussen geaccepteerde en afgewezen gevallen. Op de DAMI-dataset bedroeg de QWK voor geaccepteerde gevallen 0.882, terwijl deze voor afgewezen gevallen daalde naar 0.535 (een verschil van +0.347). Dit bevestigt dat de confidence-drempel onzekere gevallen succesvol identificeert.
Kalibratie: Temperatuurschaling verlaagde de ECE met 65% op de DAMI-dataset en 53% op EngSAF, waardoor de modellen goed gekalibreerd werden.
Continu Leren: Na één cyclus van menselijke correcties steeg de QWK op de DAMI-testset van 0.458 naar 0.882. Zonder de replay buffer zou het model catastrofale vergetelheid vertonen (QWK daalt naar 0.025).
Aanpassing aan Schaal: Het systeem werkt effectief over verschillende grading-schalen (van 0-2 tot 0-10) en past zich aan aan veranderende rubrieken.

5. Betekenis en Conclusie

CHiL(L)Grader biedt een praktische oplossing voor de implementatie van AI in hoog-risico onderwijsbeoordeling. Het paper onderstreept dat onzekerheidsquantificatie essentieel is voor betrouwbare AI-assistentie.

In plaats van te streven naar een volledig autonoom systeem dat fouten maakt, stelt CHiL(L)Grader een hybride model voor waarbij:

Het AI-systeem de bulk van de eenvoudige, duidelijke gevallen afhandelt met expert-niveau kwaliteit.
Menselijke expertise wordt ingezet voor de moeilijke, onzekere gevallen die het model niet durft te beoordelen.
Het systeem continu leert van deze menselijke correcties, waardoor het robuuster wordt tegen veranderingen in het curriculum.

Dit benadering maakt schaalbare, eerlijke en nauwkeurige beoordeling mogelijk zonder de kwaliteit van menselijke feedback te verwaarlozen.