💻 computer science

Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

Deze studie toont aan dat hoewel een op bewijslast gebaseerd groot taalmodel slechts een matige overeenstemming vertoont met de scores van docenten en een neiging tot mildheid vertoont bij beoordelingen in het voortgezet onderwijs, het dient als een waardevolle, transparante tool voor op consistentie gerichte moderatie en onderzoek in plaats van voor volledig autonome beoordeling met hoge inzet.

Oorspronkelijke auteurs: Tom Bryden

Gepubliceerd 2026-08-06

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tom Bryden

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin het nakijken van essays niet alleen draait om een docent die laat op de avond naar een stapel papier staart, maar waarbij een superintelligente computerassistent betrokken is. Dit vakgebied, bekend als Automated Essay Scoring (automatische essaybeoordeling), bestaat al decennia en probeert de rommelige kunst van het nakijken te veranderen in een heldere, snelle wetenschap. Denk erbij als een robot die probeert de regels van een spel te leren door duizenden spelers te observeren. Vroege robots waren onhandig en telden zaken zoals hoe lang een essay was of hoeveel grote woorden het bevatte. Maar de robots van vandaag, aangedreven door Large Language Models (LLM's), zijn meer als briljante lezers die de verhaallijn en de logica achter de woorden kunnen begrijpen.

Er zit echter een addertje onder het gras. Alleen omdat een robot kan lezen, betekent niet dat hij weet hoe hij eerlijk moet beoordelen. Docenten maken zich zorgen over bias (is de robot te makkelijk of juist te streng?), transparantie (kunnen we zien waarom het een bepaalde score gaf?) en alignment (komt het overeen met wat een menselijke docent zou zeggen?). Als een robot een student een A geeft terwijl diegene een C verdient, of andersom, kan dit de toekomst van een student veranderen. Dus de grote vraag is niet alleen: "Kan de robot nakijken?", maar "Kan hij goed genoeg nakijken om vertrouwd te worden in een echte school?".

Het Robot Grader Experiment

In deze studie besloot een onderzoeker genaamd Tom Bryden een specifieke AI-robot op de proef te stellen in de veeleisende wereld van de Australische bovenbouw van de middelbare school. In plaats van de robot te vragen om alleen een eindcijfer te geven als een magische 8-ball, dwong hij de robot om volgens strikte regels te spelen: de robot moest optreden als een "blinde" tweede beoordelaar (wat betekent dat de robot niet wist wat de docent al had beoordeeld) en voor elke punt die het gaf, moest het wijzen naar een specifieke zin in het werk van de student en precies uitleggen waarom die zin het punt verdiende. Het was alsof je de robot vroeg om een detective te zijn die bewijs moet leveren voordat hij een arrestatie verricht.

De robot kreeg 437 echte studentenopdrachten van 13 verschillende vakken te verwerken, variërend van Wiskunde en Natuurkunde tot Engels en Moderne Geschiedenis. Het doel was om te zien of de cijfers van de robot overeenkwamen met de cijfers van de docenten, of de robot vreemde gewoonten had, en of zijn "zelfvertrouwen" in zijn eigen antwoorden iets reëels betekende.

De Bevindingen: Een Nuttige, maar Iets Te Guldige Assistent

Hier is wat het experiment onthulde, onderverdeeld in de belangrijkste ontdekkingen:

1. De Robot en de Docent: Goede Vrienden, maar Geen Tweelingen
De robot en de menselijke docenten waren het eens over de algemene sfeer van de klas, maar ze waren het niet eens over de exacte cijfers. De studie vond een matige connectie tussen de twee, met een correlatiescore van 0,51. In gewone mensentaal: als een docent een student een hoge score gaf, gaf de robot meestal ook een hoge score, maar de specifieke cijfers liepen vaak uiteen.

Het Exacte Match-percentage: De robot en de docent gaven in slechts 20,8% van de gevallen exact hetzelfde totaalcijfer.
De Gemiddelde Afwijking: Gemiddeld lag de score van de robot 2,96 punten af (van het totaal mogelijke aantal punten voor die taak).
De "Foutmarge": Wanneer je naar de omvang van de fout kijelt in verhouding tot de totale score, zat de robot er 13,24% naast.

2. Het "Nette Robot" Probleem
Een van de meest interessante bevindingen was dat de robot een duidelijk persoonlijkheidskenmerk had: hij was welwillend. Hij gaf studenten graag het voordeel van de twijfel.

Wanneer de onderzoekers naar het verschil tussen de score van de robot en de score van de docent keken, was de verdeling sterk scheefgetrokken naar de robot die hogere cijfers gaf.
Sterker nog, 44,9% van de tijd gaf de robot een score die 2 of meer punten hoger was dan die van de docent.
Slechts 14,2% van de tijd gaf de robot een score die strenger was (2 of meer punten lager) dan die van de docent.
Dit suggereert dat als je de robot gewoon alles laat nakijken, studenten cijfers kunnen krijgen die iets te hoog zijn in vergelijking met wat een mens zou geven.

3. Vakken Maken het Verschil: Wiskunde vs. Geschiedenis
De robot was niet even goed in alles. Het leek meer moeite te hebben met vakken die diepe, creatieve interpretatie vereisen en deed het beter met vakken die duidelijkere, stapsgewijze antwoorden hebben.

De Moeilijke Vakken: In vakken zoals English & Literature Extension en General Mathematics was het gemiddelde verschil tussen de robot en de docent vrij groot (rond de 18,57% en 19,0% van de totale punten, respectievelijk).
De Sterren: In Specialist Mathematics en Chemistry kwam de robot veel dichter bij de docenten, met gemiddelde verschillen van slechts 6,67% en 6,91%.
Dit vertelt ons dat de robot geweldig is in het volgen van strikte regels (zoals in wiskunde), maar een beetje in de war raakt wanneer de regels gaan over "gevoel" en "argumentatie" (zoals in Engels of Geschiedenis).

4. De Zelfvertrouwenstrap
De robot vertelde de onderzoekers ook hoe "zelfverzekerd" hij was in zijn beoordeling, met scores variërend van 0,80 tot 1,00. Je zou denken dat wanneer de robot zegt: "Ik ben 100% zeker!", dit betekent dat hij het zeker goed heeft. De studie suggereert dat dit niet waar is.

Hoog zelfvertrouwen betekende niet een hoge nauwkeurigheid. Sterker nog, wanneer de robot erg zelfverzekerd was (tussen 0,95 en 1,00), was hij eigenlijk waarschijnlijker welwillend (het geven van hogere scores) dan wanneer hij minder zelfverzekerd was.
De onderzoekers vonden dat het zelfvertrouwen van de robot meer een maatstaf was voor hoe duidelijk de bewijslast eruitzag voor de robot, in plaats van een maatstaf voor hoe correct de score was. Het is als een detective die heel zeker is van zijn theorie omdat de aanwijzingen zo duidelijk zijn, zelfs als de theorie een beetje onjuist is.

5. Het "Detectivewerk": Bewijs en Feedback
Omdat de robot zijn werk moest laten zien, konden de onderzoekers controleren of het zinvol was.

Het Goede: In vakken als Natuurkunde, Economie en Wiskunde was de robot uitstekend in het vinden van de juiste zinnen in de essay van de student en het uitleggen waarom ze punten verdienden. Hij trad op als een transparante detective.
Het Slechte: In vakken zoals Film, Television & New Media gaf de robot soms feedback die te oppervlakkig was. In plaats van de diepere betekenis van een filmscène te analyseren, begon hij misschien over grammatica.
Het Oordeel: Het vermogen van de robot om zijn bewijs te tonen, maakte hem een goed instrument voor moderatie (controleren of een docent eerlijk was) of voor het geven van conceptfeedback, maar hij was nog niet klaar om de docent volledig te vervangen.

6. Snelheid en Kosten: Een Goedkoop Supercomputer-Aanbod
Ten slotte keek de studie naar de praktische kant: hoe snel en goedkoop was dit?

Snelheid: De robot verwerkte de volledige batch van 437 papers in ongeveer 5,8 uur (totale verwerkingstijd van 20.929,35 seconden), wat neerkomt op ongeveer 47,89 seconden per paper.
Kosten: De totale kosten voor het nakijken van alle 437 papers waren slechts $4,23 USD. Dat is ongeveer $0,01 per studentenpaper.
Dit bewijst dat het gebruik van AI om te helpen bij het nakijken ongelooflijk goedkoop en snel is, wat het een zeer levensvatbaar hulpmiddel maakt voor scholen om als een tweede paar ogen te gebruiken.

De Kern van het Verhaal

Dit artikel zegt niet dat AI klaar is om de klas over te nemen en op eigen houtje diploma's uit te reiken. De robot is nog steeds een beetje te gul, hij raakt in de war door creatieve onderwerpen, en zijn "zelfvertrouwen" is geen garantie voor de waarheid.

Echter, de studie suggereert een veelbelovende toekomst waarin AI fungeert als een super-efficiënte assistent. Stel je een docent voor die een stapel essays nakijkt, en de AI loopt er direct doorheen, waarbij het bewijs voor elk punt highlight, de gevallen markeert waar het de mening van de docent tegenspreekt, en een concept van de feedback geeft. Het is niet de uiteindelijke rechter, maar het is een fantastisch, goedkoop en transparant hulpmiddel om docenten te helpen consistenter te zijn en tijd te besparen. De robot is een geweldige "tweede beoordelaar", maar voorlopig moet de menselijke docent nog steeds aan het stuur zitten.

Technische Samenvatting: Op bewijs gebaseerde AI-beoordeling voor secundair onderwijs

Probleemstelling
De toepassing van Large Language Models (LLM's) op educatieve beoordeling is versneld, maar de inzet ervan in contexten met een hoge inzet binnen het voortgezet onderwijs blijft controversieel vanwege zorgen over transparantie, bias en verantwoording. Bestaande Automated Essay Scoring (AES)-systemen geven vaak de voorkeur aan efficiëntie of holistische scoring, en missen de interpreteerbaarheid en expliciete bewijsvoering die vereist is door criteriumgestuurde kaders, zoals die gebruikt worden in het Australische senior secundair onderwijs. De huidige literatuur leunt bovendien vaak op synthetische benchmarks of contexten uit het hoger onderwijs, waardoor er een gat ontstaat in de empirische bewijsvoering over hoe AI zich gedraagt wanneer het fungeert als een onafhankelijke, blinde beoordelaar voor authentieke, uitgebreide studentenreacties over diverse vakgebieden heen. Belangrijke onopgeloste kwesties zijn de mate van AI-docent-alignement, de aanwezigheid van systematische score-biases (bijv. mildheid/leniency), de betekenis van door het model gerapporteerd vertrouwen, en de operationele haalbaarheid van bewijsgebaseerde beoordeling in schoolsettings.

Methodologie
Deze studie maakte gebruik van een mixed-methods vergelijkende evaluatie met behulp van een op maat gemaakte, asynchrone webapplicatie die is ontworpen om te fungeren als een onafhankelijke blinde beoordelaar.

Systeemarchitectuur: Het systeem maakt gebruik van een Flask-gebaseerde client-server architectuur met een Google Cloud Vertex AI backend (Gemini 2.5 Flash). Het handhaaft een strikt bewijsgebaseerd beoordelingsprotocol waarbij punten alleen worden toegekend wanneer expliciet ondersteunend bewijs wordt geciteerd uit de reactie van de student. De outputs zijn beperkt tot een gestructureerd JSON-schema dat criteriumniveau-scores, bewijsfragmenten, rechtvaardigingen en betrouwbaarheidsscores bevat.
Dataset: De evaluatie analyseerde 437 authentieke studentenreacties verzameld uit 13 senior secundaire vakgebieden (bijv. Engels, Wiskunde, Wetenschappen, Geesteswetenschappen) tijdens het academisch jaar 2025. Alle gegevens zijn gedeïdentificeerd.
Procedure: Het AI-systeem verwerkte batches van reacties met behulp van gecondenseerde syllabusdocumenten en Instrument Specific Marking Guides (ISMG) als context. Docent-toegekende scores werden niet aan het model verstrekt tijdens de inferentie. Docent-scores dienden als een praktisch referentiekader in plaats van een objectieve grondwaarheid.
Analyse: Kwantitatieve analyse mat alignment met behulp van Normalised Mean Absolute Error (NMAE), Mean Absolute Error (MAE), exacte match-percentages en Pearson's correlatiecoëfficiënt ( $r$ ). Directionele bias werd geanalyseerd via scoreverschillen (AI – Docent). Confidence-gedrag werd onderzocht door model-gerapporteerd vertrouwen te correleren met absolute fout en directionele verschillen. Een kwalitatieve audit van vijf willekeurige steekproeven beoordeelde de geldigheid van het bewijs en de bruikbaarheid van de feedback. Operationele haalbaarheid werd gemeten via tokengebruik, kosten en verwerkingstijd.

Belangrijkste Resultaten

Algehele Alignment: Het systeem vertoonde een matige alignment met docent-scores ( $r = 0,51$ ). De Normalised Mean Absolute Error (NMAE) was 13,24% en de Mean Absolute Error (MAE) was 2,96 punten. Exacte matches kwamen slechts in 20,8% van de gevallen voor, waarbij 40,9% van de reacties binnen één punt van de docent-score viel.
Systematische Bias: Er werd een duidelijke neiging naar mildheid (leniency) waargenomen onder baseline condities. De distributie van scoreverschillen was positief scheef, waarbij 44,9% van de reacties een score van +2 of hoger ontving dan de docent-score, vergeleken met 14,2% die -2 of lager ontving.
Variabiliteit per Vakgebied: Het beoordelingsgedrag varieerde significant per vakgebied. English & Literature Extension, English en General Mathematics vertoonden de grootste gemiddelde procentuele verschillen, terwijl Specialist Mathematics, Chemistry en Mathematical Methods dichter bij de docent-scores lagen. Sommige vakken (bijv. Engineering, Modern History) vertoonden netto onderbeoordeling, terwijl andere netto mildheid vertoonden.
Confidence Calibratie: Model-gerapporteerd vertrouwen correleerde zwak met verminderde absolute fout, maar correleerde matig positief met mildheid ( $r = 0,30$ ). Hogere confidence-scores waren geassocieerd met genereuzere beoordeling in plaats van verhoogde nauwkeurigheid, wat suggereert dat vertrouwen eerder reflectie is van evidentiële helderheid of besluitvaardigheid dan van gekalibreerde betrouwbaarheid.
Kwalitatieve Output: De kwalitatieve audit gaf aan dat de geldigheid van het bewijs en de bruikbaarheid van de feedback over het algemeen sterk waren in gestructureerde vakken (Wiskunde, Natuurkunde, Economie), maar zwakker in interpretatieve taken (Film, Televisie & Nieuwe Media), waar rechtvaardigingen soms meer beschrijvend dan analytisch waren.
Operationele Efficiëntie: Het systeem verwerkte de volledige dataset (437 reacties) tegen een totale geschatte kostprijs van US$4,23 (~US$0,01 per reactie) met een gemiddelde verwerkingstijd van 47,89 seconden per reactie, wat een hoge operationele haalbaarheid aantoont.

Belangrijkste Bijdragen

Bewijsgebaseerd Kader: De studie evalueert een AI-systeem dat criteriumniveau-rechtvaardiging en expliciete bewijskoppeling afdwingt, waarmee het verder gaat dan holistische scoring om auditeerbare, transparante beoordelingsbeslissingen te bieden.
Empirisch Bewijs in Secundaire Contexten: Het levert concrete gegevens over AI-prestaties over 13 diverse senior secundaire vakken met behulp van authentiek studentwerk, waarmee een gat in de literatuur wordt gedicht die zich grotendeels heeft gericht op het hoger onderwijs of grootschalige gestandaardiseerde toetsing.
Gedragsinzichten: Het onderzoek identificeert dat AI-beoordeling niet enkel een kwestie is van geaggregeerde overeenstemming, maar wordt gekenmerkt door systematische directionele biases (mildheid) en vakspecifieke variaties die geaggregeerde metrieken alleen niet kunnen vangen.
Interpretatie van Confidence: Het daagt de aanname uit dat een hoog modelvertrouwen gelijkstaat aan een hoge nauwkeurigheid in beoordelingscontexten, door aan te tonen dat vertrouwen vaak eerder signalen van besluitvaardigheid of evidentiële helderheid afgeeft dan van correctheid.

Significantie en Claims
Het artikel claimt dat hoewel het huidige systeem de volledige autonome toepassing in beoordelingen met een hoge inzet niet rechtvaardigt vanwege de matige alignment en systematische mildheid, het een levensvatbaar pad biedt voor verantwoorde, docent-gecentreerde inzet. De studie positioneert transparante en auditeerbare AI-beoordelingssystemen als waardevolle instrumenten voor consistentie-georiënteerde moderatie en onderzoeksinstrumenten. Door gestructureerde, bewijsgekoppelde outputs te bieden, ondersteunt het systeem de controleerbaarheid en verdedigbaarheid in standaardsgestuurde beoordelingsomgevingen. De bevindingen suggereren dat AI effectief kan dienen als een tweede beoordelaar of moderatie-ondersteuningstool, mits de systematische biases worden erkend, gekalibreerd en beheerd binnen human-in-the-loop workflows. Het onderzoek draagt specifieke empirische bewijslast bij die relevant is voor het ontwerp, de evaluatie en de governance van AI-ondersteunde beoordeling in het senior secundair onderwijs.

Het Robot Grader Experiment

De Bevindingen: Een Nuttige, maar Iets Te Guldige Assistent

De Kern van het Verhaal

Meer zoals dit