Technische Samenvatting: Een Curriculum-gebaseerde Beoordelingspipeline voor LLM-als-Judge in het Onderwijs

Probleemstelling

De snelle adoptie van Generatieve AI en Large Language Models (LLM's) in het onderwijs heeft de ontwikkeling van robuuste, verifieerbare systemen voor beoordelingen met een hoge inzet (high-stakes assessment) ingehaald. Hoewel LLM's veelbelovend zijn voor geautomatiseerde beoordeling, brengt het uitsluitend vertrouwen op prompt engineering het risico met zich mee dat outputs afwijken van geautoriseerde curriculumstandaarden, een gebrek aan traceerbaarheid naar officiële richtlijnen vertonen en het niet vermogen hebben om de impliciete kennis te vatten die docenten tijdens beoordeling toepassen. Huidige benaderingen behandelen beoordeling vaak als een model-gecentreerde taak, waarbij het belang van softwarepipelines die de redenering van het model systematisch funderen in geautoriseerde syllabus-artefacten, prestatieband-beschrijvingen en beoordelingsprincipes, wordt genegeerd. Deze kloof is cruciaal in contexten met een hoge inzet (bijv. toelatingsexamens voor universiteiten) waar consistentie, transparantie en afstemming op jurisdictie-specifieke standaarden van groot belang zijn.

Methodologie: De Curriculum-gebaseerde Beoordelingspipeline

De auteurs stellen een configureerbare, meerfasige LLM-als-Judge pipeline voor, mede ontwikkeld met een industriële partner (Studitory) om examenvoorbereiding te ondersteunen. In tegen tegenoverkort standaard RAG-systemen (Retrieval-Augmented Generation), behandelt deze pipeline geautoriseerde curriculum-artefacten als "first-class" inputs in plaats van aanvullende context. De architectuur is ontworpen om verifieerbaar, controleerbaar en geworteld te zijn in de HSC-kaders (Higher School Certificate) van het NSW Department of Education.

De pipeline werkt via de volgende fasen:

1. Syllabus Matching en Verificatie

• Inputverwerking: Het systeem neemt een vraag in behandeling en haalt relevante "Learn About" (inhoudelijke kennis) en "Learn To" (cognitieve vaardigheden) verklaringen uit de HSC-syllabus.
• Semantische Retrieval: Een vectordatabase slaat embeddings van syllabus-verklaringen op. Het systeem voert semantische gelijkenis-matching uit om de vraag te koppelen aan relevante onderwerpen en subonderwerpen.
• Vaardigheidsselectie: Het aantal te beoordelen vaardigheden wordt bepaald door de maximale puntenallocatie van de vraag (markmax), gebruikmakend van een configureerbare mapping afgeleid van historische examenanalyses.
• Coherentieverificatie: Een specifieke verificatiestap berekent de "outcome recall" om te waarborgen dat de geselecteerde vaardigheden en concepten de verwachte leerresultaten voldoende dekken. Incoherente koppelingen worden verworpen of opnieuw gerangschikt.

2. Generatie van Beoordelingscriteria

Deze fase vertaalt de curriculumintentie naar gestructureerde, vraagspecifieke rubrieken via twee substappen:

• Structurering van Criteria: Gemaakte vaardigheden en resultaten worden gegroepeerd in functionele beoordelingsdimensies (bijv. conceptueel begrip, toepassing). De HSC Keywords Glossary wordt geïnjecteerd om de semantische betekenis van directieve werkwoorden (bijv. "uitleggen", "evalueren") te stabiliseren volgens officiële definities. De markmax-waarde beperkt de granulariteit en distributie van de punten.
• Prestatiekalibratie: Gestructureerde criteria worden gekoppeld aan vier kwaliteitsniveaus (Comprehensive, Sound, Some Understanding, Limited) met behulp van geautoriseerde Performance Band Descriptors. De granulariteit van deze niveaus wordt dynamisch aangepast op basis van markmax (bijv. het onderverdelen van "Some Understanding" voor vragen met een hoog puntenaantal).
• Normatieve Beperkingen: Dertien officiële principes voor beoordelingsrichtlijnen (bijv. eerlijkheid, ruimte voor alternatieve benaderingen) zijn ingebed als niet-onderhandelbare regels om gehallucineerde normen te voorkomen en te waarborgen dat gedeeltelijke punten correct worden toegekend.

3. Geautomatiseerde Beoordeling en Feedbackloop

• Scoring: Wanneer een student een antwoord indient, evalueert het systeem dit tegen de gegenereerde criteria op basis van elk criterium afzonderlijk, waarbij ondersteuning wordt geboden voor gedeeltelijke puntentoekenning.
• Feedbackgeneratie: Rechtvaardigingen worden gegenereerd door te verwijzen naar de specifieke syllabus-vaardigheden en prestatiebanden die bij de beoordeling zijn gebruikt, wat ervoor zorgt dat feedback traceerbaar is naar leerdoelen in plaats van generieke opmerkingen.
• Herkomstverificatie (Provenance Verification): Alle tussenliggende artefacten (gematchte vaardigheden, gegenereerde rubrieken, scoringslogica) worden persistent vastgelegd met tijdstempels en metadata, wat post-hoc auditing en reconstructie van de beoordelingsbeslissing mogelijk maakt.

Belangrijkste Bijdragen

1. Architecturale Operationalisering: Het ontwerp en de implementatie van een curriculum-gebaseerde, configureerbare LLM-als-Judge pipeline die geautoriseerde beoordelingsartefacten als gestructureerde context inbedt, waarmee men verder gaat dan eenvoudige prompt engineering naar een verifieerbare softwarepipeline.
2. Integratie van Impliciete Kennis: De identificatie en operationalisering van menselijke oordeelsvorming (bijv. marker-heuristieken, coherentiechecks) door middel van gestructureerde artefacten en beperkingen, wat een kritische kloof in betrouwbare educatieve beoordeling dicht.
3. Empirische Validatie: Een voorlopige evaluatie die aantoont dat de pipeline beoordelingsresultaten bereikt die vergelijkbaar zijn met die van menselijke tutors, terwijl het rechtvaardigingen levert die expliciet traceerbaar zijn naar de curriculumintentie en officiële standaarden.

Voorlopige Evaluatieresultaten

Het systeem werd geëvalueerd op een dataset van 47 vragen die gemarkeerd zijn door een menselijke tutor, gebruikmakend van metrieken waaronder Lin's Concordance Correlation Coefficient (CCC) en gewogen Cohen's kappa.

• Beoordelingsovereenkomst: De pipeline behaalde een CCC van 0,81 en een gewogen kappa van 0,64 vergeleken met menselijke cijfers. Opvallend genoeg vertoonde directe LLM-prompting (zonder de gestructureerde workflow van de pipeline) vergelijkbare of zelfs iets hogere numerieke overeenstemming met menselijke cijfers, wat suggereert dat LLM's scoringspatronen kunnen imiteren via interne kennis. De auteurs stellen echter dat dit geen garantie biedt voor afstemming met geautoriseerde standaarden.
• Kwaliteit van Rechtvaardiging: In paarvergelijkingen presteerden de rechtvaardigingen van de pipeline significant beter dan zowel door mensen gegenereerde rechtvaardigingen als directe LLM-prompts.
  • Win Rates: De pipeline won 80,4% van de vergelijkingen tegen menselijke rechtvaardigingen en ~69,6% tegen directe LLM-baselines (gpt-5 en gpt-5-nano).
  • Traceerbaarheid: BLEU-score analyse toonde aan dat de rechtvaardigingen van de pipeline een significant hogere lexicale overlap hadden met geautoriseerde syllabus-teksten, glossary-definities en performance band descriptors vergeleken met andere methoden.
• Casestudies: Analyse van specifieke onenigheden maakte duidelijk dat de pipeline een "criteria-eerst" interpretatie toepast die tolerant is voor gedeeltelijk semantisch herstel, terwijl menselijke beoordelaars mogelijk pragmatische leesbaarheidscut-offs toepassen. Omgekeerd kan de pipeline te rigide zijn met betrekking tot de semantiek van directieve werkwoorden (bijv. "discuss" vereist beide kanten van een argument) als deze niet wordt gestuurd door genuanceerde professionele praktijk.
• Operationele Implementatie: Geïntegreerd in het Studitory-platform voor 5.700+ studenten, verwerkte het systeem meer dan 3.000 antwoorden met een handmatige override-rate van slechts 2,91%, wat wijst op operationele bruikbaarheid. Het systeem bleek ook robuust tegen prompt-injectiepogingen door nul punten toe te kennen.

Betekenis en Claims

Het artikel beweert dat de voorgestelde architectuur aantoont hoe context engineering verantwoordelijke generatieve AI voor beoordeling kan operationaliseren. Door geautoriseerde curriculum-artefacten en beoordelingsprincipes als eerstehands componenten te behandelen, embedt de pipeline professioneel oordeel tijdens de ontwerpfase, terwijl het ondersteuning biedt voor schaalbare, consistente beoordeling tijdens de runtime.

De auteurs stellen dat hoewel ongeleide LLM's numeriek menselijke scores kunnen benaderen, ze een gebrek hebben aan garanties voor afstemming met geautoriseerde curriculum-artefacten en niet in staat zijn om rechtvaardigingen te produceren die traceerbaar zijn naar officiële standaarden. De studie concludeert dat curriculum-gebaseerde gronding en verificatie cruciale architecturale mechanismen zijn voor het bouwen van betrouwbare LLM-als-Judge systemen, die een pad bieden naar consistente, transparante en controleerbare automatische beoordeling in contexten met een hoge inzet. Het werk positioneert de pipeline niet als een vervanging voor menselijk toezicht, maar als een instrument dat moderatie-gereed en traceerbare artefacten produceert om menselijke review en kalibratie te ondersteunen.