🤖 AI

Human-in-the-Loop Benchmarking of Heterogeneous LLMs for Automated Competency Assessment in Secondary Level Mathematics

Dit artikel introduceert een Human-in-the-Loop-benchmarkkader met behulp van een multidimensionale rubriek om heterogene LLM's te evalueren voor geautomatiseerde secundaire wiskundebeoordeling in Nepal, waarbij wordt aangetoond dat architectonische compatibiliteit met instructiebeperkingen kritischer is dan modelgrootte voor het bereiken van overeenstemming met menselijke experts, en wordt geconcludeerd dat deze modellen het meest geschikt zijn voor assistieve bewijsextractie in plaats van autonome certificering.

Oorspronkelijke auteurs: Jatin Bhusal, Nancy Mahatha, Aayush Acharya, Raunak Regmi

Gepubliceerd 2026-04-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jatin Bhusal, Nancy Mahatha, Aayush Acharya, Raunak Regmi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een klaslokaal voor waar docenten verdrinken in papierwerk. In plaats van studenten slechts één cijfer te geven (zoals "85%"), willen ze een gedetailleerd rapportkaartje afgeven met zinnen als: "Je begrijpt het waarom," "Je bent geweldig in het berekenen" en "Je kunt ideeën verbinden." Dit heet competentiegericht onderwijs. Het is een veel rijpere manier van cijferen, maar voor mensen is het handmatig uitvoeren ongelooflijk moeilijk en tijdrovend.

Dit artikel stelt een simpele vraag: Kan Kunstmatige Intelligentie (KI) docenten helpen bij dit zware werk?

Hier is het verhaal van hun experiment, eenvoudig uitgelegd:

1. De Opzet: De "Mens versus Robot"-test

De onderzoekers in Nepal besloten dit te testen op Wiskunde voor klas 10 (een moeilijk vak met matrices, meetkunde en trigonometrie).

De Studenten: Ze namen 33 handgeschreven wiskundetoetsen van echte studenten.
De Menselijke Rechters: Twee expert-wiskundedocenten beoordeelden deze toetsen. Ze keken niet alleen naar het juiste antwoord; ze gebruikten een zeer strikt "reglement" (rubric) om vier specifieke vaardigheden te beoordelen:
1. Begrip: Begrepen ze de vraag?
2. Kennis: Wisten ze de feiten?
3. Vlotheid: Konden ze de wiskundestappen correct uitvoeren?
4. Gedrag/Correlatie: Konden ze verschillende ideeën verbinden?
De KI-Rechters: Ze stelden vier verschillende KI-modellen op om dezelfde toetsen te beoordelen met hetzelfde reglement.
- Eagle: Een kleine, snelle KI (zoals een sprinter).
- Orion: Een enorme, krachtige KI met enorm breinvermogen (zoals een zwaargewichtkampioen).
- Nova: Een slimme, efficiënte KI die een speciale "team"-structuur gebruikt (zoals een specialistenteam).
- Lyra: Een top-tier KI gebruikt als scheidsrechter.

2. De Twist: Groter is niet altijd beter

Meestal gaan we ervan uit dat de grootste, krachtigste KI (Orion) zou winnen. Maar de resultaten waren verrassend, alsof een enorme sumoworstelaar struikelt over een klein steentje terwijl een behendige danser er elegant langs glijdt.

De "Reus" (Orion) faalde: Ondanks het meeste "breinvermogen" (70 miljard parameters) raakte Orion in de war. Het was het zo oneens met de menselijke docenten dat de wiskundescore voor hun overeenkomst eigenlijk negatief was. Het was alsof een robot probeerde een toets te beoordelen, maar zijn eigen regels bedacht die geen zin hadden.
De "Specialist" (Nova) won: De kleinere, efficiëntere KI (Nova) deed het beste werk. Het was ongeveer 38% van de tijd het eens met de menselijke docenten (wat in deze strikte wereld als "Redelijk" wordt beschouwd). Het volgde de instructies beter dan de reus.

De Les: Bij deze specifieke taak was de regels volgen belangrijker dan een groot brein hebben. De massieve KI raakte "afgeleid" door zijn eigen complexiteit, terwijl de gespecialiseerde KI zich aan de taak hield.

3. De Oplossing: De "Mens in de Lus"

Het artikel concludeert dat we de KI nog niet de baan van de docent volledig moeten laten overnemen. De KI is nog niet klaar om de definitieve rechter te zijn.

In plaats daarvan, zie de KI als een zeer efficiënt stagiair.

De Stagiair (KI): scant snel het werk van de student, markeert de goede delen en stelt een cijfer voor op basis van het reglement.
De Baas (Menselijke Docent): bekijkt de suggesties van de stagiair, controleert de lastige delen dubbel en neemt de definitieve beslissing.

Deze "Mens in de Lus"-aanpak betekent dat de KI het zware werk doet van het vinden van bewijs, maar de mens het "betrouwbaarheidsschild" behoudt om eerlijkheid te garanderen.

4. Wat dit betekent (en wat niet)

Wat het IS: Een bewijs dat KI docenten kan helpen patronen te herkennen en bewijs uit studentwerk te halen, waardoor het cijferproces sneller en gedetailleerder wordt.
Wat het NIET IS: Een systeem dat klaar is om docenten te vervangen of op zichzelf definitieve certificaten af te geven. Het artikel waarschuwt expliciet dat als we KI alleen laten cijferen, het fouten kan maken (hallucinaties) of bevooroordeeld kan zijn, omdat we niet altijd weten hoe het tot zijn conclusie is gekomen (het "Black Box"-probleem).

In het kort: De onderzoekers bouwden een brug tussen ouderwetse cijfering en de toekomst. Ze ontdekten dat hoewel de KI nog niet de kapitein van het schip is, het een fantastische navigator maakt, zolang er maar een mens het stuur vasthoudt.

1. Probleemstelling

Het artikel adresseert de knelpunt in de overgang van traditionele beoordeling op basis van cijfers naar competentiegericht onderwijs (CBE) in wiskunde op middelbaar niveau.

De Uitdaging: CBE vereist een kwalitatieve mapping van vaardigheden van leerlingen (bijv. begrip, operationele vlotheid) in plaats van eenvoudige numerieke scores. Dit proces is arbeidsintensief, subjectief en moeilijk handmatig schaalbaar.
Het Gat: Hoewel Large Language Models (LLMs) veelbelovend zijn in geautomatiseerde beoordeling, ontbreekt er empirische validatie die LLMs vergelijkt met menselijke experts op het niveau van competentie-rubrics, met name in schoolwiskunde. Bestaande studies lijden vaak aan het "Black Box"-probleem (gebrek aan transparantie), contextbeperkingen en een gebrek aan Gerandomiseerde Gecontroleerde Studies (RCT's) tegen menselijke grondwaarheid.
Specifieke Context: De studie richt zich op het curriculum voor Optionele Wiskunde van klas 10 in Nepal, met complexe onderwerpen zoals Matrices, Coördinatenmeetkunde, Trigonometrie en Functies.

2. Methodologie

De auteurs hanteerden een Human-in-the-Loop (HITL) benchmarkkader om de effectiviteit van heterogene LLM's te evalueren bij het automatiseren van competentiebeoordeling.

A. Dataset en Constructie van Grondwaarheid

Data Bron: 33 handgeschreven antwoordbladen van leerlingen van klas 10 in Nepal.
Beoordelingsontwerp: 16 open vragen verspreid over vier wiskundige onderwerpen. Open vragen werden gekozen om redeneerstappen en gedeeltelijke misvattingen vast te leggen.
Menselijke Grondwaarheid: Twee senior wiskundedocenten voerden dubbelblinde beoordeling uit op de bladen.
- Interbeoordelaarsbetrouwbaarheid: Er werd een Quadratisch Gewogen Cohens Kappa ( $\kappa_w$ ) van 0,8652 bereikt, wat "Bijna Perfecte" overeenstemming aangeeft, en zo een robuuste grondwaarheid vestigt.
- Adjudicatie: Een derde senior expert loste eventuele conflicten op om de grondwaarheidslabels definitief te maken.

B. Competentiekader

De studie gebruikte een multidimensionale rubric die vier Tijdloze Competenties beoordeelt over vier vaardigheidsniveaus (Bewustzijn, Toepassing, Meesterschap, Invloed):

Begrip: Het begrijpen van de bedoeling van het probleem.
Kennis: Conceptuele diepte en voorkennis.
Operationele Vlotheid: Procedurele nauwkeurigheid en toepassing van regels.
Gedrag & Correlatie: Strategische selectie van hulpmiddelen en integratie van concepten.

C. LLM Ensemble en Architectuur

Een multi-model ensemble werd gebenchmarkt tegen de menselijke grondwaarheid. Alle modellen gebruikten een uniforme temperatuur (0,1) en een enkele Master Evaluatie Prompt (Rolgebaseerde Instructie: "Expert Wiskundedocent") om consistentie te waarborgen.

OCR/Digitalisering: Gemini 2.5 Flash (Multimodaal) voor het transcriberen van handgeschreven bladen.
EAGLE: Llama 3.1-8B (Dicht) – Geoptimaliseerd voor snelheid/latentie.
ORION: Llama 3.3-70B (Dicht) – Geoptimaliseerd voor diep redeneren.
NOVA: Gemini 2.5 Flash (Sparse MoE) – Controle voor hoge doorvoer.
LYRA: Gemini 3 Pro (Sparse MoE) – "Rechterlijke Arbiter" die Chain-of-Thought (CoT) gebruikt om inconsistenties op te lossen.

D. Evaluatiemetric

De primaire metric was Quadratisch Gewogen Cohens Kappa ( $\kappa_w$ ). Dit werd gekozen boven eenvoudige nauwkeurigheid omdat het rekening houdt met de ordinaal aard van de competentieniveaus (bijv. het straffen van een "Meesterschap" versus "Invloed"-fout minder ernstig dan een "Meesterschap" versus "Bewustzijn"-fout).

3. Belangrijkste Bijdragen

Competentie-uitgelijnd Kader: Ontwikkeling van een specifieke rubric voor Wiskunde klas 10 (Nepal) die 16 onderwerpspecifieke vragen koppelt aan vier globale tijdloze competenties.
Mens-LLM Benchmark Protocol: Een rigoureus protocol met dubbelblinde menselijke beoordeling en een multi-model LLM ensemble evaluatie, wat een nieuwe standaard vestigt voor empirische validatie in educatieve AI.
Architecturale Analyse: Een empirisch onderzoek naar hoe modelschaal (aantal parameters) versus architectuur (Dicht versus Sparse MoE) de prestaties beïnvloedt bij door rubrics beperkte taken.
Open-Source versus Propriëtaire Vergelijking: Directe vergelijking van open-gewicht modellen (Llama-serie) met frontier propriëtaire modellen (Gemini-serie).

4. Belangrijkste Resultaten

De studie onthulde een significante "Architectuur-Compatibiliteitskloof":

Mens-Mens Baseline: $\kappa_w \approx 0,87$ (Bijna Perfect).
LLM versus Menselijke Prestaties:
- NOVA (Gemini 2.5 Flash): Bereikte de hoogste overeenstemming met mensen ( $\kappa_w \approx 0,38$ ), geclassificeerd als "Redelijke Overeenstemming".
- LYRA (Gemini 3 Pro): Matige uitlijning ( $\kappa_w \approx 0,27$ ).
- EAGLE (Llama 3.1-8B): Lage uitlijning ( $\kappa_w \approx 0,10$ ).
- ORION (Llama 3.3-70B): Negatieve Overeenstemming ( $\kappa_w = -0,0261$ ), wat "Geen Overeenstemming" aangeeft. Het 70B-model tegensprak systematisch menselijk redeneren.
Inter-model Consensus:
- De sterkste overeenstemming was tussen de twee Gemini-modellen (Lyra en Nova, $\kappa \approx 0,56$ ), wat een gedeelde interne logica in de Sparse MoE-architectuur suggereert.
- Llama- en Gemini-modellen toonden "Lichte" tot "Lichte" overeenstemming, wat fundamentele verschillen aangeeft in het interpreteren van wiskundige data.

Kritieke Bevinding: Model naleving van instructiebeperkingen en architecturale geschiktheid (Sparse MoE) bleek kritischer voor op rubrics gebaseerde taken dan de ruwe parameterschaal. Het grotere dichte model (Orion) faalde om zich te houden aan de strikte rubric, waarschijnlijk vanwege "instructiedrift", terwijl de kleinere, geoptimaliseerde modellen beter presteerden.

5. Betekenis en Conclusie

Paradigmaverschuiving: De resultaten daag de aanname uit dat "groter beter is". In gespecialiseerde, door rubrics beperkte educatieve taken wegen architecturale naleving en het volgen van instructies zwaarder dan het aantal parameters.
Rol van AI: LLM's zijn nog niet geschikt voor autonome certificering vanwege het risico op hallucinaties en gebrek aan diepgaand pedagogisch redeneren. Ze zijn echter zeer effectief als "Eerste-Pas" Assisterende Hulpmiddelen.
Human-in-the-Loop Waarde: De studie valideert een HITL-kader waarbij LLM's voorlopig bewijs extraheren en competenties in kaart brengen, wat de werkdruk voor menselijke experts aanzienlijk verlaagt terwijl het "geloofwaardigheidsschild" van menselijk toezicht behouden blijft.
Schaalbaarheid: Hoewel getest in Nepal, is het competentiekader (Begrip, Kennis, Vlotheid, Gedrag) universeel, wat suggereert dat de methodologie kan worden geschaald naar internationale contexten voor wetenschappelijkere en efficiëntere beoordeling.

Toekomstige Richtingen: De auteurs raden "Redeneer-Audits" aan om AI-logica te verifiëren, het vergroten van steekproefgroottes, en het implementeren van een "Critic Loop" (twee-AI-systeem) om bias te mitigeren voordat volledige autonome implementatie plaatsvindt.