💻 computer science

Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus

Dit artikel benchmarkt tien LLM's tegen de Braziliaanse ENEM-examens om aan te tonen dat ze weliswaar redelijk in staat zijn om de moeilijkheidsgraad van vragen te rangschikken, maar dat ze de moeilijkheid van items systematisch onderschatten, moeite hebben met multimodale inhoud en de contextuele plasticiteit missen die nodig is voor gepersonaliseerde beoordeling, wat suggereert dat ze het beste geschikt zijn als gekalibreerde screeningsinstrumenten in plaats van als gezaghebbende generatoren.

Oorspronkelijke auteurs: Thiago Brant, Julien Kühn, Jun Pang

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thiago Brant, Julien Kühn, Jun Pang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een nieuwe wiskundetoets probeert op te stellen. Je hebt een superintelligente robotassistent (een AI) die vragen voor je kan schrijven. Maar voordat je de toets aan leerlingen geeft, moet je weten: Is deze vraag te makkelijk? Is hij te moeilijk?

Traditioneel geven docenten hier antwoord op door de toets eerst aan duizenden leerlingen te geven, de resultaten te nakijken en complexe berekeningen uit te voeren om de moeilijkheidsgraad te bepalen. Dit kost veel tijd en veel geld.

Dit artikel stelt een simpele vraag: Kunnen we de AI gewoon vragen: "Hoe moeilijk is deze vraag?" en dan ook op dat antwoord vertrouwen?

De onderzoekers testten dit idee met behulp van Brazilië's enorme nationale examens voor de middelbare school (ENEM), die meer dan 1.000 echte vragen bevatten. Ze vroegen tien verschillende AI-modellen om de moeilijkheidsgraad van deze vragen te raden en vergeleken hun schattingen met de "officiële" moeilijkheidsscores die door menselijke experts waren berekend.

Hier is wat ze vonden, uitgelegd met enkele alledaagse analogieën:

1. Het "Goed in rangschikken, slecht in getallen"-probleem

De AI-modellen zijn als een leerling die heel goed is in het op volgorde zetten van boeken op grootte, maar er slecht in is om ze met een liniaal te meten.

Het goede nieuws: Als je de AI vraagt om 10 vragen te sorteren van "makkelijkst" naar "moeilijkst", doet het een redelijke poging. De AI kan aangeven dat Vraag A moeilijker is dan Vraag B.
Het slechte nieuws: Als je de AI vraagt: "Op een schaal van 1 tot 10, hoe moeilijk is dit?", zit het er consequent naast. De AI denkt bijna altijd dat de vragen makkelijker zijn dan ze in werkelijkheid zijn. Het is alsoam met een persoon die denkt dat een marathon slechts een "lichte jog" is, omdat diegene nog nooit een marathon heeft gelopen.

2. Het "Blinddoek"-effect (Visuele elementen versus tekst)

Veel examenvragen bevatten plaatjes, grafieken of diagrammen. Omdat sommige AI's geen afbeeldingen kunnen "zien", moesten de onderzoekers de plaatjes in woorden beschrijven (zoals een blinde een schilderij beschrijft aan een vriend).

Het resultaat: Wanneer de AI de moeilijkheidsgraad moest raden op basis van alleen de tekstuele beschrijving van een afbeelding, raakte het in de war. Het was veel minder goed in het beoordelen van deze vragen dan bij de vragen die alleen uit tekst bestonden.
De analogie: Stel je voor dat je probeert te raden hoe moeilijk een puzzel is door een beschrijving van de stukjes te lezen, in plaats van de puzzel zelf te bekijken. Je zou een cruciale aanwijzing kunnen missen, waardoor de puzzel makkelijker of moeilijker lijkt dan hij is.

3. De "One-Size-Fits-All"-valkuil (Achtergrond van de student)

De onderzoekers wilden zien of de AI zijn antwoord kon aanpassen op basis van wie de test maakt. Ze vroegen de AI: "Hoe moeilijk is dit voor een student uit Finland?" versus "Hoe moeilijk is dit voor een student uit Brazilië?".

Het resultaat: De AI veranderde nauwelijks van mening. De AI was grotendeels "doof" voor deze veranderingen.
De analogie: Stel je een chef voor die een soep kookt. Als je vraagt: "Is deze soep te zout voor een baby?" of "Is het te zout voor een bodybuilder?", dan haalt de chef alleen maar zijn schouders op en zegt: "Het is dezelfde soep." De AI begreep niet dat verschillende studenten verschillende achtergronden en kennisniveaus hebben. Het kon zijn "moeilijkheidsmeter" niet aanpassen aan de persoon.

4. Het "Prompt"-spel (De manier waarop je vraagt, doet ertoe)

De onderzoekers probeerden de AI op verschillende manieren te bevragen. Soms zeiden ze alleen: "Beoordeel dit." Andere keren zeiden ze: "Gedraag je als een wiskundeleraar, denk stap voor stap na, en beoordeel dan dit."

Het resultaat: De manier waarop je de vraag stelt, veranderde het antwoord aanzienlijk. Sommige "denk"-prompts hielpen de AI om de rangschikking goed te krijgen, maar ze losten het probleem niet op dat de AI alles te makkelijk vond.
De analogie: Het is als het vragen om een filmtip aan een vriend. Als je vraagt: "Wat is een goede film?", kan hij een komedie noemen. Als je vraagt: "Wat is een goede film voor een regenachtige dinsdagavond?", kan hij een thriller noemen. Het antwoord van de AI hangt sterk af van hoe je de vraag formuleert.

De Grote Conclusie: Het "Screening"-instrument

Het artikel concludeert dat we deze AI-modellen niet moeten behandelen als Orakels (alwetende goden die het perfecte antwoord geven). In plaats daarvan moeten we ze behandelen als Screeners (een eerste filter).

De aanbeveling: Gebruik de AI om snel een stapel nieuwe vragen te scannen en te zeggen: "Hé, deze ziet eruit alsof hij misschien te makkelijk is, en deze ziet eruit alsof hij misschien te moeilijk is."
De kanttekening: Je kunt het exacte getal van de AI niet vertrouwen. Je moet de "bias" (vooringenomenheid) ervan corrigeren (de AI leren dat hij de moeilijkheid onderschat) en je moet een mens laten controleren, vooral bij de vragen met afbeeldingen.

Kortom: AI is een nuttige assistent die je kan helpen om de "makkelijke" vragen van de "moeilijke" te scheiden, maar het is nog niet klaar om de uiteindelijke rechter te zijn van hoe moeilijk een vraag precies is, noch is het klaar om de specifieke behoeften van verschillende soorten studenten te begrijpen. We moeten het kalibreren en een mens in de loop houden.

Technische Samenvatting: Het schatten van de moeilijkheidsgraad van examenitems met LLM's

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet voor het genereren van educatieve inhoud, bestaat er een kritieke veiligheidskloof: het onvermogen om de moeilijkheidsgraad van de vragen die ze produceren betrouwbaar in te schatten vóór implementatie. Traditionele schatting van moeilijkheidsgraad steunt op Item Response Theory (IRT), wat kostbare, grootschalige pilot-testen vereist met representatieve steekproeven van studenten. Hoewel LLM's het potentieel bieden om de moeilijkheidsgraad van items direct vanuit tekst te benaderen, hinderen verschillende uitdagingen hun betrouwbaarheid:

Domeinafhankelijkheid: Modellen gedragen zich inconsistent over verschillende vakken heen (bijv. Wiskunde versus Geesteswetenschappen).
Multimodaliteit: Examenvragen in de echte wereld leunen vaak op diagrammen en tabellen; het omzetten hiervan naar tekst brengt het risico met zich mee dat ruimtelijke aanwijzingen die essentieel zijn voor redeneren verloren gaan.
Kalibratie versus Rangschikking: Modellen kunnen een lage absolute fout bereiken door de gemiddelde moeilijkheid te voorspellen (regressie naar het gemiddelde), terwijl ze er niet in slagen de relatieve ordening (ranggetrouwheid) van items te behouden.
Contextgevoeligheid (Plasticiteit): Het is onduidelijk of modellen de moeilijkheidsgraad betekenisvol kunnen aanpassen op basis van demografische gegevens van de leerling (bijv. land of onderwijsachtergrond) of dat dergelijke aanwijzingen leiden tot ruis en bevooroordeelde verschuivingen.

Deze studie adresseert deze hiaten door LLM's te benchmarken tegen hoogwaardige, op IRT gebaseerde data om te bepalen of zij als betrouwbare pre-screening instrumenten voor assessmentontwerp kunnen dienen.

Methodologie

Dataset

De studie maakt gebruik van een corpus van 1.031 meerkeuzevragen uit het Braziliaanse Exame Nacional do Ensino Médio (ENEM), verspreid over de jaren 2017–2022. De dataset beslaat vier vakken: Wiskunde (MT), Natuurwetenschappen (CN), Geesteswetenschappen (CH) en Talen en Codes (LC).

Grondwaarheid: Officiële IRT-moeilijkheidsparameters ( $b_i$ ) afgeleid van grootschalige studentenprestaties, gemapt naar een schaal van 1–10.
Modaliteit: 38,1% van de items bevat visuele elementen (diagrammen, grafieken, tabellen). Deze werden getranscribeerd naar tekst met behulp van visueel even bekwame LLM's (GPT-4o, Gemini-2.0-Flash) om text-only pipelines te simuleren, waarbij kleine transcriptiefouten werden behouden om realistische implementatiecondities te reflecteren.

Experimenteel Protocol

Modellen: Tien heterogene LLM's werden geëvalueerd, inclusief vier propriëtaire API's (GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash) en zes open-weight modellen (Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2).
Prompt Strategieën: Acht promptfamilies werden getest, variërend van minimale instructies tot gestructureerde redeneersteigers:
- Zero-shot en Enhanced Zero-shot.
- Few-shot en Persona+Few-shot.
- Chain of Thought (CoT), Point-based (rubriekdecompositie), en Tree of Thoughts (ToT).
- Synthetic/Playground (gestructureerde JSON-output).
Bias Probe: Een "plasticiteitstest" injecteerde een enkel land-token (bijv. "studenten in [Land]") in prompts voor vier representatieve modellen over zeven landen (Brazilië, China, Finland, etc.) om verschuivingen in moeilijkheidschattingen te meten.

Metrieken

Prestaties werden geëvalueerd met behulp van:

Absolute Kalibratie: Root Mean Squared Error (RMSE) en Mean Absolute Error (MAE) ten opzichte van IRT-targets.
Ranggetrouwheid: Spearman's rangcorrelatie ( $\rho$ ).
Stabiliteit: Promptgevoeligheid ( $\sigma_{prompt}$ ) en distributionele uitlijning (KL Divergentie).
Bias: Gekende residuen en de Plasticity Index (PI) om de responsiviteit op demografische aanwijzingen te meten.
Kalibratie: Post-hoc additieve verschuiving en affine mapping werden toegepast om globale locatiebiases te corrigeren.

Belangrijkste Resultaten

1. Trade-off tussen Accuratesse en Rangschikking

Er bestaat een significante trade-off tussen absolute kalibratie en ranggetrouwheid.

Lage RMSE is misleidend: Modellen zoals Llama-3 bereikten een lage RMSE (1,40) door te regrederen naar de gemiddelde moeilijkheid, wat resulteerde in een bijna nul rank-correlatie ( $\rho \approx 0,10$ ).
Beste Presteerders: Phi-4 (open-weight) en Gemini-2.5-Flash boden de meest gebalanceerde prestaties, waarbij ze een concurrerende RMSE combineerden met sterke ranggetrouwheid ( $\rho \approx 0,31–0,37$ ).
Promptgevoeligheid: Het wisselen van promptfamilies had vaak een grotere impact op de prestaties dan het wisselen van modellen. Voor open-weight modellen verbeterden redeneersteigers (Persona, Point-based) de ranggetrouwheid aanzienlijk. Propriëtaire modellen vertoonden minder gevoeligheid voor promptwijzigingen.

2. Vakspecifieke Prestaties

Wiskunde: Vertoonde de hoogste fout en de sterkste promptgevoeligheid. "Point-based" prompts (stap-decompositie) waren het meest effectief, wat suggereert dat rubric-achtige redeneeraanwijzingen helpen bij meerstaps STEM-items.
Talen: Propriëtaire modellen (Claude-4-Sonnet) excelleerden hier.
Geesteswetenschappen: DeepSeek-R1 presteerde het best, waarschijnlijk door reasoning-gecentreerde pretraining voor sociaal-historische contexten.
Natuurwetenschappen: Toonde een grote variantie in fouten; Gemini-2.5-Flash behaalde de hoogste rangcorrelatie.

3. De Modality Penalty

Het transcriberen van visuele items naar tekst veroorzaakte een consistente prestatiepenalty.

Visuele items verhoogden de RMSE gemiddeld met 1,26 punten vergeleken met niet-visuele items.
Modellen faalden systematisch in het vatten van de menselijke moeilijkheidstrend voor visuals: terwijl mensen visuele items makkelijker vinden in de Natuurwetenschappen, overschatten modellen hun moeilijkheid vaak of bleven ze neutraal.
Beknopte, criterium-gestuurde prompts (Point-based, Enhanced Zero-shot) waren minder gevoelig voor modaliteitsverschuivingen dan complexe redeneertemplates.

4. Systematische Bias en Kalibratie

Globale Onderschatting: Alle modellen onderschatten de moeilijkheid van items systematisch (voorspelden items als makkelijker dan de IRT). Het gemiddelde residu was positief voor elk systeem, waarbij o3 de grootste verschuiving vertoonde ( $\approx +3$ punten).
Effectiviteit van Kalibratie: Een eenvoudige additieve verschuiving (post-hoc kalibratie) verminderde de RMSE en MAE voor alle modellen aanzienlijk zonder de rangcorrelaties ( $\rho$ ) te veranderen. Dit geeft aan dat een groot deel van de fout een locatiebias is die corrigeerbaar is via lineaire aanpassing.

5. Plasticiteit en Contextgevoeligheid

Wanneer geprompt met landspecifieke aanwijzingen:

Beperkte Plasticiteit: Modellen vertoonden kleine maar systematische verschuivingen in moeilijkheidschattingen. Deze verschuivingen waren echter ruisachtig en inconsistent met reële prestatiekloof (bijv. PISA-ranglijsten).
Model Variantie: Alleen Llama-3 vertoonde een significante monotone associatie met PISA-leesrangen. Andere modellen (GPT-4o, o3) vertoonden zwakke of negatieve trends.
Risico: Het gebrek aan consistente, betekenisvolle adaptatie suggereert dat huidige LLM's nog niet klaar zijn voor context-adaptieve personalisatie en het risico lopen een "one-size-fits-all" opvatting van moeilijkheid te coderen of vooroordelen te versterken als ze worden gebruikt voor adaptieve toetsing.

Betekenis en Claims

Het artikel concludeert dat hoewel LLM's nog geen autoritaire orakels zijn voor de moeilijkheidsgraad van items, ze wel over een bruikbaar signaal beschikken voor screening en triage. De auteurs pleiten voor een "evaluatie-voor-generatie" pipeline:

LLM's als Screeners: LLM's kunnen dienen als laagkosten, pre-deployment filters om kandidaat-items te prioriteren op basis van voorspelde moeilijkheid, mits:
- Eenvoudige post-hoc kalibratie wordt toegepast om globale locatiebiases te corrigeren.
- Evaluatie de nadruk legt op zowel absolute uitlijning (via kalibratie) als ranggetrouwheid.
- Visuele inhoud met voorzichtigheid wordt behandeld, aangezien tekst-only transcriptie de prestaties verslechtert.
Human-in-the-Loop: Items die de LLM-screening passeren, moeten een menselijke curatie en beperkte pilot-testen (IRT-validatie) ondergaan voordat ze operationeel worden ingezet.
Fairness Guardrails: De studie toont aan dat huidige modellen een gebrek hebben aan de "plasticiteit" om betrouwbaar aan te passen aan de demografie van de leerling. Daarom moeten demografische tokens worden vermeden in productie-prompts, en moeten fairness-diagnostiek worden geïntegreerd in de assessment-ontwerppipeline om de versterking van ongelijkheden te voorkomen.

Het werk stelt vast dat de schatting van de moeilijkheidsgraad een vereiste capaciteit is die gekalibreerd en geaudit moet worden voordat LLM's verantwoord kunnen worden gebruikt voor het genereren of selecteren van hoogwaardige assessment-inhoud.