💬 NLP

Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

Dit onderzoek onderzocht de haalbaarheid van het automatisch beoordelen van subvaardigheden van kritisch denken in studententoetsen met behulp van drie LLM-aanpakken, waarbij gebleken is dat fine-tuning van Llama 3.1 8B de beste resultaten oplevert, hoewel de prestaties lager zijn bij subtiele onderscheidingen en onevenwichtige datasets.

Oorspronkelijke auteurs: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sher

Gepubliceerd 2026-02-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sherry Lachman, Andrew Lan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt vol met duizenden schoolopstellen van leerlingen. De leraar moet nu niet alleen kijken of de spelling goed is, maar ook: "Denkt deze leerling echt kritisch? Kan hij bewijzen vinden, tegenargumenten zien en logische fouten opsporen?"

In het verleden was dit een enorme klus voor leraren. Het kostte veel tijd en energie om elk opstel te lezen en te beoordelen. Nu, met de komst van slimme AI (zoals de grote taalmodellen die we vandaag de dag kennen), hopen onderzoekers dat computers dit werk kunnen overnemen.

Dit onderzoek is als een proefkeuken geweest om te zien of een computer dit "kritisch denken" echt kan beoordelen, net als een mens.

Hier is wat ze hebben gedaan, vertaald in begrijpelijke taal:

1. De Opdracht: Het "Kritisch Denken" in stukjes hakken

Kritisch denken is als een enorme, ingewikkelde machine. Je kunt die machine niet in één keer beoordelen. Daarom hebben de onderzoekers de machine uit elkaar gehaald in kleine, losse onderdelen (de "subskills"). Ze keken naar zes specifieke vaardigheden:

Bronnen samenvoegen: Gebruik je meerdere bronnen en koppel je ze aan elkaar?
Bewijskracht: Is je bewijs sterk of zwak?
Tegenargumenten: Zie je de andere kant van het verhaal?
Feiten vs. Meningen: Gebruik je feiten of vooral je eigen gevoel?
Conclusies trekken: Kom je tot een duidelijk eindoordeel?
Logische fouten: Maak je slordige redeneringen (zoals "het is waar omdat ik het zeg")?

2. De Menselijke Referentie: De "Gouden Standaard"

Voordat ze de computer aan het werk zetten, moesten ze weten hoe een mens dit doet. Ze hebben een groep geschoolde mensen (promovendi) gevraagd om 500 opstellen te beoordelen met een zeer gedetailleerde "scorekaart" (rubric).

Het resultaat: Mensen waren het niet altijd 100% met elkaar eens (wat normaal is bij complexe onderwerpen), maar ze kwamen tot een redelijke consensus. Dit werd de "gouden standaard" waartegen de computer werd getoetst.

3. De AI-Test: Drie manieren om te leren

De onderzoekers testten drie verschillende manieren om de computer (de AI) dit te leren:

Manier 1: De "Nieuwsgierige Toerist" (Zero-shot prompting)
Je geeft de AI de scorekaart en zegt: "Kijk hier, beoordeel dit." De AI heeft dit nog nooit eerder gezien. Het is alsof je iemand de weg vraagt in een stad die je zelf ook niet kent. Het werkt soms, maar vaak niet perfect.
Manier 2: De "Voorbeeldleerling" (Few-shot prompting)
Je geeft de AI een paar voorbeelden: "Kijk, dit is een goed voorbeeld van niveau 3, en dit is een slecht voorbeeld van niveau 1." De AI probeert het patroon te snappen. Dit werkt iets beter, maar het is nog steeds een beetje giswerk.
Manier 3: De "Oefenende Student" (Fine-tuning)
Dit was de winnaar. Ze hebben een AI-model (Llama) maandenlang laten oefenen op de 500 opstellen die door de mensen waren beoordeeld. De AI heeft echt "geleerd" wat de mensen zagen. Het is alsof je een student laat stage lopen bij de beste leraren voordat je hem de klas in stuurt.

4. De Resultaten: Wie wint er?

De "Oefenende Student" (Fine-tuning) won. De AI die had geoefend op de menselijke scores deed het het beste. Hij kon de nuance tussen "goed" en "uitstekend" veel beter onderscheiden dan de AI die alleen instructies kreeg.
Het hangt af van de taak: De AI was heel goed in het vinden van duidelijke dingen (zoals: "Heeft deze tekst bronnen?"). Maar hij had moeite met de subtiele dingen (zoals: "Is dit een logische fout of gewoon een sterke mening?").
Het probleem met zeldzame gevallen: Als een bepaald type fout heel zeldzaam was in de oefenopstellen, leerde de AI het niet goed. Het was alsof een dokter die alleen maar griep heeft gezien, niet weet hoe hij een zeldzame ziekte moet diagnosticeren.

5. De Grote Uitdaging: Generaliseren

De onderzoekers probeerden ook of de AI, die was getraind op het beoordelen van "bronnen", ook goed kon beoordelen van "logische fouten" zonder daarvoor te hebben geoefend.

Het antwoord: Nee, niet echt. De AI had moeite om kennis over te dragen. Het was alsof je iemand vraagt om een auto te repareren, en hij doet het perfect, maar als je vraagt om een fiets te repareren, weet hij niet waar hij moet beginnen. De AI heeft voor elke nieuwe vaardigheid weer een beetje "opleiding" nodig.

Conclusie: Wat betekent dit voor de toekomst?

Dit onderzoek is als een eerste stap op een lange reis.

Goed nieuws: Computers kunnen nu al helpen bij het beoordelen van kritisch denken, vooral als ze eerst wat hebben geoefend. Dit kan leraren enorm veel tijd besparen en studenten sneller feedback geven.
Nog geen vervanging: De computer is nog niet slimmer dan de mens. Hij mist de nuance en kan soms in de war raken bij subtiele verschillen.
De toekomst: De beste aanpak is waarschijnlijk een teamwerk: de AI doet het zware, snelle werk (het eerste oordeel), en de mens kijkt er nog even kritisch overheen om de lastige gevallen te checken.

Kortom: We hebben een slimme assistent gevonden die ons kan helpen bij het beoordelen van het denken van leerlingen, maar we moeten nog wel even de teugels in handen houden.

Probleemstelling

Kritisch denken is een cruciale vaardigheid in het huidige tijdperk van AI-generatie, desinformatie en algoritmische persuasie. Ondanks het belang ervan, heeft de gemeenschap voor Educational Data Mining (EDM) tot nu toe weinig onderzoek gedaan naar het definiëren, meten en ondersteunen van kritisch denken. De uitdagingen zijn:

Operationalisatie: Kritisch denken is complex, multidimensionaal en vaak vaag gedefinieerd, wat het moeilijk maakt om het te meten in een gestructureerde vorm.
Scalabiliteit: Bestaande assessments (zoals meerkeuzevragen of open vragen) zijn vaak niet betrouwbaar, geldig of schaalbaar genoeg voor formative feedback in authentieke leeromgevingen.
Gebrek aan tools: Er zijn weinig hulpmiddelen die in staat zijn om indicatoren van kritisch denken in real-time en automatisch te detecteren binnen authentieke leeractiviteiten (zoals essays).

Het doel van dit onderzoek is om de haalbaarheid te onderzoeken van het automatisch meten van specifieke "subskills" van kritisch denken (zoals het evalueren van bewijs en het trekken van conclusies) uitsluitend op basis van door studenten geschreven argumentatieve essays, met behulp van Large Language Models (LLMs).

Methodologie

1. Dataset en Rubriek

Dataset: De auteurs gebruikten een subset van het PERSUADE 2.0-corpus, bestaande uit 500 argumentatieve essays geschreven door leerlingen van 6e tot 12e klas.
Rubriek: Een coderingsrubriek werd ontwikkeld op basis van de Critical Thinking Progression van het 'Skills for the Future' (SFF) initiatief. De rubriek omvat drie vaardigheden en zes subskills:
- Informatie-analyse: Synthese van meerdere bronnen, beoordeling van bewijskracht.
- Argumentgeneratie: Gebruik van tegenargumenten, gebruik van feiten versus meningen.
- Logisch redeneren: Trekken van conclusies, gebruik van logische drogredenen.
Proficiëntieniveaus: Er werden vijf niveaus gedefinieerd: Niet van toepassing, Onder Ontwikkeling, Ontwikkeling, Uitbreiding, en Voorbeeldend.

2. Menselijke Codering
Twee groepen coderers (in totaal 7 promovendi) coderden de 500 essays onafhankelijk.

Betrouwbaarheid: De inter-rater betrouwbaarheid werd gemeten met Krippendorff's Alpha. Een drempel van $\alpha \ge 0.60$ werd gehanteerd als voldoende (lager dan de gebruikelijke 0.80, gezien de complexiteit van het construct).
Resultaat: De meeste subskills bereikten de drempel, hoewel "Gebruik van feiten en meningen" en "Trekken van conclusies" soms net onder de drempel bleven. De dataset diende als "ground truth" voor het trainen en evalueren van de AI-modellen.

3. LLM-benaderingen
Drie verschillende benaderingen werden getest op drie modellen:

GPT-5 (Propriëtaire): Getest in zero-shot (alleen instructies) en few-shot (met voorbeelden) prompting.
Llama 3.1 8B (Open Source): Getraind via Supervised Fine-Tuning (SFT).
- Variaties: Met/zonder rubric-tekst in de prompt, met/zonder synthetische rechtvaardiging (justification) gegenereerd door GPT-4.
- Techniek: PEFT met LoRA-adapters.
ModernBERT (Open Source): Een encoder-only transformer, ook getraind via SFT met een classificatiehead en focal loss om klasse-ongelijkheid te mitigeren.

4. Evaluatiemetrics
Om de prestaties te vergelijken met menselijke beoordelaars, werden de volgende metrics gebruikt:

Accuracy: Exacte overeenkomst.
RMSE (Root Mean Squared Error): Straft afwijkingen op een ordinale schaal zwaarder.
Macro/Weighted F1: Balans tussen zeldzame en frequente klassen.
Krippendorff's $\alpha$ : Maatstaf voor overeenstemming tussen model en mens, rekening houdend met toeval en de ordinale aard van de scores.

Belangrijkste Resultaten

1. Prestaties van Modellen

Fine-tuning wint: Het fine-tunen van open-source modellen presteerde beter dan prompting van grote modellen. Llama 3.1 8B (fine-tuned) behaalde de beste resultaten, met name de variant met rubric maar zonder justification.
Drempeloverschrijding: Alleen het fine-tuned Llama-model overschreed de menselijke betrouwbaarheidsdrempel van $\alpha \ge 0.60$ (bereikte $\alpha \approx 0.606$ ).
GPT-5: Presteerde goed in few-shot prompting ( $\alpha \approx 0.54$ ), maar bleef onder de menselijke betrouwbaarheid en was aanzienlijk duurder.
ModernBERT: Presteerde minder goed dan Llama, waarschijnlijk vanwege de kleinere modelgrootte (149M parameters vs 8B) en de encoder-only architectuur.

2. Subskill-specifieke Bevindingen

Hoge prestaties: Subskills met duidelijke, gescheiden proficiëntieniveaus en een gebalanceerde labelverdeling (zoals Synthesizing Multiple Sources) werden goed voorspeld ( $\alpha = 0.74$ ).
Lage prestaties: Subskills die subtiele onderscheidingen vereisen of een sterk onbalans in labels hebben, presteerden slecht.
- Evaluating Evidence Strength: Hoewel de accuracy hoog was (76%), was de $\alpha$ zeer laag (0.23) omdat het model neigde naar het meest frequente label ("Emerging") en zeldzame klassen negeerde.
- Using Logical Fallacies: Zeer moeilijk te detecteren vanwege de subtiliteit van drogredenen; het model verwardde vaak bewijs met drogredenen.

3. Generalisatie naar Ongeziene Subskills

Bij een "subskill-based split" (waarbij een subskill volledig onbekend is voor het trainingsmodel) daalde de prestatie aanzienlijk.
Rol van de Rubriek: Rubric-descriptoren waren essentieel voor generalisatie. Zonder de rubriek in de prompt daalde de $\alpha$ naar bijna nul.
Rol van Justification: Het genereren van een rechtvaardiging (justification) tijdens het trainen verbeterde de generalisatie aanzienlijk, omdat het model leert om de label te koppelen aan de rubric-criteria.

4. Foutanalyse
De meeste fouten waren verwarring tussen aangrenzende proficiëntieniveaus (bijv. "Emerging" vs. "Expanding"). Het model had moeite met het afwegen van de balans tussen bewijs en logische fouten, een taak die voor menselijke coderers ook complex is.

Belangrijkste Bijdragen

Operationalisatie van Kritisch Denken: Het paper biedt een concrete, gestructureerde rubriek voor het coderen van kritisch denk-subskills in authentieke essays, wat een zeldzame en waardevolle dataset creëert voor EDM.
Validatie van LLM-methoden: Het toont aan dat fine-tuning van open-source LLMs (Llama 3.1) superieur is aan prompting van state-of-the-art modellen voor deze specifieke taak, zowel qua prestatie als kosten/privacy.
Nuance in Beoordeling: Het onderzoek benadrukt dat niet alle subskills even goed automatiseerbaar zijn. De prestaties hangen sterk af van de duidelijkheid van de proficiëntieniveaus en de balans in de trainingsdata.
Generalisatie-inzicht: Het identificeert dat rubric-descriptoren en chain-of-thought (justification) essentieel zijn voor het generaliseren naar nieuwe vaardigheden zonder extra trainingsdata.

Betekenis en Toekomstperspectief

Dit werk vormt een eerste stap naar schaalbare, AI-ondersteunde beoordeling van kritisch denken in authentieke leeromgevingen. De resultaten suggereren dat:

Hybride benaderingen nodig zijn: Volledige automatisering is voor nu niet haalbaar voor alle subskills; menselijke validatie blijft cruciaal, vooral voor complexe vaardigheden.
Data-kwaliteit is leidend: De kwaliteit van de trainingsdata (balans, duidelijkheid van labels) is belangrijker dan de grootte van het model.
Toepassing in het onderwijs: Deze modellen kunnen potentieel worden ingezet in adaptieve leersystemen om leraren en studenten snelle feedback te geven over hun kritische denkvaardigheden, wat essentieel is in een tijdperk van AI-generatie en desinformatie.

De auteurs concluderen dat hoewel LLMs menselijke beoordelaars niet volledig kunnen vervangen, ze een krachtig hulpmiddel kunnen zijn om onderzoek naar kritisch denken uit te breiden en onderwijspraktijken te ondersteunen, mits de beperkingen van het model en de complexiteit van het construct worden erkend.