Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Technische Samenvatting: Classificatiegetrouwheid van Large Language Models op Endodontische Items uit het Turkse Specialistenexamen voor Tandheelkunde

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in het tandheelkundig onderwijs en beoordeling, heeft bestaand onderzoek zich bijna uitsluitend gericht op antwoordnauwkeurigheid (d.w.z. of het model de juiste optie selecteert). Er blijft een kritiek gat bestaan met betrekking tot de vraag of LLM's betrouwbaar de cognitieve complexiteit van examenitems kunnen identificeren. Deze capaciteit is onderscheidend van het correct beantwoorden van vragen en is essentieel voor de kwaliteitsborging van assessments en curriculummapping. Bovien is het onbekend of LLM's consistent cognitieve complexiteit kunnen classificeren over meerdere, verschillende educatieve taxonomieën (Herziene Bloom, SOLO en de Piramide van Miller) of dat hun prestaties significant variëren tussen modellen en kaders.

Methodologie
De studie hanteerde een transversaal observationeel ontwerp om de classificatiegetrouwheid van vier publiek toegankelijke LLM's te evalueren: ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) en DeepSeek (V3.2).

• Dataset: 200 endodontische meerkeuzevragen (MCQ's) uit het Turkse Specialistenexamen voor Tandheelkunde (DUS), afgenomen tussen 2012 en 2025. De items werden gepresenteerd in de oorspronkelijke Turkse taal.
• Gouden Standaard: Een procedure met consensus tussen drie experts stelde de grondwaarheid vast. Twee experts (een endodontoloog en een prothetisch tandarts met expertise in onderwijs) classificeerden de items onafhankelijk, gevolgd door een kalibratietraining, een procedurele audit door een externe adviseur en gestructureerde gezamenlijke beraadslaging om onenigheid op te lossen.
• Taxonomieën: Elk item werd geclassificeerd volgens:
  1. Herziene Bloom-taxonomie: Zes niveaus (Onthouden tot Creëren).
  2. SOLO-taxonomie: Vijf niveaus (Pre-structureel tot Uitgebreid Abstract).
  3. Piramide van Miller: Vier niveaus (Weten tot Doen).
• Experimentele Controles: LLM's ontvingen een gestandaardiseerde prompt in speciale incognito-browser sessies om effecten van kruis-sessie geheugen en personalisatie te elimineren. Generatieparameters (bijv. temperatuur) werden door het platform beheerd en waren niet aanpasbaar.
• Statistische Analyse: Overeenstemming werd gemeten met gewogen Cohen's kappa ($\kappa_w$) met bootstrap 95% betrouwbaarheidsintervallen. Classificatieprestaties werden geëvalueerd via nauwkeurigheid en macro-gemiddelde F1-scores. Verschillen tussen modellen werden getest met Cochran's Q en paargewijze McNemar-toetsen met Holm–Bonferroni correctie.

Belangrijkste Resultaten

1. Framework-afhankelijke Prestaties:

   • Bloom-taxonomie: Gemini ($\kappa_w = 0,676$) en DeepSeek ($\kappa_w = 0,667$) bereikten een substantiële overeenstemming met de gouden standaard. ChatGPT ($\kappa_w = 0,365$) en Kimi ($\kappa_w = 0,428$) bereikten slechts een matige tot redelijke overeenstemming.
   • SOLO-taxonomie: Gemini leidde opnieuw met substantiële overeenstemming ($\kappa_w = 0,622$). De andere modellen bereikten een matige overeenstemming ($\kappa_w$-bereik: 0,433–0,549).
   • Piramide van Miller: De prestaties waren aanzienlijk zwakker over alle modellen heen. De overeenstemming oversteeg voor geen enkel model het niveau van redelijk. ChatGPT presteerde het best ($\kappa_w = 0,372$), terwijl Gemini, Kimi en DeepSeek een redelijke tot lichte overeenstemming vertoonden.

2. Volledige Rangschikkingsoverdraaiing:
   Een opvallende bevinding was de totale omkering van de modelrangschikking tussen de frameworks. Modellen die excelleerden bij Bloom en SOLO (Gemini, DeepSeek) presteerden slecht op de Piramide van Miller. Omgekeerd bereikte ChatGPT, dat het laagst rangschikte op Bloom en SOLO, de hoogste nauwkeurigheid en overeenstemming op de Piramide van Miller.

3. Trends in Cognitieve Niveaus:

   • De classificatiegetrouwheid nam af naarmate de cognitieve niveaus toenamen. Alle modellen classificeerden lagere orde denkprocessen (Bloom Niveaus 1–2) met een hogere getrouwheid dan hogere orde denkprocessen (Niveaus 3–5).
   • ChatGPT vertoonde een systematische bias door Level 2 (Begrijpen) items te overclassificeren als Level 4 (Analyseren).
   • DeepSeek identificeerde alle vijf de Level 5 (Evalueren) items correct, maar wijsde Level 5 ook te vaak toe aan andere items.
   • Gemini vertoonde het meest gebalanceerde misclassificatieprofiel en was het enige model dat consistente per-niveau F1-scores liet zien over alle drie de SOLO-niveaus.

4. Temporele Trends:
   Er werd een significante positieve correlatie gevonden tussen het examenjaar en het Bloom-niveau van de gouden standaard ($\rho = 0,301, p < 0,001$), wat aangeeft dat de endodontische vragen van de DUS progressief cognitief veeleisender zijn geworden van 2012 tot 2025.

Belangrijkste Bijdragen

• Ontkoppeling van Nauwkeurigheid en Classificatie: De studie toont aan dat antwoordnauwkeurigheid en taxonomie-classificatiegetrouwheid gescheiden capaciteiten zijn. Een model kan vragen correct beantwoorden (zoals opgemerkt in eerdere studies voor ChatGPT) terwijl het faalt in het accuraat identificeren van de cognitieve complexiteit van die vragen.
• Niet-uitwisselbaarheid van Taxonomieën: De resultaten leveren empirisch bewijs dat Bloom, SOLO en de Piramide van Miller verschillende constructen meten. De prestaties van een LLM in één framework voorspellen de prestaties in een ander framework niet; daarom kunnen ze niet uitwisselbaar worden gebruikt als proxy voor cognitieve complexiteit.
• Richtlijnen voor Modelselectie: De studie biedt specifieke richtlijnen voor het selecteren van LLM's op basis van het beoordelingsdoel: Gemini en DeepSeek zijn superieur voor het in kaart brengen van cognitieve complexiteit (Bloom/SOLO), terwijl ChatGPT een relatieve kracht vertoonde in de stratificatie van klinische toepasbaarheid (Miller), hoewel de algehele Miller-prestaties zwak bleven.

Betekenis en Claims
Het artikel beweert dat LLM's cognitieve complexiteit kunnen classificeren met betekenisvolle getrouwheid voor de Bloom- en SOLO-taxonomieën, met name wanneer Gemini of DeepSeek wordt gebruikt, maar dat deze capaciteit niet uniform is over alle educatieve frameworks. De auteurs benadrukken dat de Piramide van Miller een uitdagend domein blijft voor huidige LLM's, waarbij geen enkel model een overeenstemming boven het niveau van "redelijk" heeft bereikt.

De studie concludeert dat voor de kwaliteitsborging van assessments en curriculummapping, de selectie van een LLM moet worden afgestemd op de specifieke taxonomie en het doel. Bovendien suggereert de waargenomen toename in cognitieve complexiteit over de tijd dat studies die vertrouwen op oudere item-banken de huidige classificatieprestaties van LLM's kunnen overschatten. Tot slot stellen de auteurs dat de getrouwheid van taxonomieclassificatie onafhankelijk van de antwoordnauwkeurigheid moet worden geëvalueerd om de validiteit van AI-ondersteunde educatieve instrumenten te waarborgen.