Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Sintesi Tecnica: Fedeltà di Classificazione dei Large Language Models su Item Endodontici dell'Esame di Specializzazione Odontoiatrica Turca

Problematica
Sebbene i Large Language Models (LLM) siano sempre più utilizzati nell'educazione e nella valutazione odontoiatrica, la ricerca esistente si è concentrata quasi esclusivamente sull'accuratezza della risposta (ovvero se il modello seleziona l'opzione corretta). Rimane una lacuna critica riguardante la capacità degli LLM di identificare in modo affidabile il carico cognitivo degli item d'esame. Questa capacità è distinta dal rispondere correttamente ed è essenziale per l'assicurazione della qualità della valutazione e la mappatura curricolare. Inoltre, non è noto se gli LLM possano classificare costantemente la complessità cognitiva attraverso molteplici e distinti framework tassonomici (Bloom Revisionato, SOLO e la Piramide di Miller) o se le loro prestazioni varino significativamente tra i modelli e i framework.

Metodologia
Lo studio ha impiegato un disegno osservazionale trasversale per valutare la fedeltà di classificazione di quattro LLM accessibili pubblicamente: ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) e DeepSeek (V3.2).

• Dataset: 200 domande a scelta multipla (MCQ) di endodonzia provenienti dall'Esame di Specializzazione Odontoiatrica Turca (DUS) somministrato tra il 2012 e il 2025. Gli item sono stati presentati nella loro lingua originale, il turco.
• Gold Standard: Una procedura di consenso tra esperti a tre livelli ha stabilito la verità di base (ground truth). Due esperti (un endodontista e un protesista con competenze educative) hanno classificato indipendentemente gli item, seguiti da una sessione di formazione sulla calibrazione, un audit procedurale da parte di un consulente esterno e una deliberazione congiunta strutturata per risolvere i disaccordi.
• Tassonomie: Ogni item è stato classificato secondo:
  1. Tassonomia di Bloom Revisionata: Sei livelli (da Ricordare a Creare).
  2. Tassonomia SOLO: Cinque livelli (da Pre-strutturale a Astratto Esteso).
  3. Piramide di Miller: Quattro livelli (da Conosce a Fa).
• Controlli Sperimentali: Gli LLM hanno ricevuto un prompt standardizzato in sessioni dedicate di browser in incognito per eliminare gli effetti di memoria cross-sessione e personalizzazione. I parametri di generazione (es. temperatura) erano gestiti dalla piattaforma e non modificabili.
• Analisi Statistica: L'accordo è stato misurato utilizzando il kappa di Cohen pesato ($\kappa_w$) con intervalli di confidenza bootstrap al 95%. La performance di classificazione è stata valutata tramite accuratezza e punteggi F1 macro-mediati. Le differenze inter-modello sono state testate utilizzando il test Q di Cochran e i test di McNemar a coppie con correzione di Holm–Bonferroni.

Risultati Chiave

1. Performance Dipendente dal Framework:

   • Tassonomia di Bloom: Gemini ($\kappa_w = 0,676$) e DeepSeek ($\kappa_w = 0,667$) hanno raggiunto un accordo sostanziale con il gold standard. ChatGPT ($\kappa_w = 0,365$) e Kimi ($\kappa_w = 0,428$) hanno ottenuto solo un accordo da scarso a moderato.
   • Tassonomia SOLO: Gemini ha nuovamente guidato con un accordo sostanziale ($\kappa_w = 0,622$). Gli altri modelli hanno ottenuto un accordo moderato ($\kappa_w$ tra 0,433 e 0,549).
   • Piramide di Miller: La performance è stata significativamente più debole in tutti i modelli. L'accordo non ha superato il livello scarso per nessun modello. ChatGPT ha ottenuto le prestazioni migliori ($\kappa_w = 0,372$), mentre Gemini, Kimi e DeepSeek hanno raggiunto un accordo da scarso a lieve.

2. Inversione Totale del Ranking:
   Un risultato sorprendente è stata la totale inversione del ranking dei modelli tra i framework. I modelli che eccellevano in Bloom e SOLO (Gemini, DeepSeek) hanno performato scarsamente sulla Piramide di Miller. Al contrario, ChatGPT, che si è classificato più basso in Bloom e SOLO, ha ottenuto l'accuratezza e l'accordo più elevati sulla Piramide di Miller.

3. Trend dei Livelli Cognitivi:

   • La fedeltà di classificazione è diminuita all'aumentare dei livelli cognitivi. Tutti i modelli hanno classificato i processi di pensiero di ordine inferiore (Livelli 1–2 di Bloom) con maggiore fedeltà rispetto ai processi di ordine superiore (Livelli 3–5).
   • ChatGPT ha mostrato un bias sistematico, sovraclassificando gli item di Livello 2 (Comprendere) come Livello 4 (Analizzare).
   • DeepSeek ha identificato correttamente tutti i cinque item di Livello 5 (Valutare), ma ha assegnato erroneamente il Livello 5 ad altri item.
   • Gemini ha dimostrato il profilo di misclassificazione più equilibrato ed è stato l'unico modello a mostrare punteggi F1 costanti attraverso tutti e tre i livelli SOLO.

4. Trend Temporali:
   È stata trovata una correlazione positiva significativa tra l'anno dell'esame e il livello Bloom del gold standard ($\rho = 0,301, p < 0,001$), indicando che le domande di endodonzia del DUS sono diventate progressivamente più impegnative dal punto di vista cognitivo dal 2012 al 2025.

Contributi Chiave

• Disaccoppiamento tra Accuratezza e Classificazione: Lo studio dimostra che l'accuratezza della risposta e la fedeltà di classificazione tassonomica sono capacità separate. Un modello può rispondere correttamente alle domande (come notato in studi precedenti per ChatGPT) pur fallendo nell'identificare accuratamente la complessità cognitiva di tali domande.
• Non Intercambiabilità delle Tassonomie: I risultati forniscono prove empiriche che Bloom, SOLO e la Piramide di Miller valutano costrutti distinti. La performance di un LLM in un framework non predice la sua performance in un altro; pertanto, non possono essere usati in modo intercambiabile come proxy della domanda cognitiva.
• Guida alla Selezione dei Modelli: Lo studio offre una guida specifica per la selezione degli LLM in base allo scopo della valutazione: Gemini e DeepSeek sono superiori per la mappatura della complessità cognitiva (Bloom/SOLO), mentre ChatGPT ha mostrato una forza relativa nella stratificazione dell'applicabilità clinica (Miller), sebbene la performance complessiva su Miller rimanga debole.

Significatività e Rivendicazioni
L'articolo sostiene che gli LLM possono classificare la complessità cognitiva con una fedeltà significativa per le tassonomie di Bloom e SOLO, in particolare quando si utilizzano Gemini o DeepSeek, ma che questa capacità non è uniforme tra tutti i framework educativi. Gli autori sottolineano che la Piramide di Miller rimane un dominio impegnativo per gli attuali LLM, con nessun modello che raggiunga un accordo superiore al livello "scarso".

Lo studio conclude che per l'assicurazione della qualità della valutazione e la mappatura curricolare, la selezione dell'LLM deve essere adattata alla tassonomia e allo scopo specifici. Inoltre, l'aumento osservato della domanda cognitiva nel tempo suggerisce che gli studi che si basano su banche di item più datate potrebbero sovrastimare la performance di classificazione degli attuali LLM. Infine, gli autori affermano che la fedeltà di classificazione tassonomica deve essere valutata indipendentemente dall'accuratezza della risposta per garantire la validità degli strumenti educativi assistiti dall'IA.