Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Resumen Técnico: Fidelidad de Clasificación de Modelos de Lenguaje de Gran Escala en Ítems de Endodoncia del Examen de Especialidad Odontológica Turca

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) se utilizan cada vez más en la educación y evaluación dental, la investigación existente se ha centrado casi exclusivamente en la exactitud de la respuesta (es decir, si el modelo selecciona la opción correcta). Existe una brecha crítica respecto a si los LLM pueden identificar de manera fiable la demanda cognitiva de los ítems de examen. Esta capacidad es distinta de responder correctamente y es esencial para el aseguramiento de la calidad de la evaluación y el mapeo curricular. Además, se desconoce si los LLM pueden clasificar consistentemente la complejidad cognitiva a través de múltiples y distintas taxonomías educativas (Revisada de Bloom, SOLO y la Pirámide de Miller) o si su rendimiento varía significamente entre modelos y marcos de trabajo.

Metodología
El estudio empleó un diseño observacional transversal para evaluar la fidelidad de clasificación de cuatro LLM de acceso público: ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) y DeepSeek (V3.2).

• Conjunto de datos: 200 preguntas de opción múltiple (MCQ) de endodoncia del Examen de Especialidad de Odontología Turca (DUS) administrado entre 2012 y 2025. Los ítems se presentaron en su idioma original, el turco.
• Estándar de Oro (Gold Standard): Un procedimiento de consenso de tres niveles de expertos estableció la verdad de base. Dos expertos (un endodoncista y un prostodoncista con experiencia educativa) clasificaron los ítems de forma independiente, seguido de una sesión de entrenamiento de calibración, una auditoría de procedimiento por un asesor externo y una deliberación conjunta estructurada para resolver desacuerdos.
• Taxonomías: Cada ítem fue clasificado según:
  1. Taxonomía Revisada de Bloom: Seis niveles (desde Recordar hasta Crear).
  2. Taxonomía SOLO: Cinco niveles (desde Pre-estructural hasta Abstracto Extendido).
  3. Pirámide de Miller: Cuatro niveles (desde Sabe hasta Hace).
• Controles Experimentales: Los LLM recibieron un prompt estandarizado en sesiones de navegador de incógnito dedicadas para eliminar los efectos de memoria y personalización entre sesiones. Los parámetros de generación (por ejemplo, temperatura) fueron gestionados por la plataforma y no eran modificables.
• Análisis Estadístico: El acuerdo se midió mediante el kappa de Cohen ponderado ($\kappa_w$) con intervalos de confianza del 95% mediante bootstrap. El rendimiento de la clasificación se evaluó mediante exactitud y puntuaciones F1 de promedio macro. Las diferencias entre modelos se probaron mediante la Q de Cochran y pruebas de McNemar por pares con corrección de Holm–Bonferroni.

Resultados Clave

1. Rendimiento Dependiente del Marco de Trabajo:

   • Taxonomía de Bloom: Gemini ($\kappa_w = 0.676$) y DeepSeek ($\kappa_w = 0.667$) alcanzaron un acuerdo sustancial con el estándar de oro. ChatGPT ($\kappa_w = 0.365$) y Kimi ($\kappa_w = 0.428$) alcanzaron solo un acuerdo de regular a moderado.
   • Taxonomía SOLO: Gemini lideró nuevamente con un acuerdo sustancial ($\kappa_w = 0.622$). Los otros modelos alcanzaron un acuerdo moderado ($\kappa_w$ entre 0.433 y 0.549).
   • Pirámide de Miller: El rendimiento fue significativamente más débil en todos los modelos. El acuerdo no superó el nivel regular para ningún modelo. ChatGPT fue el que mejor se desempeñó ($\kappa_w = 0.372$), mientras que Gemini, Kimi y DeepSeek alcanzaron un acuerdo de regular a leve.

2. Reversión Completa de la Clasificación:
   Un hallazgo sorprendente fue la reversión total de la clasificación de los modelos entre los marcos de trabajo. Los modelos que destacaron en Bloom y SOLO (Gemini, DeepSeek) tuvieron un desempeño deficiente en la Pirámide de Miller. Por el contrario, ChatGPT, que obtuvo el rango más bajo en Bloom y SOLO, logró la mayor exactitud y acuerdo en la Pirámide de Miller.

3. Tendencias de los Niveles Cognitivos:

   • La fidelidad de clasificación disminuyó a medida que aumentaban los niveles cognitivos. Todos los modelos clasificaron los niveles de pensamiento de orden inferior (Niveles 1–2 de Bloom) con mayor fidelidad que los de orden superior (Niveles 3–5).
   • ChatGPT exhibió un sesgo sistemático, sobreclasificando ítems de Nivel 2 (Comprender) como Nivel 4 (Analizar).
   • DeepSeek identificó correctamente todos los cinco ítems de Nivel 5 (Evaluar), pero asignó erróneamente el Nivel 5 a otros ítems.
   • Gemini demostró el perfil de clasificación errónea más equilibrado y fue el único modelo en mostrar puntuaciones F1 consistentes por nivel en los tres niveles de SOLO.

4. Tendencias Temporales:
   Se encontró una correlación positiva significativa entre el año del examen y el nivel de Bloom del estándar de oro ($\rho = 0.301, p < 0.001$), lo que indica que las preguntas de endodoncia del DUS se han vuelto progresivamente más exigentes cognitivamente desde 2012 hasta 2025.

Contribuciones Clave

• Desacoplamiento de la Exactitud de la Clasificación: El estudio demuestra que la exactitud de la respuesta y la fidelidad de clasificación taxonómica son capacidades separadas. Un modelo puede responder preguntas correctamente (como se ha observado en estudios previos para ChatGPT) mientras falla en identificar con precisión la complejidad cognitiva de dichas preguntas.
• No Intercambiabilidad de las Taxonomías: Los resultados proporcionan evidencia empírica de que Bloom, SOLO y la Pirámide de Miller evalúan constructos distintos. El rendimiento de un LLM en un marco no predice su rendimiento en otro; por lo tanto, no pueden utilizarse indistintamente como indicadores de la demanda cognitiva.
• Guía de Selección de Modelos: El estudio ofrece orientación específica para la selección de LLM según el propósito de la evaluación: Gemini y DeepSeek son superiores para el mapeo de la complejidad cognitiva (Bloom/SOLO), mientras que ChatGPT mostró una fuerza relativa en la estratificación de la aplicabilidad clínica (Miller), aunque el desempeño general en Miller siguió siendo débil.

Significancia y Reivindicaciones
El artículo sostiene que los LLM pueden clasificar la complejidad cognitiva con una fidelidad significativa para las taxonomías de Bloom y SOLO, particularmente cuando se utilizan Gemini o DeepSeek, pero que esta capacidad no es uniforme en todos los marcos educativos. Los autores enfatizan que la Pirámide de Miller sigue siendo un dominio desafiante para los LLM actuales, sin que ningún modelo haya logrado un acuerdo superior al nivel "regular".

El estudio concluye que para el aseguramiento de la calidad de la evaluación y el mapeo curricular, la selección del LLM debe adaptarse a la taxonomía y al propósito específicos. Además, el aumento observado en la demanda cognitiva a lo largo del tiempo sugiere que los estudios que dependen de bancos de ítems más antiguos podrían sobreestimar el rendimiento de clasificación de los LLM actuales. Finalmente, los autores afirman que la fidelidad de la clasificación taxonómica debe evaluarse independientemente de la exactitud de la respuesta para garantizar la validez de las herramientas educativas asistidas por IA.