Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

Resumen Técnico: Modelos de Lenguaje de Gran Escala Multimodales en la Evaluación Preclínica de Endodoncia

Planteamiento del Problema
La integración de la Inteligencia Artificial (IA) en la educación dental ofrece un potencial para la retroalimentación automatizada y la evaluación escalable. Sin embargo, persiste una brecha crítica en validar si los Modelos de Lenguaje de Gran Escala Multimodales (MLLM, por sus siglas en inglés) pueden reemplazar de manera confiable el juicio experto humano en evaluaciones preclínicas de alto riesgo y seguridad crítica. Específicamente, no está claro si los MLLM actuales pueden evaluar con precisión las habilidades psicomotoras matizadas y los juicios de seguridad requeridos en las preparaciones de la cavidad de acceso endodóntica, donde los errores pueden derivar en daños al paciente. El estudio aborda la hipótesis nula de que no existe una diferencia significativa entre las evaluaciones de endodoncistas expertos y las evaluaciones de los modelos de IA de estos procedimientos.

Metodología

• Diseño del Estudio: Un estudio comparativo transversal de centro único realizado en la Universidad de Aydın de Estambul durante el periodo académico 2025–2026.
• Participantes y Especímenes: 25 estudiantes de tercer año de odontometría realizaron preparaciones de cavidad de acceso en dientes impresos en 3D estandarizados. Esto resultó en 200 especímenes distribuidos en ocho grupos de tipos dentales (incisivos centrales maxilares y mandibulares, caninos, premolares y molares).
• Adquisición de Datos: Cada espécimen fue evaluado utilizando un conjunto de datos de cuatro imágenes estandarizadas: fotografías oclusal, bucal, lingual/palatina, y una radiografía periapical.
• Grupos de Evaluación:
  • Grupo de Expertos: Tres endodoncistas experimentados calificaron de forma independiente todos los especímenes utilizando una rúbrica analítica ciega de cinco criterios (escala 0–10). Los criterios fueron: (1) forma de contorno, (2) ubicación y centrado, (3) extensión y conservadurismo, (4) acceso de línea recta, y (5) daño iatrogénico y seguridad. Se aplicó una regla de penalización que limitaba las puntuaciones a 5/10 si se detectaban errores críticos (p. ej., perforación).
  • Grupos de IA: Se probaron cuatro configuraciones de MLLM de vanguardia: ChatGPT-5.2 (Modos Estándar y de Razonamiento) y Gemini 3 (Modos Estándar y de Razonamiento). Los modelos fueron instruidos para actuar como endodoncistas expertos, procesar las cuatro imágenes y generar puntuaciones estructuradas en formato JSON.
• Análisis Estadístico: La confiabilidad inter-evaluador se determinó mediante Coeficientes de Correlación Intraclase (ICC). Las diferencias entre grupos se analizaron mediante ANOVA de una vía con pruebas post-hoc de Tukey. Los tamaños del efecto se calcularon mediante eta cuadrado ($\eta^2$).

Result Resultados Clave

• Confiabilidad de los Expertos: Los evaluadores expertos demostraron una excelente confiabilidad inter-evaluador en todas las mediciones (rango de ICC: 0.916–0.981), estableciendo un estándar de oro robusto.
• Discrepancia entre IA y Expertos: Se rechazó la hipótesis nula. Se encontraron diferencias significativas ($p<0.001$) entre las evaluaciones de expertos y de IA en la mayoría de las mediciones y grupos dentales.
  • Sobrecalificación Sistemática: Todas las configuraciones de IA asignaron puntuaciones consistentemente más altas que los expertos.
  • Fallo en el Criterio de Seguridad: El fallo más crítico fue en el criterio de "Daño Iatrogénico y Seguridad". Mientras que los expertos mostraron una alta confiabilidad (ICC: 0.924) y variabilidad reflejando el juicio clínico, los modelos de IA se agruparon cerca de las puntuaciones máximas (≈1.87–2.00) con desviaciones estándar cercanas a cero. Los ICC de la IA para este criterio oscilaron entre 0.165 y 0.572, indicando una concordancia pobre a moderada.
  • Desempeño de los Modelos: Gemini 3 y Gemini 3/R presentaron la mayor divergencia respecto a las puntuaciones de los expertos (superando las medias de los expertos hasta en 4.5 puntos en algunos grupos). ChatGPT-5.2 y ChatGPT-5.2/R mostraron una mayor alineación, pero aun así carecieron de la precisión de nivel experto.
  • Modo de Razonamiento: El "Modo de Razonamiento" (cadena de pensamiento) no superó consistentemente al "Modo Estándar", lo que sugiere que el aumento de la complejidad computacional no se tradujo en una mejor calificación clínica.
  • Variabilidad según el Tipo de Diente: El grupo de Premolares Superiores fue la única categoría donde el desempeño de la IA se aproximó al acuerdo de los expertos en mediciones dimensionales específicas (Forma de Contorno, Extensión, Acceso de Línea Recta). Por el contrario, las morfologías complejas como Caninos Inferiores y Premolares Inferiores produjeron las mayores divergencias de puntuación.
• Consistencia Interna: Aunque los modelos de IA mostraron una consistencia interna razonable en ejecuciones repetidas (p. ej., Gemini 3/R tuvo una alta consistencia), esta consistencia no se correlacionó con la exactitud. Un modelo podía ser internamente consistente y, sin embargo, divergir sistemáticamente del juicio experto.

Contribuciones Clave

• Validación Empírica de Limitaciones: El estudio proporciona evidencia empírica de que los MLLM actuales no son adecuados como reemplazos independientes para la evaluación experta en endodoncia preclínica, particularmente para juicios de seguridad crítica.
• Identificación de Fallos de Seguridad Crítica: Destaca una limitación específica y peligrosa donde los modelos de IA fallan al discriminar entre preparaciones seguras e inseguras, tendiendo por defecto a puntuaciones de seguridad elevadas independientemente del daño iatrogénico real.
• Distinción entre Consistencia y Exactitud: La investigación demuestra que una alta consistencia interna dentro de un modelo de IA no equivale a la exactitud o la alineación con la experiencia humana, advirtiendo contra el uso de métricas de consistencia como un sustituto de la validez en la educación clínica.
• Comparación de Modos: Desafía la suposición de que el "Modo de Razonamiento" o el procesamiento de cadena de pensamiento mejora inherentemente el desempeño en tareas clínicas con base visual.

Significancia y Reivindicaciones
El artículo concluye que, si bien los modelos de IA muestran potencial para evaluar parámetros dimensionales objetivos (como la forma de contorno en tipos de dientes más simples), actualmente carecen de la confiabilidad requerida para la evaluación de competencias de alto riesgo, especialmente en lo que respecta a la seguridad del paciente. Los autores argumentan que la incapacidad para evaluar con precisión el "Daño Iatrogénico y la Seguridad" hace que estas herramientas no sean aptas para reemplazar el juicio experto en la educación preclínica.

Los autores proponen un marco híbrido humano-IA como el camino más pragmático a seguir. En este modelo, la IA podría apoyar la educación proporcionando retroalimentación preliminar inmediata sobre métricas cuantificables de menor riesgo, mientras que la evaluación humana experta sigue siendo el estándar esencial para los juicios de seguridad crítica y el razonamiento clínico complejo. El estudio enfatiza que antes de que cualquier herramienta de IA sea adoptada para la evaluación de competencia clínica, es obligatoria una validación rigurosa a nivel de criterios, específicamente en las métricas de seguridad.