Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

En el mundo de alto riesgo de la formación médica, la capacidad de pensar como un médico es tan crítica como conocer los hechos. Esta habilidad, conocida como razonamiento clínico, consiste en tomar un conjunto desordenado de detalles del paciente —síntomas, antecedentes, resultados de laboratorio— y entretejerlos en un diagnóstico y un plan de tratamiento claros. Durante décadas, las facultades de medicina han dependido de exámenes de opción múltiple para evaluar esta capacidad. Sin embargo, estas pruebas suelen ofrecer una única puntuación, un número que le dice al estudiante cuántas preguntas acertó, pero que no revela nada sobre cómo pensó. Es como saber que un corredor terminó una carrera en diez minutos sin saber si esprintó la primera mitad y trotó la segunda, o si tropezó en cada curva. Para mejorar verdaderamente la educación médica, los educadores necesitan ver los pasos mentales específicos que sigue un estudiante, identificando exactamente qué partes de su razonamiento son sólidas y cuáles necesitan trabajo.

Un investigador de la Universidad de Gachon en la Facultad de Medicina se propuso resolver este problema aplicando un método sofisticado llamado modelo de diagnóstico cognitivo a un examen médico nacional masivo en Corea del Sur. En lugar de simplemente contar las respuestas correctas, el estudio pretendía mapear las habilidades mentales específicas necesarias para responder correctamente a cada pregunta. El equipo analizó las respuestas de casi 5.600 estudiantes de medicina de sus tercer y cuarto año de carrera. Comenzaron enumerando nueve habilidades de pensamiento diferentes que los expertos consideraban esenciales para el razonamiento clínico, tales como interpretar resultados de laboratorio o decidir un tratamiento. A través de un cuidadoso proceso de revisión de las preguntas del examen y la consulta con un panel de experimentados educadores médicos, refinaron esta lista hasta reducirla a siete habilidades distintas. Luego, utilizaron un modelo estadístico para ver si estas siete habilidades podían explicar con precisión cómo se desempeñaron los estudiantes. Los resultados fueron sorprendentes: el modelo separó con éxito las capacidades de los estudiantes, mostrando que los estudiantes de cuarto año, que tenían más experiencia clínica, dominaban estas habilidades de razonamiento de manera constante a tasas mucho más altas que los de tercer año. Este hallazgo proporcionó una sólida evidencia de que el nuevo marco funciona, ofreciendo una forma de ir más allá de las simples puntuaciones de los exámenes para lograr un diagnóstico detallado, habilidad por habilidad, del pensamiento de un estudiante.

El viaje hacia esta conclusión comenzó con un conjunto de datos masivo: el Segundo Examen Integral Clínico de 2019, una prueba escrita de ámbito nacional administrada a estudiantes de medicina en toda Corea del Sur. Los investigadores se centraron específicamente en la sección de medicina interna, que contenía 144 preguntas de opción múltiple. Recopilaron las respuestas de 5.586 estudiantes, que comprendían 2.603 estudiantes de tercer año y 2.983 de cuarto año. Debido a que los datos eran totalmente anónimos, los investigadores no pudieron observar los antecedentes individuales de los estudiantes, pero el gran tamaño del grupo permitió observar patrones claros en cómo se desarrolla el razonamiento con el tiempo.

La primera tarea importante fue construir un mapa, conocido en este campo como matriz Q, que conectara cada pregunta del examen con la habilidad de pensamiento específica necesaria para resolverla. Los investigadores comenzaron con una lista de nueve habilidades potenciales derivadas de una revisión de la literatura existente. Estas incluían cosas como interpretar la historia del paciente, analizar los hallesgos del examen físico, filtrar información significativa y evaluar la gravedad de una condición. Mapearon estas nueve habilidades contra las 144 preguntas para crear un mapa preliminar. Para comprobar si este mapa tenía sentido, observaron con qué frecuencia aparecían diferentes habilidades juntas en las mismas preguntas y realizaron pruebas estadísticas para ver si las habilidades eran distintas entre sí. Los datos iniciales mostraron que las habilidades eran lo suficientemente distintas, pero las pruebas estadísticas no proporcionaron una prueba sólida por sí solas.

Reconociendo que los números por sí solos no podían contar toda la historia, los investigadores convocaron a un panel de cuatro miembros de la facultad de medicina. Estos expertos, con décadas de experiencia en educación médica y desarrollo de exámenes, revisaron el mapa preliminar y los datos estadísticos. Decidieron que algunas habilidades eran demasiado similares para mantenerlas separadas. Por ejemplo, fusionaron las habilidades de interpretar la historia del paciente y los hallazgos del examen físico porque, en la práctica real, los médicos suelen utilizarlas juntas para detectar pistas importantes. También eliminaron la habilidad de filtrar información significativa, razonando que las preguntas de los exámenes escritos suelen presentar la información ya seleccionada, lo que hace imposible evaluar la habilidad de encontrarla. También recortaron la habilidad de "evaluación de la gravedad", eliminando el componente de nivel de emergencia porque era demasiado difícil de juzgar de manera consistente en un examen escrito. Tras esta revisión de expertos, la lista se refinó a siete habilidades claras y distintas: distinguir la información significativa del paciente, interpretar los hallazgos de laboratorio, analizar las causas de la enfermedad, evaluar la necesidad de pruebas adicionales, razonamiento diagnóstico, evaluar la gravedad y tomar decisiones de tratamiento.

Con las siete habilidades definidas, los investigadores aplicaron el modelo de diagnóstico cognitivo a las respuestas de los estudiantes. Este modelo funciona como una puerta lógica: asume que para responder correctamente a una pregunta, un estudiante debe haber dominado cada una de las habilidades que la pregunta requiere. Si un estudiante falla incluso en una sola habilidad requerida, el modelo predice que es probable que responda incorrectamente la pregunta, a menos que haya acertado por azar. El modelo calculó la probabilidad de que cada estudiante hubiera dominado cada una de las siete habilidades. Los resultados mostraron que el modelo se ajustaba muy bien a los datos, reflejando con precisión los patrones de respuestas correctas e incorrectas entre los miles de estudiantes.

La verdadera prueba de este nuevo marco llegó cuando los investigadores compararon los dos grupos de estudiantes. Dado que se espera que el razonamiento clínico mejore a medida que los estudiantes ganan experiencia en el hospital, los investigadores predijeron que los estudiantes de cuarto año mostrarían un mayor dominio de las siete habilidades que los de tercer año. Los datos confirmaron esta predicción con una claridad notable. Para cada una de las siete habilidades, los estudiantes de cuarto año demostraron un dominio significativamente mayor. La diferencia no fue solo un pequeño bache estadístico; fue una brecha grande y constante. Los estudiantes de cuarto año mostraron tasas de dominio que oscilaban entre aproximadamente el 83% y el 91% en las habilidades, mientras que los de tercer año se mantuvieron entre el 50% y el 65%. Esta brecha fue tan consistente y grande que sirvió como una poderosa prueba de que las siete habilidades eran reales y de que el modelo las estaba identificando correctamente.

El estudio también analizó las puntuaciones generales del examen para ver cómo se comparaba el nuevo método con la forma antigua de evaluar. Los estudiantes de cuarto año obtuvieron puntuaciones mucho más altas en el examen total que los de tercer año, lo cual era de esperar. Sin embargo, el nuevo método hizo algo que la puntuación total no podía hacer: desglosó esa gran diferencia en siete partes específicas. Mostró que la brecha en las habilidades de razonamiento era tan grande como la brecha en las puntuaciones totales, demostrando que el modelo no estaba simplemente añadiendo ruido a los datos, sino que estaba capturando de hecho el mismo progreso del desarrollo de una manera mucho más detallada.

Esta investigación destaca un cambio en cómo se puede evaluar la educación médica. Durante años, el enfoque ha sido si un estudiante aprueba o suspenta un examen. Este estudio sugiere que ahora podemos mirar dentro del examen para ver exactamente qué partes del pensamiento de un estudiante están funcionando y cuáles no. Las siete habilidades identificadas en este estudio proporcionan un plano claro de lo que los estudiantes de medicina necesitan aprender. Aunque el estudio tuvo limitaciones, como depender de preguntas que no fueron diseñadas originalmente para este tipo específico de análisis, los resultados fueron lo suficientemente robustos como para demostrar que este enfoque es viable. Los hallazgos sugieren que, en el futuro, los exámenes médicos podrían proporcionar a los estudiantes un boletín de calificaciones detallado de sus habilidades de razonamiento, ayudándoles a ellos y a sus profesores a centrarse en áreas específicas para la mejora, en lugar de simplemente darles un único número. Este nivel de detalle podría ayudar eventualmente a asegurar que los médicos no solo memoricen hechos, sino que dominen verdaderamente el complejo pensamiento requerido para cuidar a los pacientes de forma segura.