GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

Resumen Técnico: GPT-5 frente a Residentes Sénior de Anestesiología y Cuidados Intensivos en Casos Clínicos Secuenciales

Planteamiento del Problema
Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado una alta precisión en los exámenes de licencias médicas, las métricas de rendimiento en pruebas de opción múltiple no elucidan con qué claridad una respuesta documenta el proceso de razonamiento clínico subyacente. El razonamiento clínico es una actividad cognitiva dependiente del contexto que involucra la representación del problema, la generación de hipótesis y la interpretación de la evidencia. La literatura existente carece a menudo de diseños empíricos rigurosos que comparen los LLM con los médicos en formación en estas habilidades específicas de documentación del razonamiento. Además, existe una escasez de evidencia sobre el rendimiento de los LLM en entornos de formación de posgrado en lengua francesa, particularmente dentro de los contextos médicos del norte de África. Este estudio aborda la brecha entre las "respuestas correctas" y el "razonamiento documentado" comparando la calidad de los resultados de razonamiento clínico escrito entre un LLM de vanguardia (GPT-5) y médicos residentes.

Metodología
El estudio fue un piloto comparativo, transversal y de centro único, realizado en el Centre Hospitalier Universitaire Ibn Rochd en Casablanca, Marruecos.

• Participantes: El estudio utilizó un censo exhaustivo de 14 residentes de cuarto año de anestesiología y cuidados intensivos (100% de participación).
• Estímulos: Se seleccionaron y estandarizaron veinte casos clínicos reales y totalmente anonimizados (2020–2024). Los casos se dividieron en dos partes secuenciales: Parte 1 (historia, antecedentes, examen físico) y Parte 2 (resultados de laboratorio e imagenología).
• Asignación de Tareas: Cada residente completó cuatro casos distintos (56 respuestas de residentes en total). GPT-5 completó los 20 casos una vez. El diseño fue una estructura de bloques incompletos donde cada residente fue emparejado con GPT-5 en los mismos cuatro casos para el análisis primario.
• Ingeniería de Prompts (Prompt Engineering): Se accedió a GPT-5 a través de la API de OpenAI (alias del modelo gpt-5, temperatura 0.3, esfuerzo de razonamiento "medio"). El prompt asignó al modelo el rol de un anestesiólogo-intensivista y solicitó explícitamente un resultado estructurado que reflejara los componentes del R-IDEA revisado (R-IDEA): una lista de verificación conceptual, una representación del problema concisa, investigaciones priorizadas y un diagnóstico diferencial con evidencia explícita a favor y en contra de cada hipótesis. No se le proporcionó al modelo el diagnóstico de referencia ni la rúbrica de puntuación.
• Evaluación: Dos miembros de la facultad desarrollaron rúbricas de casos específicos basadas en el instrumento R-IDEA. Un evaluador ciego calificó todas las respuestas (residentes y GPT-5) frente a estas rúbricas. La puntuación R-IDEA (0–10) evalúa cuatro dominios: Resumen Interpretativo, Diagnóstico Diferencial, Explicación del Diagnóstico Principal y Explicación de Diagnósticos Alternativos.
• Análisis Estadístico: El análisis primario utilizó una prueba t de Student pareada comparando la media de las puntuaciones R-IDEA de cada residente (a través de sus cuatro casos) contra la media de la puntuación de GPT-5 en esos mismos cuatro casos. La precisión diagnóstica se reportó de forma descriptiva.

Resultajes Clave

• Resultado Primario: GPT-5 logró una media de puntuación total R-IDEA significativamente mayor (9.5, DE 0.9) en comparación con los residentes (7.0, DE 2.4). La diferencia media pareada fue de 2.5 puntos a favor de GPT-5 (IC 95% 1.4–3.6; p < 0.001). El tamaño del efecto fue grande (d_z pareada = 1.39).
• Rendimiento por Dominio: GPT-5 superó a los residentes en los cuatro dominios R-IDEA. La mayor diferencia absoluta ocurrió en el dominio de "Resumen Interpretativo" (diferencia de 1.0 punto). Las puntuaciones de GPT-5 se concentraron cerca del máximo de la escala, lo que sugiere un posible efecto techo, mientras que las puntuaciones de los residentes mostraron mayor variabilidad (Coeficiente de Variación: 34% para residentes vs. 9% para GPT-5).
• Precisión Diagnóstica: GPT-5 identificó el diagnóstico de referencia de la facultad en el 75% de los casos (15/20), mientras que la precisión diagnóstica media de los residentes fue del 68%. El diseño del estudio impidió la comparación estadística inferencial de estos porcentajes debido a observaciones no independientes y replicación desigual de casos.

Contribuciones Clave

• Replicación Conceptual en un Nuevo Contexto: Este estudio extiende hallazgos previos (por ejemplo, Cabral et al.) respecto a la IA generativa y el razonamiento clínico a un entorno de lengua francesa, un centro académico marroquí y una cohorte de anestesiología sénior.
• Diferenciación de Documentación vs. Competencia: El estudio distingue explícitamente entre la calidad del razonamiento documentado (en el cual GPT-5 destacó bajo el prompt específico) y la competencia clínica o el desempeño a pie de cama real.
• Marco Metodológico: Demuestra un protocolo para comparar los resultados de los LLM frente al trabajo escrito de los residentes utilizando rúbricas estructuradas (R-IDEA) y enmascaramiento de la fuente, resaltando la importancia de la alineación del prompt con los criterios de evaluación.

Significancia y Reivindicaciones
Los autores concluyen que, bajo un prompt alineado con los componentes de R-IDEA, GPT-5 produce una documentación de razonamiento clínico escrito que puntúa más alto que la de los residentes sénior. Sin embargo, el artículo mantiene una postura modesta sobre las implicaciones de este hallazgo:

• Sin Reivindicación de Superioridad en Competencia: Los autores afirman explícitamente que las puntuaciones de documentación más altas no establecen una competencia clínica, equivalencia diagnóstica o efectividad educativa superior.
• Hipótesis Educativa: La principal significancia radica en el potencial de GPT-5 para servir como un "andamiaje de documentación de razonamiento". Los autores proponen que los resultados de GPT-5, validados y supervisados por la facultad, podrían utilizarse como ejemplos resueltos para ayudar a los residentes a comparar sus propias representaciones de problemas contra un modelo estructurado, haciendo así el razonamiento más visible.
• Limitaciones y Direcciones Futuras: El estudio reconoce limitaciones, incluyendo el diseño de centro único, el uso de un solo evaluador, la falta de una segunda ejecución del modelo para evaluar la variabilidad estocástica y la alineación específica del prompt con la rúbrica, lo que pudo haber favorecido al modelo. Los autores sugieren que la investigación futura debería involucrar ensayos educativos prospectivos y con múltiples evaluadores para probar si el uso de ejemplos resueltos generados por modelos realmente mejora los resultados del aprendizaje sin inducir un sesgo de automatización.