💻 computer science

Extended Reasoning Mode Improves Large Language Model Accuracy on the Orthopaedic In-Training Examination: A Paired Within-Model Comparison

Este estudio demuestra que la utilización de la inferencia de razonamiento extendido mejora significativamente la precisión de GPT-5 en las preguntas del Examen de Entrenamiento en Ortopedia en comparación con el modo estándar, aunque la persistencia de errores confiables sugiere que estos modelos deberían servir como adjuntos supervisados en lugar de recursos de estudio primarios para los residentes.

Autores originales: Claire A. Donnelley, Stephanie Kaszuba, Peter Noback, Xuan Luo

Publicado 2026-09-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Claire A. Donnelley, Stephanie Kaszuba, Peter Noback, Xuan Luo

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada año, miles de residentes de cirugía ortopédica en los Estados Unidos se enfrentan a un riguroso examen para medir sus conocimientos sobre huesos, articulaciones y músculos. Esta prueba, conocida como el Examen de Entrenamiento Interno de Ortopedia, es un punto de control crítico en su formación, ayudando a los directores de programas a decidir si un residente está listo para convertirse en un cirujano certificado por la junta. En años recientes, estos estudiantes han recurrido cada vez más a herramientas de inteligencia artificial para ayudarles a estudiar. Estas herramientas, llamadas modelos de lenguaje extensos, son programas informáticos entrenados con vastas cantidades de texto que pueden responder preguntas, explicar ideas complejas e incluso imitar el estilo de un libro de texto médico. Se han vuelto tan capaces que a menudo pueden aprobar exámenes médicos ellos mismos. Sin embargo, una pregunta crucial permanecía sin respuesta: ¿cambia la forma en que un estudiante le pide a la computadora que piense la calidad de la respuesta? Específicamente, ¿producir mejores resultados el forzar a la computadora a hacer una pausa y razonar un problema paso a paso antes de hablar que pedirle que responda inmediatamente?

Un equipo de investigadores se propuso encontrar la respuesta sometiendo a un único y avanzado modelo de inteligencia artificial a una serie de pruebas utilizando las preguntas reales del examen de ortopedia de 2024. No compararon diferentes marcas de programas informáticos entre sí. En su lugar, utilizaron el mismo programa dos veces para cada pregunta. Primero, le pidieron al modelo que respondiera en su modo estándar, donde genera una respuesta rápidamente. Luego, le hicieron al mismo modelo exactamente la misma pregunta, pero esta vez lo cambiaron a un modo de "razonamiento extendido". En este segundo ajuste, se le instruye a la computadora a dedicar más tiempo a desglosar internamente el problema, sopesar la evidencia y reflexionar sobre la lógica antes de que siquiera escriba una respuesta final. Los investigadores querían ver si este esfuerzo mental adicional, que toma aproximadamente un minuto más por pregunta, realmente haría a la computadora más inteligente.

Los resultados fueron impactantes. Cuando el modelo respondió en su modo estándar y rápido, acertó el 79 por ciento de las preguntas. Esta puntuación ya era impresionante, situando el rendimiento de la computadora aproximadamente al nivel de un residente sénior que ha estado en formación durante cinco años. Pero cuando los investigadores cambiaron el modelo al modo de razonamiento extendido, la precisión saltó al 93 por ciento. Este no fue un caso de la computadora teniendo suerte en algunas preguntas y mala suerte en otras. Los datos mostraron un patrón claro: cada pregunta que la computadora acertó en el modo rápido, también la acertó en el modo lento. La mejora provino enteramente de las preguntas que anteriormente había fallado; en el modo extendido, corrigió casi todos sus errores. Los investigadores encontraron que este aumento en el rendimiento ocurrió en casi todas las áreas de la cirugía ortopédica, desde lesiones de mano hasta afecciones de la columna, y no importaba si la pregunta incluía una imagen de una radiografía o era solo texto.

A pesar de esta mejora dramática, el estudio reveló una advertencia sutil pero importante para cualquiera que utilice estas herramientas. Incluso cuando la computadora se equivocaba, sonaba igual de segura de sí misma que cuando acertaba. En los pocos casos donde el modelo todavía daba una respuesta incorrecta, incluso después de pensar profundamente, no dudaba ni expresaba duda. Proporcionaba una explicación detallada e incluso citaba literatura médica para respaldar su elección errónea, haciendo que el error sonara autoritario. Los investigadores señalaron que si un estudiante no sabe ya la respuesta correcta, podría ser fácilmente engañado por esta falsa confianza. La computadora también es capaz de ser engañada; si un usuario sugiere una idea errónea, el modelo a menudo la aceptará y construirá una explicación detallada y segura alrededor de ese error.

El estudio concluye que, si bien estas herramientas de inteligencia artificial son poderosas, no son reemplazos perfectos para los maestros humanos o los materiales de estudio verificados. Los investigadores sugieren que, para los estudiantes que utilizan estas herramientas, el mejor enfoque es usar siempre el ajuste de razonamiento extendido, ya que el minuto adicional de tiempo de pensamiento aumenta significamente la probabilidad de una respuesta correcta. Sin embargo, el resultado debe tratarse siempre como un borrador que necesita verificación. La computadora es una asistente útil para organizar planes de estudio o resumir conceptos, pero aún no puede ser confiada para juzgar su propia exactitud. Los hallazgos muestran que la forma en que interactuamos con estas máquinas importa tanto como las máquinas mismas; un simple cambio en la configuración puede convertir una buena respuesta en una gran respuesta, pero no puede eliminar la necesidad de la supervisión humana.

Resumen Técnico: El modo de razonamiento extendido mejora la precisión de los LLM en el Examen de Entrenamiento Ortopédico

Planteamiento del problema
Los residentes de cirugía ortopédica utilizan cada vez más los Modelos de Lenguaje de Gran Escala (LLM) para la preparación y el estudio de los exámenes de certificación. Si bien la literatura existente ha establecido que los LLM multimodales contemporáneos pueden alcanzar niveles de precisión comparables a los de los residentes sénior en exámenes médicos estandarizados, persiste una brecha crítica en la comprensión del impacto de la profundidad del razonamiento durante la inferencia dentro de un mismo modelo. Los estudios previos han comparado principalmente diferentes proveedores de modelos (p. ej., GPT frente a Gemini) manteniendo constantes las condiciones de inferencia. Sin embargo, no han aislado el efecto de habilitar modos de "razonamiento extendido" (o de "pensamiento") frente a la generación de respuestas estándar en un conjunto de ítems idéntico. Esta distinción es pedagógicamente significativa porque un residente que utiliza una suscripción de consumo normalmente no cambia de proveedor a mitad de una sesión, sino que puede alternar entre el modo estándar y el de razonamiento extendido. El grado en que este cambio influye en la precisión y la naturaleza de los modos de falla persistentes en entornos no supervisados no había sido cuantificado.

Metodología
Este estudio empleó un diseño de benchmarking emparejado transversal para evaluar un único LLM multimodal (GPT-5) en un subconjunto de 203 ítems publicado de la Examen de Entrenamiento Ortopédico (OITE) de 2024.

Diseño experimental: Cada uno de los 203 ítems se administró dos veces al mismo modelo a través de la interfaz multimodal nativa de ChatGPT entre noviembre de 2025 y enero de 2026. Las dos configuraciones probadas fueron: (1) Modo Estándar (generación inmediata de respuesta) y (2) Modo de Razonamiento Extendido (asignación de tiempo de inferencia adicional para el razonamiento de múltiples pasos).
Controles: Todas las demás condiciones se mantuvieron constantes. Los ítems se presentaron como capturas de pantalla que contenían el enunciado de la pregunta, figuras y opciones de opción múltiple. Los prompts se estandarizaron a "Seleccione la mejor respuesta y proporcione una explicación". Las sesiones se limpiaron entre ítems para minimizar la retención de contexto.
Calificación: Las respuestas se calificaron contra la clave de respuestas oficial de la Academia Americana de Cirujanos Ortopédicos (AAOS). Las racionalizaciones se compararon con las explicaciones oficiales para identificar la discordancia entre respuesta y racional.
Análisis estadístico: La precisión emparejada se analizó mediante la prueba exacta de McNemar. Las diferencias por subespecialidad se evaluaron mediante la prueba exacta de Fisher-Freeman-Halton. La significancia se definió como $p < 0.05$ .

Contribuciones clave

Cuantificación del rendimiento intra-modelo: Este estudio es el primero en aislar el efecto de la profundidad del razonamiento en el tiempo de inferencia dentro de un único LLM en un conjunto de datos de un examen médico de alto riesgo.
Caracterización de los modos de falla: La investigación proporciona una taxonomía detallada de los errores que persisten incluso bajo el razonamiento extendido, analizando específicamente los "errores confiados" donde el modelo proporciona respuestas incorrectas con alta fluidez y un aparente soporte de evidencia.
Análisis de subespecialidad y modalidad: El estudio evalúa la varianza del rendimiento entre las subespecialidades ortopédicas (p. ej., mano, trauma, columna) y distingue entre ítems que contienen imágenes e ítems de solo texto.

Resultados

Mejora de la precisión: El modo de razonamiento extendido mejoró significativamente la precisión del 79% (161/203) en el modo estándar al 93% (189/203) en el modo de razonamiento extendido. Esto representa una mejora absoluta de 13.8 puntos porcentuales (IC 95% 9.0–18.5).
Direccionalidad de la mejora: La mejora fue estrictamente unidireccional; cada ítem respondido correctamente en el modo estándar se mantuvo correcto en el modo de razonamiento extendido. Los 28 pares discordantes favorecieron la configuración de razonamiento extendido ( $p < 0.001$ ).
Rendimiento por subespecialidad:
- Se observaron mejoras significativas en Mano (50% a 83%, $p=0.031$ ) y Trauma (78% a 92%, $p=0.016$ ).
- No se encontraron diferencias significativas entre las subespecialidades en ninguna de las configuraciones ( $p=0.11$ estándar; $p=0.68$ extendido).
- La precisión osciló entre el 50% y el 100% en el modo estándar y entre el 83% y el 100% en el modo de razonamiento extendido.
Imagen vs. Texto: La precisión no difirió significativamente entre los ítems que contenían imágenes y los de solo texto en ninguna de las configuraciones ( $p=1.0$ para ambos).
Comportamiento de falla:
- Confianza: Las respuestas incorrectas se entregaron con la misma fluidez y estructura que las correctas, a menudo sin expresar incertidumbre.
- Alucinación: En el 2% de los ítems, el modelo proporcionó una respuesta que conflictaba con su propia racionalización.
- Errores de citación: Las citas mal aplicadas o no concordantes fueron el tipo de error menos propenso a ser corregido por el razonamiento extendido.
- Interacción del usuario: Cuando se le presentó una premisa correctiva por parte de un investigador, el modelo incorporó la corrección pero generó una nueva explicación, igualmente confiada, basada en la (incorrecta) premisa.

Significancia y afirmaciones
El artículo afirma que la profundidad del razonamiento en el tiempo de inferencia es un determinante material de la precisión de los LLM en preguntas de estilo de examen de certificación ortopédica, un entorno que los residentes pueden controlar con un solo interruptor. Los hallazgos sugieren que, si bien el razonamiento extendido reduce sustancialmente la frecuencia de errores, no elimina el riesgo de "errores confiados".

Los autores concluyen que los LLM deben verse como adjuntos supervisados en lugar de recursos de estudio primarios. La advertencia central es que la herramienta es menos confiable para los estudiantes menos equipados para detectar sus fallas, ya que el modelo no ofrece una señal interna que distinga las salidas correctas de las incorrectas. En consecuencia, los autores recomiendan que los residentes utilicen por defecto las configuraciones de razonamiento extendido para la preparación de los exámenes de certificación, pero que deben tratar todas las salidas del modelo como no verificadas hasta que sean contrastadas con bancos de preguntas validados, literatura primaria o instrucción docente. El estudio establece explícitamente que el desempeño en los exámenes no equivale al juicio clínico.

Más como este