Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

En el mundo de la medicina infantil, existe una afección llamada artritis idiopática juvenil. Es un grupo de enfermedades en las que las articulaciones de un niño se hinchan y duelen sin una razón clara, y puede afectar su crecimiento y movimiento. Debido a que la afección se presenta de muchas formas diferentes, los médicos deben ser muy cuidadosos para identificar exactamente qué tipo tiene el niño y elegir el tratamiento adecuado. Las reglas para tomar estas decisiones están escritas en guías detalladas creadas por expertos médicos. Estas guías indican a los médicos cuándo iniciar medicamentos, cómo vigilar los efectos secundarios y cómo manejar situaciones complejas como infecciones o inflamación ocular. Durante años, estas guías han sido el mapa de confianza para los médicos, pero una nueva clase de herramienta ha aparecido en el horizonte: los modelos de lenguaje extensos. Estos son programas informáticos entrenados con vastas cantidades de texto que pueden escribir respuestas a preguntas en un lenguaje fluido y humano. Se están volviendo populares para encontrar información médica, pero nadie sabía si se podía confiar en ellos para seguir las estrictas reglas del cuidado de la artritis pediátrica o si podrían inventar hechos que suenan correctos pero que en realidad son erróneos.

Un equipo de investigadores en Turquía decidió poner a prueba estos programas informáticos de manera seria. Querían ver si tres de los modelos más avanzados disponibles podían responder preguntas sobre la artritis idiopática juvenil tan bien como lo haría un experto humano. Para hacer esto, no pidieron a las computadoras que escribieran historias o hablaran de sentimientos. En su lugar, les dieron veintiuna preguntas específicas basadas en las guías médicas oficiales. Algunas preguntas pedían hechos simples, como cómo distinguir entre los diferentes tipos de la enfermedad. Otras preguntaban sobre planes de tratamiento, como qué medicamento darle a un niño que no está mejorando. Las preguntas más difíciles eran historias hipotéticas sobre pacientes, pidiéndole a las computadoras que determinaran el mejor siguiente paso para un niño específico con un historial complejo. Los investigadores pidieron a tres modelos informáticos diferentes que respondieran cada una de las preguntas. Para asegurar que la prueba fuera justa, utilizaron etiquetas neutrales para ocultar los nombres de las computadoras y mezclaron el orden en que se mostraban las respuestas.

Cinco médicos expertos, especialistas en enfermedades articulares infantiles, leyeron luego estas respuestas. Ellos no sabían qué computadora había escrito cada respuesta. Calificaron cada respuesta según qué tan precisa era en comparación con las guías oficiales, qué tan útil sería en un consultorio médico real y qué tan buena era la respuesta general. Los resultados mostraron una diferencia clara entre las máquinas. Un modelo, al que los investigadores llamaron GPT-5.6 Sol, dio consistentemente las mejores respuestas. Obtuvo la puntuación más alta por precisión y por ser útil para un médico. Los otros dos modelos, Gemini 3.1 Pro y Claude Opus 5, funcionaron bien pero no alcanzaron al líder. En algunas áreas, como el diagnóstico de la enfermedad, uno de los modelos más débiles lo hizo mejor que el otro, pero en otras áreas, como los planes de tratamiento, el orden se invirtió. Esto demostró que ningún computador era perfecto en todo, y su desempeño cambiaba dependiendo del tipo de pregunta que se realizaba.

El estudio también analizó cómo se escribieron las respuestas. Uno de los modelos produjo respuestas muy largas, escribiendo miles de palabras a lo largo de las veintiuna preguntas. Los investigadores esperaban que las respuestas más largas pudieran ser mejores, pero los médicos no estuvieron de acuerdo. El modelo que escribió más palabras no obtuvo las puntuaciones más altas. De hecho, el modelo con la mejor puntuación fue a menudo más directo. Los médicos también notaron que el lenguaje utilizado por todas las computadoras era bastante difícil de leer, escrito en un nivel que sería difícil de entender para un adulto típico sin un trasfondo médico. Esto sugiere que, si bien estas herramientas pueden generar texto fluido, no siempre saben cómo simplificar las reglas médicas complejas para una audiencia general.

El hallazgo más importante de esta investigación es que estos programas informáticos no pueden reemplazar a un médico humano. Si bien pueden recuperar información y organizarla en una respuesta coherente, a veces desdibujan la línea entre lo que es una regla estricta y lo que es solo una característica común de la enfermedad. Pueden sugerir una opción de tratamiento que es posible, pero no la mejor, o pueden confundir los detalles de cómo se clasifica una enfermedad. Los investigadores concluyeron que estas herramientas solo deben usarse bajo la supervisión de un especialista que pueda verificar los hechos. El estudio demostó que incluso el mejor modelo informático necesita a un experto humano para verificar su trabajo, especialmente cuando la salud de un niño está en juego. La tecnología es poderosa, pero en el delicado campo de la reumatología pediátrica, sigue siendo una herramienta para asistir, no un tomador de decisiones por sí sola.