Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Cada día, miles de personas con dolor articular, inflamación o rigidez escriben a los reumatólogos pidiendo ayuda. Estas cartas, conocidas como derivaciones, llegan en una avalancha que los especialistas deben clasificar. El objetivo de esta clasificación, llamada triaje, es decidir quién necesita ser visto de inmediato porque su condición podría amenazar un órgano o su vida, y quién puede esperar con seguridad semanas o meses. Esta tarea recae en médicos experimentados, que deben leer textos complejos y no estructurados para tomar una decisión. Es un trabajo de alto volumen y mentalmente agotador que resta tiempo para ver pacientes y tratar enfermedades. Cuando el sistema funciona bien, las personas más graves reciben ayuda rápido. Cuando falla, un paciente con una enfermedad autoinmune que empeora rápidamente podría esperar demasiado, con el riesgo de sufrir daños permanentes. Sin embargo, incluso cuando es realizado por médicos humanos experimentados, este proceso de clasificación no es perfecto; los expertos suelen discrepar entre sí, y algunos casos urgentes se pasan por alto o se retrasan.

A medida que el número de derivaciones crece más rápido que el número de especialistas disponibles, las clínicas buscan formas de utilizar la inteligencia artificial para ayudar. Específicamente, están probando modelos de lenguaje de gran tamaño, que son programas informáticos entrenados con vastas cantidades de texto que pueden comprender y generar lenguaje humano. Estos modelos ya se están utilizando para responder preguntas médicas y asistir en el diagnóstico, pero no estaba claro si podrían manejar de forma fiable la tarea específica y de alto riesgo de clasificar las derivaciones de reumatología. La pregunta central no era solo si una computadora podía hacer esto, sino si podía hacerlo tan bien como un equipo humano, y si el costo de usar las computadoras más potentes y caras era necesario para hacer el trabajo correctamente.

Un investigador de Monash Health en Australia se propuso responder a estas preguntas sometiendo a veintitrés modelos de lenguaje de gran tamaño diferentes a una prueba rigurosa. Crearon veinte escenarios de derivación realistas basados en casos reales, que cubrían todo el rango de urgencia, desde emergencias que amenazan la vida hasta dolores de rutina. Para establecer un estándar de oro para la respuesta correcta, cuatro reumatólogos independientes revisaron cada uno de los casos sin saber lo que los otros habían decidido, llegando finalmente a un consenso sobre el nivel de urgencia para cada caso. El investigador luego pidió a cada uno de los veintitrés modelos informáticos que clasificara estos mismos veinte casos. Para asegurar que los resultados fueran estables y no solo golpes de suerte, se le pidió a cada modelo que tomara la decisión tres veces por cada caso. El experimento se realizó dos veces: una con una instrucción muy simple que decía al modelo que clasificara las derivaciones, y otra con una instrucción mucho más detallada que explicaba exactamente cómo pensar sobre el problema, proporcionaba ejemplos de cómo se veía cada nivel de urgencia y guiaba al modelo para que se enfocara en signos médicos específicos mientras ignoraba factores menos relevantes como los niveles de dolor.

Los resultados revelaron un patrón claro en la forma en que estas máquinas piensan. Cuando se les daba una instrucción simple, los modelos se comportaban de manera muy diferente entre sí. Los modelos más grandes, avanzados y caros eran significativamente más precisos que los más pequeños y económicos. En este entorno simple, pagar más por un modelo más grande compraba un mejor rendimiento. Sin embargo, la historia cambió completamente cuando el investigador cambió a las instrucciones avanzadas y detalladas. Con esta mejor guía, la brecha de rendimiento entre los modelos desapareció. Los modelos más pequeños y baratos alcanzaron a los caros, y la relación entre costo y precisión desapareció. Las instrucciones detalladas esencialmente enseñaron a los modelos más pequeños cómo razonar el problema, permitiéndoles desempeñarse tan bien como los gigantes sin el alto precio.

Incluso con las mejores instrucciones, las computadoras no eran perfectas. Todían cometer errores, a veces sugiriendo que un paciente estaba más enfermo de lo que realmente estaba, y otras veces sugiriendo que estaba menos enfermo. El investigador señaló que el error de subclasificar —pasar por alto un caso urgente— era el tipo de error más peligroso, ya que podría retrasar la atención crítica. A pesar de este riesgo, los modelos con mejor desempeño coincidieron con el consenso humano en la mayoría de los casos, coincidiendo a menudo en el nivel de urgencia correcto en los tres intentos. Este nivel de desempeño los situó dentro o por encima del rango de precisión reportado para los médicos humanos, quienes son conocidos por discrepar entre sí en aproximadamente un tercio de los casos y por cambiar frecuentemente su calificación de urgencia tras ver al paciente.

El estudio sugiere que las herramientas para automatizar esta carga administrativa ya existen y pueden ser más asequibles de lo que se pensaba anteriormente. El hallazgo clave es que la forma en que se le hace una pregunta a la computadora importa tanto como la computadora misma. Al utilizar un "prompt" o instrucción bien diseñado que incluya reglas claras y ejemplos, las clínicas podrían utilizar modelos más pequeños y económicos para lograr resultados que rivalicen con los sistemas más caros. Esto podría permitir que los servicios médicos devuelvan un tiempo valioso a los médicos experimentados, liberándolos de clasificar cartas para que puedan concentrarse en tratar pacientes. Si bien la tecnología es prometedora, el investigador enfatiza que cualquier sistema utilizado en el mundo real debe ser monitoreado cuidadosamente para asegurar que no se pase por alto ningún caso urgente, y que los médicos humanos deben permanecer en el proceso para revisar las decisiones más críticas. El camino a seguir implica probar estas herramientas con derivaciones reales y vivas, y refinar las instrucciones para garantizar la seguridad, pero los datos indican que un asistente automatizado y confiable para el triaje de reumatología ya no es un sueño lejano.