Robustness Gap of Large Language Models in Nephrology

La inteligencia artificial ha comenzado a ofrecer apoyo en la medicina, actuando como una herramienta capaz de leer vastas cantidades de texto y sugerir respuestas a preguntas complejas. En campos como el cuidado renal, o nefrología, los médicos deben sopesar constantemente los resultados de laboratorio, el historial del paciente y los signos físicos para decidir sobre los tratamientos. Durante años, los investigadores han probado si estos programas informáticos pueden aprobar exámenes médicos, una forma estándar de ver si saben lo suficiente para ser útiles. Sin embargo, una puntuación alta en un examen de opción múltiple no significa necesariamente que el sistema comprenda realmente la lógica detrás de la respuesta. Podría simplemente estar reconociendo patrones en la forma en que se redactan las preguntas o adivinando basándose en qué opciones le resultan más familiares. La pregunta crítica para el futuro de la atención médica segura es si estos modelos pueden razonar a través de un problema cuando se eliminan los atajos habituales, o si se desmoronan cuando se les obliga a pensar sin una muleta familiar.

Un equipo de investigadores de la Escuela de Medicina de la Universidad St. Marianna en Japón se propuso probar esta debilidad específica utilizando un método que actúa como una prueba de esfuerzo para la mente. Tomaron una colección de 145 preguntas reales utilizadas para renovar la certificación de la junta de nefrólogos en Japón. Estas preguntas cubren el razonamiento profundo y complejo requerido para gestionar la enfermedad renal. Los investigadores crearon entonces una versión modificada de cada una de las preguntas. En el examen original, una respuesta específica era la correcta. En la nueva versión, reemplazaron esa respuesta correcta con una frase que significa "ninguna de las otras respuestas". Esto obligó a los modelos informáticos a hacer algo difícil: en lugar de elegir la opción correcta de una lista, tenían que darse cuenta de que todas las demás opciones eran erróneas y que la única opción válida era la que afirmaba que ninguna de ellas encajaba. Si un modelo estuviera razonando verdaderamente a través de los hechos médicos, debería haber sido capaz de identificar que la respuesta correcta original faltaba y seleccionar la opción de "ninguna de las anteriores". Si solo estaba adivinando basándose en patrones, probablemente elegiría una de las opciones incorrectas restantes.

El equipo probó cuatro de los modelos de lenguaje más avanzados disponibles, incluyendo sistemas de OpenAI y Google. Alimentaron a los modelos con las preguntas originales y las versiones modificadas por separado, pidiéndoles que eligieran la mejor respuesta en cada ocasión. Los resultados mostraron una brecha clara y significativa entre qué tan bien se desempeñaron los modelos cuando la respuesta correcta estaba presente frente a cuando estaba oculta. Cuando los modelos enfrentaban las preguntas originales, se desempeñaban bastante bien, con el mejor sistema respondiendo correctamente casi el 88 por ciento de las veces. Sin embargo, una vez que la respuesta correcta fue sustituida por "ninguna de las otras respuestas", su rendimiento cayó drásticamente. El sistema que comenzó con la puntuación más alta todavía descendió a aproximadamente el 73 por ciento, un declive estadísticamente significativo. Otros modelos experimentaron caídas aún más pronunciadas, con uno cayendo de aproximadamente un 66 por ciento de aciertos a apenas un 19 por ciento. Esto significa que, cuando se eliminó el patrón familiar de una respuesta correcta, los modelos tuvieron dificultades para confiar en su propio razonamiento médico y a menudo eligieron una opción incorrecta que parecía plausible, en lugar de admitir que la opción correcta faltaba.

El estudio sugiere que, si bien los modelos más nuevos se están volviendo más robustos y mejores en el manejo de estos cambios complicados, aún no son totalmente fiables para la toma de decisiones clínicas independientes. Los investigadores encontraron que incluso los sistemas más avanzados tienden a anclarse en la idea de que una de las opciones visibles debe ser la correcta, incluso cuando la lógica del caso demuestra lo contrario. En un entorno hospitalario del mundo real, este comportamiento podría ser peligroso. Si a un médico le falta una pieza de información, como un valor de laboratorio específico o un signo físico sutil, una inteligencia artificial segura debería reconocer que el caso no puede juzgarse y solicitar más datos. En cambio, estos modelos suelen llenar los vacíos con una suposición segura pero incorrecta. Los autores concluyen que aprobar un examen de opción múltiple no es suficiente para demostrar que un modelo puede razonar como un médico. Para ser verdaderamente seguros para su uso en el cuidado renal, estos sistemas deben demostrar que pueden manejar la incertidumbre y reconocer cuándo una respuesta simplemente no está disponible, en lugar de solo emparejar patrones para obtener la puntuación más alta en un examen.