Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

En el panorama de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva clase de herramientas para abordar un problema específico: cómo hacer que las máquinas elijan entre opciones fijas sin tener que redactar explicaciones largas. Tradicionalmente, los modelos de lenguaje extensos responden preguntas generando texto palabra por palabra, un proceso que es flexible pero puede ser lento y costoso. Un enfoque más reciente, conocido como modelado de decisiones, omite la generación de texto por completo. En su lugar, el modelo observa una lista de posibles respuestas proporcionadas por el usuario y asigna una puntuación de probabilidad a cada una, diciendo esencialmente: "Estoy un 90 por ciento seguro de que esta es la elección correcta, y un 10 por ciento seguro de que es aquella". Este método es más rápido y económico, pero plantea una pregunta crítica para campos de alto riesgo como la medicina: ¿pueden estas máquinas saber cuándo se equivocan? Si un modelo tiene confianza pero es incorrecto, podría conducir a errores peligrosos. El desafío es encontrar una forma para que el sistema reconozca su propia incertidumbre y entregue los casos difíciles a un experto humano o a una computadora más potente antes de que ocurra un error.

Investigadores de la Facultad de Medicina de la Universidad de Inje se propusieron probar si estos modelos de decisión podían detectar de manera confiable sus propios errores en exámenes de licencia médica. Se centraron en tres modelos diferentes de distintas empresas, probándolos con cientos de preguntas de exámenes médicos coreanos y estadounidenses. El objetivo no era solo ver cuántas preguntas acertaban las máquinas, sino ver si las puntuaciones de probabilidad que generaban podían actuar como un sistema de advertencia. Los investigadores se preguntaron: si un modelo dice que solo tiene una ligera confianza en una respuesta, ¿significa eso realmente que es probable que la respuesta sea errónea? Y si se le indica al sistema que aparte sus suposiciones de menor confianza y las envíe a un modelo más fuerte y costoso para una segunda revisión, ¿mejora esto la precisión general sin costar una fortuna?

Para hallar las respuestas, el equipo realizó una serie de simulaciones por computadora utilizando preguntas reales de exámenes. Alimentaron miles de preguntas médicas a tres modelos de decisión diferentes: Jev, OpenAI Decisions y Clef. A cada modelo se le pidió elegir la respuesta correcta de una lista de opciones y proporcionar una puntuación de confianza para su elección. Los investigadores luego compararon estas puntuaciones con las claves de respuestas oficiales para ver si la baja confianza realmente se correlacionaba con los errores. Descubrieron que los modelos eran, de hecho, bastante buenos en esta autoevaluación. Cuando los modelos no estaban seguros, a menudo se equivocaban. Específicamente, los modelos identificaron correctamente la respuesta adecuada para aproximadamente el 83 al 92 por ciento de las preguntas coreanas y del 85 al 88 por ciento de las preguntas en inglés. Más importante aún, las puntuaciones de probabilidad señalaron con éxito los errores. En las pruebas en coreano, las puntuaciones de incertidumbre de los modelos fueron capaces de distinguir las respuestas incorrectas de las correctas con un alto grado de fiabilidad, y lo mismo ocurrió en las pruebas en inglés.

El estudio pasó entonces a una aplicación práctica: un sistema de derivación. Los investigadores simularon un escenario donde el 20 por ciento de las respuestas con menor confianza de cada modelo se enviaba automáticamente a un modelo mucho más potente y costoso, GPT-6.1 Sol, para una decisión final. Los resultados mostraron que esta estrategia simple funcionó notablemente bien. Al derivar solo una quinta parte de las respuestas, el sistema detectó entre el 56 y el 91 por ciento de los errores cometidos por los modelos iniciales. Este proceso aumentó la precisión general del sistema entre 6 y 9 puntos porcentuales. El costo de esta mejora fue una fracción de lo que habría costado ejecutar el modelo potente en cada una de las preguntas. El enfoque de derivación logró casi la mitad o casi todos los aumentos de precisión posibles que estarían disponibles si un "oráculo" perfecto supiera exactamente qué respuestas están mal de antemano, todo ello gastando solo una cuarta o tercera parte del costo de usar el modelo potente exclusivamente.

Sin embargo, los investigadores también descubrieron limitaciones importantes que sugieren que estas herramientas aún no están listas para su uso principal en un hospital. Aunque los modelos eran buenos detectando su propia incertidumbre, no eran perfectos. Se cometieron algunos errores con alta confianza, lo que significa que la máquina estaba segura de la respuesta incorrecta. Estos errores de confianza eran a menudo estables, lo que significa que no cambiaban incluso cuando se alteraba el orden de las opciones de respuesta, y a veces coincidían con las respuestas erróneas dadas por otros modelos avanzados. Esto sugiere que cuando estos modelos tienen confianza pero son incorrectos, a menudo lo son por las mismas razones profundas, como la falta de información en la pregunta o el depender de regulaciones desactualizadas. En los exámenes coreanos, por ejemplo, muchos errores involucraban leyes locales específicas y reglas administrativas con las que los modelos tenían dificultades, incluso cuando expresaban baja confianza. En los exámenes en inglés, algunas de las preguntas eran disputadas por médicos humanos, lo que dificultaba que cualquier máquina obtuviera la respuesta "correcta" basada en claves históricas.

El estudio también examinó qué tan sensibles son estos sistemas a la forma en que se presentan las preguntas. Cuando los investigadores rotaron el orden de las opciones de respuesta, las decisiones de los modelos cambiaron en aproximadamente un 7 a 16 por ciento de los casos. Esto significa que un modelo podría derivar una pregunta para una segunda revisión simplemente porque las opciones se listaron en un orden diferente, incluso si el contenido médico permanecía igual. Si bien la precisión general del sistema se mantuvo estable a pesar de estos pequeños cambios, las decisiones individuales no fueron del todo consistentes. Los investigadores señalaron que esta inestabilidad, combinada con la existencia de errores de confianza, significa que estos modelos aún no pueden confiarse para trabajar solos. Funcionan mejor como un primer lector que maneja los casos fáciles y señala los difíciles para que un médico humano los revise.

En última instancia, la investigación demuestra que los modelos de decisión ofrecen un punto medio prometedor entre la velocidad y la precisión. Pueden procesar preguntas médicas de manera rápida y económica, y sus puntuaciones de confianza interna proporcionan un mecanismo útil para filtrar los errores más probables. Al derivar el 20 por ciento de las respuestas inciertas a un sistema más fuerte, es posible recuperar la mayor parte de la precisión de un modelo de primer nivel a un costo mucho menor. Sin embargo, el camino hacia el uso clínico requiere más que estas simulaciones. La presencia de errores de confianza y la sensibilidad al formato de las preguntas indican que estas herramientas necesitan una validación cuidadosa en entornos del mundo real. Antes de que puedan usarse para guiar la atención al paciente, deben probarse en flujos de trabajo clínicos reales donde los médicos humanos puedan revisar los casos derivados y auditar las respuestas de confianza que aún podrían ser erróneas. La tecnología muestra un gran potencial, pero sigue siendo una herramienta que necesita una mano humana que la guíe.