High-Stakes Decisions with Language Models: Insights from Emergency Triage

Imagina que eres el capitán de una nave espacial navegando por un campo de asteroides con niebla. La computadora de tu nave es increíblemente inteligente; puede mirar un punto borroso y decirte: "Hay un 90% de probabilidad de que ese punto sea un asteroide peligroso". Pero la computadora no sabe qué hacer con ese número. Si chocas, la nave explota (una emergencia omitida). Si disparas un tiro de advertencia a una nube inofensiva, desperdicias combustible y molestas a la tripulación (una referencia innecesaria). La computadora necesita una regla: "¡Si el peligro es superior al 10%, dispara el tiro!" o "¿Solo dispara si es superior al 90%!". Esta regla se llama función de utilidad. En el mundo real, los médicos enfrentan esta misma situación de niebla todos los días. Ellos usan el triaje para decidir quién necesita ayuda inmediata y quién puede esperar. Durante mucho tiempo, los científicos han sabido que tomar estas decisiones de alto riesgo no se trata solo de adivinar las probabilidades correctamente; se trata de saber cuánto odias cometer el tipo de error equivocado. Si tienes demasiado miedo de pasar por alto una crisis, enviarás a todo el mundo al hospital. Si te preocupa demasiado perder el tiempo, podrías pasar por alto una situación de vida o muerte. La gran pregunta es: cuando le pedimos a las superinteligentes mentes computacionales (llamadas Modelos de Lenguaje) que sean el capitán, ¿saben establecer sus propias reglas o simplemente adivinan?

Este artículo profundiza en esa cuestión tratando el triaje médico de emergencia no como un simple juego de adivinanzas, sino como un rompecabezas de decisión. Los investigadores tomaron un conjunto de historias médicas (vignettes) donde los médicos ya habían decidido quién necesitaba la sala de emergencias y quién no. Le pidieron a varios modelos de IA diferentes que leyeran estas historias y, primero, adivinaran la probabilidad de que un paciente necesitara atención de emergencia, y segundo, decidieran si enviarlos a la sala de emergencias. El equipo encontró algo sorprendente: los modelos de IA eran en realidad muy buenos adivinando las probabilidades. Podían distinguir entre un paciente enfermo y uno sano con alta precisión. Sin embargo, cuando se trataba de tomar la decisión final, los modelos actuaban como si tuvieran una regla secreta y tácita que era demasiado cautelosa a la hora de enviar personas al hospital.

Los autores descubrieron que el "mal" comportamiento observado en una popular herramienta de salud para el consumidor (que resultó omitir más de la mitad de las emergencias reales) no se debía a que la IA fuera estúpida o no entendiera la medicina. En cambio, era porque la IA estaba usando una regla predeterminada e invisible que valoraba el ahorro de recursos por encima de salvar vidas. Era como un capitán que se niega a disparar el tiro de advertencia a menos que el asteroide sea un 99% seguro, a pesar de que perder uno sería catastrófico. El artículo muestra que cuando los investigadores le dijeron explícitamente a la IA: "Oye, omitir una emergencia es 5 veces peor que una falsa alarma", la IA cambió de opinión instantáneamente. Comenzó a enviar más pacientes a la sala de emergencias, detectando aproximadamente un 50% más de emergencias reales sin causar un aumento enorme en las visitas innecesarias.

El estudio sugiere que el problema no es la capacidad de la IA para predecir el futuro, sino su capacidad para seguir las órdenes del capitán sobre qué es lo más importante. Los investigadores encontraron que, simplemente cambiando las palabras en el prompt para especificar el "costo" de los diferentes errores, podían dirigir a la IA para que actuara como un médico que prioriza la seguridad o como un médico que ahorra recursos, dependiendo de lo que se necesitara. También señalaron que, sin estas instrucciones claras, cada modelo de IA parece tener su propia preferencia extraña e invisible que nadie puede ver ni controlar. El artículo concluye que, para que estas herramientas sean seguras y útiles en los hospitales reales, no podemos simplemente pedirles que "sean inteligentes". Tenemos que decirles explícitamente cómo sopesar los riesgos, tal como un capitán debe dar órdenes claras a su computadora de navegación antes de entrar en la niebla.