High-Stakes Decisions with Language Models: Insights from Emergency Triage

Imagine que você é o capitão de uma nave espacial navegando por um campo de asteroides nebuloso. O computador da sua nave é incrivelmente inteligente; ele pode olhar para um ponto borrado e dizer: "Há 90% de chance de que esse ponto seja um asteroide perigoso". Mas o computador não sabe o que fazer com esse número. Se você colidir, a nave explode (uma emergência perdida). Se você disparar um tiro de advertência contra uma nuvem inofensiva, desperdiça combustível e irrita a tripulação (um alarme falso desnecessário). O computador precisa de uma regra: "Se o perigo estiver acima de 10%, dispare o tiro!" ou "Só dispare se estiver acima de 90%!". Esta regra é chamada de função de utilidade. No mundo real, os médicos enfrentam exatamente essa situação nebulosa todos os dias. Eles usam a triagem para decidir quem precisa de ajuda imediata e quem pode esperar. Por muito tempo, os cientistas souberam que tomar essas decisões de alto risco não é apenas sobre adivinhar as probabilidades corretamente; é sobre saber o quanto você odeia cometer o tipo errado de erro. Se você tiver muito medo de perder uma crise, enviará todos para o hospital. Se estiver preocupado demais em perder tempo, poderá perder uma situação de vida ou morte. A grande questão é: quando pedimos a cérebros de computador superinteligentes (chamados de Modelos de Linguagem) para serem o capitão, eles sabem estabelecer suas próprias regras ou apenas chutam?

Este artigo mergulha nessa questão ao tratar a triagem médica de emergência não como um simples jogo de adivinhação, mas como um quebra-cabeça de decisão. Os pesquisadores pegaram um conjunto de histórias médicas (vinhetas) onde médicos já haviam decidido quem precisava da emergência e quem não precisava. Eles pediram a vários modelos de IA diferentes que lessem essas histórias e, primeiro, adivinhassem a probabilidade de um paciente precisar de cuidados emergenciais e, segundo, decidissem se deveriam enviar o paciente para a emergência. A equipe descobriu algo surpreendente: os modelos de IA eram, na verdade, muito bons em adivinhar as chances. Eles conseguiam diferenciar um paciente doente de um saudável com alta precisão. No entanto, quando se tratava de tomar a decisão final, os modelos agiam como se tivessem uma regra secreta e não dita que era cautelosa demais ao enviar pessoas para o hospital.

Os autores descobriram que o comportamento "ruim" observado em uma popular ferramenta de saúde para o consumidor (que foi encontrada perdendo mais da metade das emergências reais) não era porque a IA era estúpida ou não entendia de medicina. Em vez disso, era porque a IA estava usando uma regra padrão oculta que valorizava a economia de recursos em vez de salvar vidas. Era como um capitão que se recusa a disparar o tiro de advertência, a menos que o asteroide seja 99% certo, embora perder um fosse catastrófico. O artigo mostra que, quando os pesquisadores disseram explicitamente à IA: "Ei, perder uma emergência é 5 vezes pior do que um alarme falso", a IA mudou de ideia instantaneamente. Ela começou a enviar mais pacientes para a emergência, capturando cerca de 50% mais emergências reais sem causar um aumento enorme em visitas desnecessárias.

O estudo sugere que o problema não é a capacidade da IA de prever o futuro, mas sua capacidade de seguir as ordens do capitão sobre o que é mais importante. Os pesquisadores descobriram que, simplesmente mudando as palavras no comando (prompt) para especificar o "custo" de diferentes erros, eles podiam direcionar a IA para agir como um médico focado na segurança ou um médico focado na economia de recursos, dependendo do que fosse necessário. Eles também observaram que, sem essas instruções claras, cada modelo de IA parece ter sua própria preferência estranha e invisível que ninguém consegue ver ou controlar. O artigo conclui que, para que essas ferramentas sejam seguras e úteis em hospitais reais, não podemos apenas pedir que elas "sejam inteligentes". Temos que dizer explicitamente a elas como ponderar os riscos, assim como um capitão deve dar ordens claras ao seu computador de navegação antes de entrar na névoa.