Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

No cenário em rápida evolução da inteligência artificial, uma nova classe de ferramentas surgiu para enfrentar um problema específico: como fazer com que as máquinas escolham entre opções fixas sem a necessidade de escrever explicações longas. Tradicionalmente, os grandes modelos de linguagem respondem a perguntas gerando texto palavra por palavra, um processo que é flexível, mas pode ser lento e caro. Uma abordagem mais recente, conhecida como modelagem de decisão, pula a geração de texto completamente. Em vez disso, o modelo analisa uma lista de respostas possíveis fornecidas pelo usuário e atribui uma pontuação de probabilidade a cada uma, essencialmente dizendo: "Estou 90 por cento certo de que esta é a escolha correta e 10 por cento certo de que aquela é a outra". Este método é mais rápido e barato, mas levanta uma questão crítica para campos de alto risco como a medicina: essas máquinas conseguem saber quando estão erradas? Se um modelo estiver confiante, mas incorreto, isso pode levar a erros perigosos. O desafio é encontrar uma maneira de o sistema reconhecer sua própria incerteza e entregar casos difíceis a um especialista humano ou a um computador mais poderoso antes que um erro ocorra.

Pesquisadores da Faculdade de Medicina da Universidade de Inje estabeleceram-se para testar se esses modelos de decisão poderiam identificar confiavelmente seus próprios erros em exames de licenciamento médico. Eles focaram em três modelos diferentes de diferentes empresas, testando-os em centenas de questões de exames médicos coreanos e dos Estados Unidos. O objetivo não era apenas ver quantos acertos as máquinas obtiveram, mas ver se as pontuações de probabilidade que elas geravam poderiam atuar como um sistema de alerta. Os pesquisadores perguntaram: se um modelo diz que tem apenas uma leve confiança em uma resposta, isso realmente significa que a resposta provavelmente está errada? E se o sistema for instruído a deixar de lado seus palpites de menor confiança e enviá-los para um modelo mais forte e caro para uma segunda análise, isso melhora a precisção geral sem custar uma fortuna?

Para encontrar as respostas, a equipe realizou uma série de simulações de computador usando questões reais de exames. Eles alimentaram milhares de questões médicas a três modelos de decisão diferentes: Jev, OpenAI Decisions e Clef. Cada modelo foi solicitado a escolher a resposta correta de uma lista de opções e fornecer uma pontuação de confiança para sua escolha. Os pesquisadores então compararam essas pontuações com os gabaritos oficiais para ver se a baixa confiança estava de fato correlacionada com erros. Eles descobriram que os modelos eram, de fato, bastante bons nessa autoavaliação. Quando os modelos estavam incertos, frequentemente estavam errados. Especificamente, os modelos identificaram corretamente a resposta certa para cerca de 83 a 92 por cento das questões coreanas e 85 a 88 por cento das questões em inglês. Mais importante ainda, as pontuações de probabilidade sinalizaram com sucesso os erros. Nos testes em coreano, as pontuações de incerteza dos modelos foram capazes de distinguir respostas erradas de respostas certas com um alto grau de confiabilidade, e o mesmo ocorreu nos testes em inglês.

O estudo seguiu então para uma aplicação prática: um sistema de encaminhamento. Os pesquisadores simularam um cenário onde as 20 por cento de respostas com menor confiança de cada modelo eram automaticamente enviadas para um modelo muito mais poderoso e caro, o GPT-6.1 Sol, para uma decisão final. Os resultados mostraram que essa estratégia simples funcionou de forma notável. Ao encaminhar apenas um quinto das respostas, o sistema capturou entre 56 e 91 por cento dos erros cometidos pelos modelos iniciais. Esse processo aumentou a precisão geral do sistema em 6 a 9 pontos percentuais. O custo desse aumento foi uma fração do que teria custado executar o modelo poderoso em cada uma das questões. A abordagem de encaminhamento alcançou quase metade a quase todos os ganhos de precisão que estariam disponíveis se um "oráculo" perfeito soubesse exatamente quais respostas estavam erradas de antemão, tudo isso gastando apenas cerca de um quarto a um terço do custo de usar o modelo poderoso exclusivamente.

No entanto, os pesquisadores também descobriram limitações importantes que sugerem que essas ferramentas ainda não estão prontas para o uso principal em um hospital. Embora os modelos fossem bons em detectar sua própria incerteza, eles não eram perfeitos. Alguns erros foram cometidos com alta confiança, o que significa que a máquina tinha certeza da resposta errada. Esses erros confiantes eram frequentemente estáveis, o que significa que não mudavam mesmo quando a ordem das opções de resposta era embaralhada, e às vezes coincidiam com as respostas erradas dadas por outros modelos avançados. Isso sugere que, quando esses modelos estão confiantes mas errados, eles geralmente estão errados pelas mesmas razões profundas, como a falta de informações na pergunta ou a dependência de regulamentações desatualizadas. Nos exames coreanos, por exemplo, muitos erros envolveram leis locais específicas e regras administrativas com as quais os modelos tiveram dificuldade, mesmo quando expressavam baixa confiança. Nos exames em inglês, algumas das próprias questões eram disputadas por médicos humanos, tornando difícil para qualquer máquina obter a resposta "certa" baseada em chaves históricas.

O estudo também examinou o quão sensíveis esses sistemas são à forma como as perguntas são apresentadas. Quando os pesquisadores rotacionaram a ordem das opções de resposta, as decisões dos modelos mudaram em cerca de 7 a 16 por cento dos casos. Isso significa que um modelo pode encaminhar uma questão para uma segunda análise simplesmente porque as opções foram listadas em uma ordem diferente, mesmo que o conteúdo médico permaneça o mesmo. Embora a precisão geral do sistema tenha permanecido estável apesar dessas pequenas mudanças, as decisões individuais não foram inteiramente consistentes. Os pesquisadores observaram que essa instabilidade, combinada com a existência de erros confiantes, significa que esses modelos ainda não podem ser confiados para trabalhar sozinhos. Eles funcionam melhor como um primeiro leitor que lida com os casos fáceis e sinaliza os casos difíceis para a revisão de um médico humano.

Em última análise, a pesquisa demonstra que os modelos de decisão oferecem um meio-termo promissor entre velocidade e precisão. Eles podem processar questões médicas de forma rápida e barata, e suas pontuações internas de confiança fornecem um mecanismo útil para filtrar os erros mais prováveis. Ao encaminhar os 20 por cento de respostas incertas para um sistema mais forte, é possível recuperar a maior parte da precisão de um modelo de alto nível a um custo muito menor. No entanto, o caminho para o uso clínico requer mais do que apenas essas simulações. A presença de erros confiantes e a sensibilidade à formatação das perguntas indicam que essas ferramentas precisam de validação cuidadosa em ambientes do mundo real. Antes que possam ser usadas para guiar o cuidado ao paciente, devem ser testadas em fluxos de trabalho clínicos reais, onde médicos humanos possam revisar os casos encaminhados e auditar as respostas confiantes que ainda podem estar erradas. A tecnologia mostra grande potencial, mas permanece sendo uma ferramenta que precisa de uma mão humana para guiá-la.