Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
Este estudo avalia três chatbots de LLM em respostas a perguntas médicas, constatando que o desempenho de recuperação varia significativamente por modelo e papel do usuário, com o ChatGPT superando os outros e todos os modelos apresentando um viés em citar ensaios clínicos maiores.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você esteja tentando encontrar a melhor receita para um prato específico, mas em vez de perguntar a um chef, você pergunta a um robô superinteligente que leu quase todos os livros de culinária já escritos. Esse robô é um "Large Language Model" (LLM), um tipo de chatbot de IA que pode conversar, escrever e responder perguntas prevendo a próxima palavra em uma frase. No mundo da medicina, esses bots estão se tornando populares porque podem resumir rapidamente problemas de saúde complexos e apontar para os estudos que sustentam seus conselhos. Mas aqui está o detalhe: às vezes esses robôs inventam coisas ou "alucinam", citando estudos que não existem. Pior ainda, eles podem ignorar completamente os estudos mais importantes. Este artigo faz uma pergunta simples, mas crucial: se um especialista humano (como um pesquisador médico) já fez o trabalho duro de encontrar a lista perfeita de estudos para uma questão médica específica, quão bem esses robôs de IA conseguem encontrar essa mesma lista? Eles agem como um paciente curioso, um médico ocupado ou um pesquisador sério? E o tamanho do estudo importa para o robô?
Os autores deste estudo decidiram colocar três dos chatbots de IA mais novos e poderosos à prova. Eles trataram os chatbots como estudantes fazendo um exame muito específico. As "questões de prova" foram 20 tópicos médicos reais retirados da Cochrane Database of Systematic Reviews de 2026, que é como a biblioteca padrão ouro onde equipes de especialistas já reuniram e validaram as melhores evidências para problemas de saúde específicos. Para cada um desses 20 tópicos, os pesquisadores pediram aos chatbots para encontrar os estudos de pesquisa originais (as "fontes primárias") que sustentam as respostas. Para ver se a "personalidade" do robô importava, eles fizeram as mesmas perguntas de três maneiras diferentes: uma vez como se um paciente estivesse perguntando, uma vez como se um clínico (médico) estivesse perguntando e uma vez como se um pesquisador de síntese de evidências (um cientista especializado em encontrar dados) estivesse perguntando. Eles realizaram todo este experimento quatro vezes para cada combinação para garantir que os resultados não fossem apenas uma coincidência, terminando com um total de 720 respostas para analisar.
Os resultados foram uma mistura de "nada mal" e "surpreendentemente enviesados". Em média, uma única resposta de chatbot conseguiu encontrar cerca de 39,2% dos estudos que os especialistas humanos já haviam identificado como a lista "correta". Isso significa que, se os especialistas encontraram 10 estudos perfeitos, o robô geralmente encontrou apenas cerca de 4 deles. No entanto, o tipo de robô importou muito. O ChatGPT foi o vencedor claro, encontrando 63,1% dos estudos dos especialistas. O Claude ficou no meio, com 37,0%, e o Gemini foi o que mais teve dificuldades, encontrando apenas 17,3%. Curiosamente, a "personalidade" do usuário também desempenhou um papel pequeno: quando o comando era escrito sob a perspectiva de um pesquisador, os bots encontraram mais estudos (42,8%) do que quando era escrito como um paciente (36,1%) ou um clínico (38,6%).
Mas a descoberta mais fascinante foi sobre quais estudos os bots escolheram encontrar. Os pesquisadores observaram as características dos estudos que os bots recuperaram com sucesso versus aqueles que eles perderam. Eles descobriram que os bots tinham uma preferência massiva por estudos com amostras maiores (significando estudos que testaram o tratamento em mais pessoas). Mesmo quando controlaram o quão novo o estudo era, com que frequência era citado por outros ou se era gratuito para leitura, o tamanho do estudo foi a única coisa que previu de forma confiável se o bot o encontraria. Para cada aumento de uma unidade no log do tamanho da amostra, as chances de o bot encontrar o estudo saltaram 1,80 vezes. É como se os chatbots tivessem um viés embutido que pensa: "Se um estudo tem uma multidão enorme de participantes, deve ser o mais importante", ignorando estudos menores, mas igualmente válidos.
O estudo também verificou se os bots estavam inventando estudos falsos ou errando detalhes. Eles não inventaram muitos estudos falsos (um bom sinal graças às suas habilidades avançadas de raciocínio), mas cometeram "erros de metadados" cerca de 3% das vezes. Isso significa que eles podem citar um estudo real, mas errar o nome do autor, o ano ou o título do periódico. O Claude cometeu esses erros com mais frequência (5,9% das vezes), enquanto o Gemini foi o mais preciso (0,2%).
No fim, o artigo sugere que, embora esses chatbots de IA estejam ficando melhores em encontrar evidências médicas, eles ainda não são substitutos perfeitos para especialistas humanos. Eles são incompletos, mudam suas respostas dependendo de quem você finge ser e têm um forte viés em direção a estudos grandes e famosos. Se você usar um chatbot para encontrar pesquisa médica, poderá obter uma lista dos "grandes sucessos", mas poderá facilmente perder os estudos menores e mais silenciosos que os especialistas sabem que são tão importantes quanto. Os autores concluem que essas ferramentas devem ser vistas como assistentes úteis que podem apontar na direção certa, mas não como a autoridade final sobre o que a evidência médica realmente diz.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.