Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

Nas clínicas movimentadas da América Latina, um médico frequentemente enfrenta um momento de incerteza silenciosa: um paciente apresenta um conjunto complexo de sintomas e o caminho correto para o tratamento não é imediatamente óbvio. Por décadas, a solução tem sido pausar e buscar respostas, folheando livros didáticos ou digitando consultas em um banco de dados digital. Esse processo depende da habilidade do médico de encontrar, ler e interpretar vastas quantidades de informações médicas rapidamente. Hoje, uma nova ferramenta entrou nesse cenário: a inteligência artificial conversacional. Esses sistemas, construídos sobre coleções massivas de conhecimento humano, podem manter um diálogo, responder perguntas e resumir tópêx complexos em segundos. A promessa é que tal ferramenta possa atuar como uma parceira à beira do leito, ajudando os médicos a recuperar evidências de forma mais rápida e precisa. No entanto, a maioria dos testes desses sistemas tem sido conduzida em ambientes controlados e estáticos, longe da realidade de um hospital movimentado em um país de baixa ou média renda. A questão crítica permanece sendo se esses assistentes digitais realmente melhoram a qualidade do cuidado quando usados por médicos reais em cenários reais, ou se são apenas chatbots sofisticados que soam confiantes, mas oferecem pouca ajuda prática.

Para encontrar a resposta, pesquisadores na América Latina desenharam uma comparação direta envolvendo duzentos e dois médicos. Eles criaram um cenário onde os médicos foram solicitados a resolver quatro casos de pacientes simulados, cada um exigindo respostas para quatro perguntas abertas. Os médicos foram divididos aleatoriamente em dois grupos. Um grupo usou seus métodos usuais para encontrar informações, pesquisando em recursos padrão como normalmente fariam. O outro grupo usou um sistema conversacional específico projetado para fornecer respostas que pudessem ser rastreadas até evidências médicas. Para garantir a imparcialidade, dois especialistas independentes, que não sabiam qual método cada médico havia usado, avaliaram cada resposta. Eles avaliaram as respostas com base em seis dimensões diferentes de qualidade, criando uma pontuação composta que refletia a validade geral do aconselhamento médico fornecido.

Os resultados mostraram uma diferença clara entre as duas abordagens. Os médicos que usaram o sistema conversacional produziram respostas que eram, em média, mais válidas do que aqueles que confiaram em suas práticas de busca usuais. As pontuações para o grupo apoiado foram mais altas, com uma mediana de 2,83 em comparação com 2,46 para o grupo de prática usual. Quando os pesquisadores ajustaram para fatores como os graus acadêmicos dos médicos, os dados sugeriram que um médico usando o sistema era significativamente mais propenso a produzir uma resposta que atendesse a um alto padrão de validade. Essa vantagem manteve-se verdadeira em quase todos os critérios específicos usados para a graduação, particularmente naqueles em que os juízes especialistas concordaram mais fortemente entre si. No entanto, o estudo também revelou uma nuance: ao olhar estritamente para a precisão dos fatos isoladamente, a diferença entre os dois grupos não atingiu um nível de significância estatística. Isso levou os pesquisadores a designar a medida composta mais ampla de validade como o achado primário, uma decisão reforçada quando um avaliador externo repetiu a análise de apenas precisão e encontrou a mesma falta de diferença.

Além da qualidade das respostas, o estudo examinou como os médicos se sentiram sobre o processo e quanto tempo levaram. Os médicos que usaram o sistema relataram altos níveis de satisfação, achando a ferramenta aceitável e fácil de usar. Curiosamente, o tempo levado para completar as tarefas e o número de buscas que os médicos relataram realizar não mostraram uma diferença clara entre os dois grupos, embora os pesquisadores tenham observado que a falta de dados tornou essa comparação específica difícil de interpretar com certeza. O estudo conclui com um lembrete importante sobre seu escopo: os participantes foram voluntários que escolheram completar o exercício, o que significa que os achados são exploratórios em vez de prova definitiva de como a ferramenta funciona para cada médico em cada situação. Embora o sistema não tenha atuado como uma varinha mágica que resolve todos os problemas instantaneamente, a evidência sugere que, quando usado por médicos praticantes nesta região, ele pode ajudar a elevar a qualidade da informação médica que eles fornecem aos seus pacientes.