Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

No mundo da pesquisa médica, a maneira mais confiável de responder a uma pergunta é reunir todos os estudos já escritos sobre aquele tema, lê-los todos e combinar suas descobertas em um quadro claro. Esse processo é chamado de revisão sistemática. Ele é o padrão ouro para decidir quais tratamentos funcionam e quais não funcionam, formando a espinha dorsal das diretrizes clínicas modernas. No entanto, criar essas revisões é uma tarefa monumental. Exige que equipes de pesquisadores passem meses ou até anos pesquisando através de milhões de artigos, lendo resumos para decidir quais deles importam, extraindo números específicos dos textos completos e verificando a qualidade da pesquisa para garantir que ela seja confiável. O processo é tão trabalhoso que pode custar centenas de milhares de dólares e atrasar a chegada de informações vitais para médicos e pacientes.

Recentemente, surgiu um novo tipo de programa de computador conhecido como modelo de linguagem de grande escala (LLM). Estes são sistemas treinados em vastas quantidades de texto humano que podem ler, compreender e gerar linguagem de formas que frequentemente mimetizam a inteligência humana. Pesquisadores começaram a se perguntar se essas ferramentas poderiam assumir o trabalho pesado da criação de revisões sistemáticas, transformando um período de meses em uma questão de horas. A esperança é que essas máquinas possam lidar com as partes repetitivas e densas em dados do trabalho, liberando especialistas humanos para se concentrarem nas decisões complexas que exigem julgamento profundo. Mas, para que isso aconteça, as máquinas devem ser precisas o suficiente para serem confiadas com as vidas dos pacientes.

Uma equipe de pesquisadores da Université de Montréal e da McGill University decidiu testar essa ideia com uma abordagem muito prática. Eles não tentaram construir um robô complexo e totalmente automatizado que execute todo o processo de revisão do início ao fim. Em vez disso, pediram a uma versão específica e avançada de um modelo de linguagem de grande escala para realizar cada etapa principal de uma revisão sistemática, uma por uma, usando apenas instruções simples e os dados de cinco revisões médicas já publicadas. O objetivo era ver se um usuário comum, sem nenhum treinamento especial em inteligência artificial, conseguiria fazer o computador realizar o trabalho tão bem quanto uma equipe humana. Os pesquisadores focaram em cinco estágios distintos: criar os termos de busca para encontrar artigos, triar os títulos e resumos para selecionar estudos relevantes, extrair pontos de dados específicos dos textos completos, avaliar a qualidade e o potencial viés dos estudos e, finalmente, combinar os dados para produzir os resultados finais.

Os resultados revelaram uma história de forças surpreendentes e limitações claras. Quando se tratava de extrair números e fatos específicos do texto de artigos médicos, o modelo de computador foi extraordinariamente bom. Na verdade, ele superou os autores humanos originais que haviam escrito as revisões. Quando os pesquisadores compararam os dados extraídos pelo computador com um novo padrão altamente rigoroso criado por revisores especialistas, a máquina foi correta em 93 por cento das vezes. Ela também foi mais rápida, levando apenas minutos para fazer o que tomava horas dos humanos. Da mesma forma, quando solicitada a julgar a qualidade dos estudos e identificar potenciais falhas ou vieses, o computador teve novamente um desempenho superior aos humanos, com uma precisão de 83 por cento. Os pesquisadores observaram que, quando o computador cometia um erro ao julgar a qualidade, ele tendia a ser excessivamente cauteloso, sinalizando um estudo como arriscado quando ele poderia ser seguro, o que é um erro mais seguro do que ignorar um problema real.

No entanto, a máquina teve dificuldades significativas nas etapas iniciais do processo, onde precisava tomar decisões baseadas em informações incompletas. Quando o computador foi solicitado a gerar as strings de busca — as listas específicas de palavras usadas para encontrar artigos em bases de dados médicas — ele encontrou cerca de 85 por cento dos artigos relevantes que os humanos haviam encontrado. Foi um resultado decente, mas significava que ele perdeu uma parte significativa da literatura. A situação piorou quando o computador tentou realizar a triagem do texto completo dos artigos para decidir quais deveriam ser incluídos na revisão final. Nesta etapa, o modelo deixou de encontrar mais da metade dos artigos importantes que os revisores humanos haviam identificado corretamente. Embora o computador fosse muito bom em saber o que não incluir, ele era ruim em encontrar as coisas certas para manter. Isso sugere que, embora a máquina possa ser uma ferramenta poderosa para ler e organizar dados, ela ainda não está pronta para substituir os humanos nas fases iniciais e críticas de decidir qual pesquisa é relevante.

A etapa final envolveu a combinação dos dados para calcular os resultados gerais da revisão. Aqui, o computador produziu números muito próximos dos resultados humanos, embora nem sempre idênticos. As diferenças eram pequenas e provavelmente devidas à forma como a máquina interpretou dados ambíguos ou lidou com detalhes estatísticos menores. Os pesquisadores descobriram que o computador poderia gerar esses resultados em segundos, uma tarefa que levaria muito mais tempo para um humano. No entanto, o estudo destacou que fazer o computador realizar isso perfeitamente exigia instruções muito específicas e detalhadas sobre como lidar com dados ausentes e quais métodos estatísticos utilizar. Sem essa orientação cuidadosa, os resultados poderiam se desviar ligeiramente da verdade.

O estudo conclui que o caminho para automatizar a pesquisa médica não é um salto único, mas uma série de passos onde diferentes ferramentas são necessárias para diferentes tarefas. Para tarefas que envolvem leitura e extração de fatos, como retirar dados de tabelas ou julgar a qualidade de um estudo, esses modelos de computador já são superiores aos humanos e podem ser usados imediatamente para acelerar o trabalho. Mas para as tarefas mais subjetivas, como decidir quais artigos buscar ou quais textos completos manter, as máquinas ainda não são confiáveis o suficiente para trabalhar sozinhas. Os pesquisadores sugerem que a abordagem mais eficaz para não especialistas é um modelo híbrido: deixar o computador lidar com o trabalho pesado de extração de dados e verificações de qualidade, enquanto mantém especialistas humanos no controle para guiar a busca e tomar as decisões finais de triagem. Essa parceria poderia reduzir drasticamente o tempo e o custo de produção de evidências médicas sem sacrificar a precisão da qual os pacientes dependem.