Evaluation of Elicit as an adjunct search, screening, and data extraction tool for systematic reviews
Este estudo avalia o Elicit como uma ferramenta de IA para revisões sistemáticas, constatando que, embora ofereça economias de tempo significativas e capacidades úteis de extração de dados, sua baixa sobreposição de busca e baixa precisão na triagem indicam que ele é atualmente adequado apenas como um adjuvante, em vez de um substituto autônomo para o processo de revisão sistemática.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
No mundo da pesquisa médica, a revisão sistemática estabelece-se como um pilar da verdade. É um processo rigoroso onde cientistas reúnem todos os estudos disponíveis sobre uma questão específica, analisam-nos com extremo cuidado e combinam as suas descobertas para determinar o que é realmente conhecido sobre um problema de saúde. Este método é essencial para médicos que tomam decisões de tratamento e formuladores de políticas que estabelecem diretrizes de saúde, mas é notoriamente difícil. O processo é lento, caro e exige um imenso esforço humano, levando frequentemente anos para ser concluído, à medida que equipas de investigadores leem milhares de títulos e resumos para decidir quais os artigos que pertencem à análise final. À medida que o volume de ciência publicada cresce todos os dias, a tarefa colossal de acompanhar a nova literatura tornou-se esmagadora, levando muitos a questionar se a inteligência artificial poderia assumir este pesado fardo.
Um estudo recente de uma equipa do Centre for Addiction and Mental Health, em Toronto, explora precisamente esta possibilidade ao testar uma ferramenta de IA específica chamada Elicit. Os investigadores queriam saber se este software poderia replicar o trabalho de uma equipa humana a realizar uma revisão sistemática. Para descobrir, utilizaram uma revisão que o seu próprio grupo já tinha concluído manualmente — um estudo que investigava se sintomas psicóticos precoces e ligeiros em jovens predizem diagnósticos de saúde mental posteriores — e pediram ao Elicit para fazer exatamente o mesmo trabalho. Eles compararam os resultados da IA com o trabalho da equipa humana em cada etapa, desde a pesquisa inicial de artigos até à extração final de dados, medindo quantos estudos corretos a IA encontrou, quantos perdeu e quanto tempo poupou.
Os resultados revelaram uma ferramenta que é poderosa, mas ainda não está pronta para trabalhar sozinha. No que diz respeito à pesquisa inicial, o Elicit teve dificuldades significativas. Enquanto a equipa humana encontrou mais de 5.000 estudos relevantes utilizando métodos de pesquisa tradicionais, o motor de busca do Elicit descobriu apenas 158 desses mesmos estudos. Isto significa que a IA perdeu a vasta maioria da investigação que os humanos tinham identificado, sugerindo que as suas capacidades de pesquisa atuais não são suficientemente amplas para substituir as pesquisas cuidadosas e estruturadas realizadas por investigadores humanos. No entanto, uma vez que os estudos estavam diante dela, a IA mostrou-se mais promissora. Durante o processo de triagem, onde os investigadores decidem se um artigo é relevante o suficiente para ser lido na íntegra, o Elicit teve um desempenho moderadamente bom. Identificou com sucesso a maioria dos estudos importantes, mas também cometeu um tipo específico de erro: tendeu a incluir artigos que deveriam ter sido excluídos. Foi excessivamente cauteloso, permitindo a entrada de posters de conferências e resumos que não eram artigos de investigação completos, e por vezes interpretou mal se um estudo possuía o tipo correto de dados de diagnóstico médico.
As descobertas mais encorajadoras surgiram na fase de extração de dados, onde a IA tentou recolher números e factos específicos dos artigos selecionados. O Elicit provou ser um assistente útil, encontrando com sucesso correspondências exatas para detalhes básicos, como o nome do autor, o ano de publicação e o país do estudo, em quase todos os casos. Mesmo quando não encontrava o número perfeito, frequentemente fornecia uma frase do texto original que orientava o leitor humano para a informação correta, o que representa uma poupança de tempo significativa. Para detalhes mais complexos, como a idade exata dos participantes ou resultados estatísticos específicos, a IA foi menos precisa, por vezes extraindo dados do grupo errado dentro de um estudo ou perdendo o valor específico necessário para um cálculo final. Apesar destas imperfeições, a diferença de velocidade foi impressionante. A equipa humana levou quase 445 horas de trabalho para concluir todo o processo de revisão, envolvendo vários investigadores a verificar cada etapa. A IA completou a sua versão da mesma tarefa em pouco mais de três horas.
Em última análise, o estudo conclui que o Elicit é um parceiro valioso, mas não um substituto. Ainda não é capaz de realizar uma revisão sistemática por conta própria porque perde demasiados estudos na fase de pesquisa e comete demasiados erros na fase de triagem para ser confiável sem supervisão. No entanto, a sua capacidade de percorrer documentos rapidamente e apontar para frases específicas torna-o uma excelente ferramenta para acelerar o trabalho dos investigadores humanos. Os autores sugerem que a melhor abordagem é utilizar a IA como um segundo ou terceiro revisor, deixando que ela lide com o trabalho pesado de encontrar informações enquanto um especialista humano supervisiona o processo para detetar os erros e garantir que os resultados finais sejam precisos. Desta forma, a tecnologia pode reduzir o tempo e o custo da investigação sem sacrificar a fiabilidade que a ciência médica exige.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.