Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Este estudo avalia a ferramenta de IA Elicit para a síntese de evidências de políticas, constatando que, embora ela agilize efetivamente o escopo preliminar de tópicos, atualmente carece da precisão e confiabilidade necessárias para revisões rápidas complexas sem uma supervisão humana significativa.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da saúde pública e das políticas governamentais, as decisões sobre quais tratamentos ou programas financiar dependem de uma base de evidências. Antes que uma nova regra seja escrita, especialistas devem reunir toda a pesquisa existente sobre um tema, lê-la cuidadosamente e resumir o que ela diz que funciona e o que não funciona. Esse processo, conhecido como síntese de evidências, é essencial para fazer escolhas justas e eficazes, mas também é incrivelmente demorado. Tradicionalmente, equipes de pesquisadores passam meses pesquisando milhares de artigos científicos, verificando se cada um deles se ajusta à questão específica em questão e extraindo os dados para construir um quadro claro. À medida que as necessidades dos formuladores de políticas se tornam mais urgentes e complexas, há um desejo crescente de acelerar esse trabalho sem perder a precisão. É aqui que a inteligência artificial entra em cena, prometendo atuar como uma assistente poderosa que pode ler e classificar informações em uma velocidade que nenhum humano conseguiria igualar.
Uma equipe de pesquisadores de universidades do Reino Unido decidiu colocar uma dessas novas ferramentas de IA à prova. Eles queriam ver se um programa de software chamado Elicit poderia realmente ajudar os pesquisadores de políticas a realizar seu trabalho de forma mais rápida e melhor. Os pesquisadores escolheram avaliar a ferramenta de duas maneiras diferentes. Primeiro, perguntaram se a IA poderia atuar como um guia útil para obter uma visão geral rápida de um tópico amplo, uma etapa frequentemente chamada de "mapeamento" (scoping) que ocorre antes do início de uma revisão completa. Segundo, testaram se a IA poderia substituir pesquisadores humanos na condução de uma revisão rápida e completa de evidências sobre um assunto complexo. O tema escolhido foi um difícil: descobrir quais programas incentivam com sucesso a atividade física entre idosos que enfrentam desvantagens sociais e econômicas. Este tópico foi escolhido porque envolve muitas partes móveis, incluindo diferentes tipos de pessoas, vários tipos de atividades e medidas específicas de sucesso, tornando-se um teste rigoroso para qualquer sistema automatizado.
Os pesquisadores começaram pedindo à IA que realizasse uma varredura rápida da literatura para ajudá-los a entender o cenário das ferramentas de atividade física utilizadas na atenção primária. Nesse papel, o software provou ser bastante útil. Ele gerou um resumo das evidências disponíveis em apenas seis minutos, oferecendo uma visão ampla do tópico que os especialistas consideraram útil para moldar seu pensamento. O resultado não foi perfeito e carecia de uma explicação detalhada de como a informação foi encontrada, mas serviu bem como um ponto de partida. Deu à equipe uma noção do que estava disponível e onde estariam as lacunas, atuando efetivamente como um mapa preliminar rápido antes de iniciarem o trabalho mais difícil de desenhar o território completo.
No entanto, quando os pesquisadores pediram à IA para realizar a tarefa completa e rigorosa de uma revisão rápida, os resultados foram muito menos encorajadores. Eles inseriram a mesma questão complexa sobre atividade física em populações idosas desfavorecidas no sistema e observaram como ele lidava com o trabalho. O processo levou mais de três horas, durante o qual os pesquisadores humanos tiveram que gastar um tempo significativo refinando as perguntas e corrigindo as suposições da IA. Quando o relatório final foi produzido, ele continha uma lista de quarenta estudos que a IA alegava serem relevantes. No entanto, quando os especialistas humanos verificaram esses estudos em relação às regras estritas da revisão, descobriram que trinta e seis deles não pertenciam de fato ao estudo. A IA havia incluído estudos que analisavam os resultados errados, focavam nos grupos de pessoas errados ou examinavam intervenções que não se encaixavam nos critérios. De fato, o software deixou de fora trinta e quatro estudos que a equipe humana conseguiu encontrar e incluir em sua própria revisão.
O problema central pareceu ser que a IA tinha dificuldade com a nuance da linguagem usada em artigos científicos. Ela conseguia identificar facilmente palavras como "idoso" ou "atividade física", mas falhava em compreender o significado mais profundo de se um estudo estava realmente testando a coisa certa para o grupo certo de pessoas. Por exemplo, não conseguia distinguir entre um programa desenhado para melhorar a saúde geral e um especificamente desenhado para aumentar a atividade física, mesmo que a redação fosse semelhante. Devido a esses erros, o resumo final produzido pela IA estava repleto de informações que não respondiam à pergunta original. Discutia resultados que não eram relevantes e tirava conclusões baseadas em evidências que não eram elegíveis para a revisão. A revisão liderada por humanos, por outro lado, foi capaz de filtrar o ruído e focar apenas nos estudos que realmente importavam, resultando em uma conclusão muito mais precisa e confiável.
Os pesquisadores também observaram como o software lidava com os dados que encontrava. Embora a IA fosse capaz de extrair detalhes básicos, como o país onde um estudo ocorreu ou o número de participantes, ela era inconsistente no que diz respeito à extração de resultados específicos, como o quanto uma intervenção melhorou a saúde de uma pessoa. Em alguns casos, ela perdia os dados inteiramente; em outros, não ficava claro o que havia encontrado. Além disso, o software não tinha a capacidade de julgar a qualidade dos estudos, o que significa que tratava um experimento fraco e mal desenhado da mesma forma que um forte e bem conduzido. Essa falta de controle de qualidade é um risco significativo, pois pode levar os formuladores de políticas a confiar em evidências falhas.
Em última análise, o estudo sugりge que, embora a inteligência artificial possa ser uma ferramenta valiosa para obter uma visão rápida e de alto nível de um tópico, ela ainda não está pronta para substituir pesquisadores humanos na tarefa crítica de conduzir uma revisão completa de evidências, especialmente quando as questões são complexas. A IA pode acelerar as fases iniciais da pesquisa, mas ainda comete muitos erros nas fases posteriores para ser confiável por conta própria. Os pesquisadores concluíram que, por enquanto, a melhor abordagem é usar o software como um auxiliar que trabalha ao lado de um especialista humano, que deve verificar cada decisão tomada pela máquina. O tempo economizado ao usar a IA é atualmente incerto, pois o esforço humano necessário para corrigir seus erros pode anular os ganhos iniciais de velocidade. À medida que essas ferramentas evoluem, a esperança é que se tornem melhores em compreender os detalhes sutis da linguagem humana e da pesquisa, mas, por enquanto, a mente humana permanece essencial para garantir que as evidências que guiam as políticas públicas sejam precisas e confiáveis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.