ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
Este artigo apresenta o ARISMA, uma estrutura de diretrizes abrangente que estabelece princípios, uma taxonomia de ciclo de vida e padrões de relato para integrar IA e modelos de linguagem de grande escala como assistentes auditáveis e supervisionados por humanos em revisões sistemáticas, revisões de escopo e estudos de mapeamento para garantir o rigor metodológico e a responsabilidade.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da pesquisa científica, existe um tipo específico de trabalho conhecido como revisão sistemática. Imagine uma equipe de especialistas tentando responder a uma pergunta complexa, como se um novo medicamento funciona melhor do que um antigo, ou qual é o estado atual do conhecimento sobre as mudanças climáticas. Para fazer isso, eles não podem simplesmente ler alguns artigos interessantes; eles devem encontrar todos os estudos relevantes já publicados sobre o tema, lê-los todos e combinar seus achados em uma única conclusão confiável. Esse processo é o fundamento da medicina e das políticas modernas, mas é incrivelmente difícil. À medida que o número de artigos científicos cresce a cada ano, a tarefa de encontrar e ler todos eles tornou-se mais lenta, mais cara e mais difícil de manter atualizada.
Recentemente, poderosos programas de computador conhecidos como inteligência artificial entraram em cena. Essas ferramentas podem ler textos, compreender a linguagem e resumir informações em velocidades que nenhum humano consegue igualar. Pesquisadores começaram a usar a IA para ajudar a encontrar artigos, decidir quais manter e extrair números importantes. No entanto, essa nova velocidade trouxe um problema. Ninguém tinha um conjunto claro de regras sobre como usar essas ferramentas com segurança. Se um programa de computador perdesse um estudo crucial ou cometesse um erro ao ler um número, toda a revisão poderia estar errada, e os médicos ou formuladores de políticas que dependem dela poderiam tomar decisões ruins. A questão tornou-se não apenas se essas ferramentas poderiam funcionar, mas como usá-las sem perder o controle da ciência.
Uma equipe de pesquisadores da Universidade do Sul da Dinamarca propôs agora um novo conjunto de diretrizes chamado ARISMA para resolver este problema. O trabalho deles não trata a inteligência artificial como um substituto para os cientistas humanos. Em vez disso, eles a enquadram como um assistente altamente qualificado que deve ser vigiado, testado e registrado em cada etapa. A ideia central é simples, mas rigorosa: cada decisão importante em uma revisão científica deve permanecer compreensível, verificável e, em última instância, ser responsabilidade de um ser humano. Os pesquisadores argumentam que, embora as máquinas possam fazer o trabalho pesado, elas não podem ser deixadas para decidir silenciosamente o que conta como evidência.
O artigo descreve um ciclo de vida completo de como uma revisão deve ser conduzida ao utilizar essas ferramentas. Começa com a fase de planejamento, onde a equipe humana deve definir claramente o que está procurando antes que qualquer computador seja envolvido. As diretrizes sugerem que a inteligência artificial pode ser muito útil para fazer brainstorm de termos de busca ou sugerir sinônimos para um tópico, mas a estratégia de busca final deve ser verificada por um especialista humano. Os pesquisadores enfatizam que, se um computador perder um estudo importante conhecido durante um teste inicial, a estratégia de busca é considerada uma falha e deve ser corrigida antes de ser usada nos dados reais. Isso garante que a busca não seja apenas rápida, mas também completa.
Uma vez concluída a busca, a equipe enfrenta a tarefa massiva de triar milhares de títulos e resumos para decidir quais artigos ler na íntegra. É aqui que a inteligência artificial tem mostrado o maior potencial, mas também onde as diretrizes são mais cautelosas. O artigo explica que um computador pode ser usado para classificar artigos ou sugerir quais devem ser excluídos, mas ele não pode fazer a seleção final por conta própria. Os pesquisadores propõem um sistema de "níveis de confiança". Em um cenário de baixa confiança, o computador apenas sugere uma ordem para os humanos lerem. Em um cenário de confiança moderada, ele pode recomendar exclusões, mas um humano deve verificar cada uma dessas recomendações. Em revisões de alto risco, como aquelas que guiarão tratamentos médicos, o computador atua apenas como um segundo par de olhos, e a equipe humana toma a decisão final. Crucialmente, antes de um computador ser permitido fazer qualquer uma dessas tarefas, ele deve ser testado em um pequeno conjunto de artigos que os humanos já avaliaram. Se o computador cometer muitos erros nesse conjunto de teste, ele não tem permissão para prosseguir.
As diretrizes também abordam a tarefa delicada da extração de dados, onde os pesquisadores extraem números específicos, como contagens de pacientes ou resultados de tratamento, do texto de um artigo. Aqui, os pesquisadores são ainda mais conservadores. Eles observam que, embora os computadores sejam bons em encontrar descrições gerais, eles frequentemente têm dificuldade com números exatos escondidos em tabelas ou frases complexas. O artigo sugere que um computador pode preencher um formulário de rascunho com detalhes descritivos, mas cada número que será usado para calcular um resultado final deve ser verificado linha por linha por um humano. Se um humano não verificar a fonte de um número, esse número não pode ser usado na revisão final. Esta regra protege contra a "alucinação" do computador ou a invenção de fatos que parecem plausíveis, mas que não estão no texto original.
Ao longo do processo, as diretrizes exigem uma trilha de auditoria. Sempre que uma ferramenta de computador é utilizada, os pesquisadores devem registrar qual ferramenta foi usada, qual era a versão do software, quais instruções foram dadas a ela e qual foi o resultado. Se o computador cometer um erro, ou se a equipe humana decidir alterar a forma como o computador está operando, essa mudança deve ser datada e explicada. Isso cria um histórico da revisão que permite a qualquer pessoa que leia o relatório final ver exatamente onde o computador ajudou e onde os humanos assumiram o controle. O artigo também aborda o lado jurídico e ético, lembrando as equipes de que devem ter cuidado ao enviar dados privados ou não publicados para serviços de computador públicos, pois esses dados podem ser armazenados ou usados de maneiras que a equipe não pretendia.
Os pesquisadores desenvolveram estas diretrizes conversando com vinte e um especialistas na área, incluindo cientistas e especialistas em informação. Eles testaram suas ideias e as refinaram com base no feedback, focando em tornar as regras práticas e claras. O resultado é uma estrutura que permite às equipes usar a velocidade da inteligência artificial sem sacrificar a precisão e a confiabilidade que as revisões científicas exigem. O artigo conclui que o objetivo não é tornar as revisões totalmente automáticas, mas sim torná-las mais auditáveis. Ao tratar a inteligência artificial como uma ferramenta que é inspecionada e delimitada, em vez de uma tomadora de decisões autônoma, as diretrizes garantem que as conclusões finais de uma revisão permaneçam fundamentadas em evidências verificadas, com um humano sempre no controle para assumir a responsabilidade pela verdade.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.