Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

Todos os anos, o mundo produz um fluxo avassalador de novos artigos científicos. Em campos que variam da medicina à saúde ambiental, pesquisadores estão publicando mais estudos do que nunca, criando um dilúvio de informações que nenhuma equipe de humanos seria capaz de ler em uma vida inteira. Para dar sentido a esse caos, os cientistas recorrem a um processo rigoroso chamado revisão sistemática. Esta não é uma olhada casual na literatura; é uma busca metódica por cada estudo que responda a uma pergunta específica, como se uma determinada substância química causa danos ou se um novo medicamento funciona melhor do que um antigo. O primeiro passo, e frequentemente o mais exaustivo, nesta busca é a triagem. Os pesquisadores devem ler os títulos e resumos curtos de milhares de artigos, decidindo instantaneamente quais valem a pena manter e quais devem ser descartados. Se um estudo relevante for perdido nesta etapa, toda a revisão poderá ser falha, levando a conclusções incorretas sobre saúde e segurança. Por décadas, este tem sido um trabalho feito inteiramente por olhos humanos, um gargalo lento, caro e que exige muita mão de obra, o que atrasa respostas vitais.

Uma equipe de pesquisadores do Escritório Federal de Proteção contra Radiação da Alemanha testou agora uma nova maneira de enfrentar este problema usando inteligência artificial. Eles exploraram se modelos de linguagem de grande escala — programas de computador avançados capazes de compreender e gerar linguagem humana — poderiam atuar como um primeiro filtro, lendo esses milhares de títulos e resumos para decidir quais merecem a atenção de um humano. O objetivo não era substituir os revisores humanos, mas atuar como um assistente poderoso que pudesse realizar o trabalho pesado, removendo a vasta maioria dos artigos irrelevantes, enquanto garantia que nenhum estudo importante fosse acidentalmente descartado. Os pesquisadores trataram isso como um experimento científico, construindo e testando diversas maneiras de pedir ao computador para realizar a tarefa, medindo cuidadosamente o quão bem cada método funcionava antes de confiar a ele dados reais.

A equipe começou criando um campo de teste controlado. Eles geraram 100 resumos sintéticos de artigos científicos, metade dos quais foi projetada para atender aos critérios rigorosos de inclusão e a outra metade projetada para falhar. Usando este pequeno conjunto, eles testaram uma grande variedade de estratégias. Algumas estratégias pediam ao computador para dar uma resposta simples de sim ou não. Outras pediam que ele decompusesse a decisão, avaliando cinco partes específicas do desenho de um estudo separadamente: as pessoas envolvidas, a exposição ou tratamento, o grupo de comparação, o desfecho medido e o tipo de estudo. Eles também testaram se fornecer ao computador alguns exemplos de artigos bons e ruins antes de pedir que julgasse novos ajudaria, e se pedir ao computador para explicar seu raciocínio para cada decisão melhoraria sua precisidade. Eles realizaram esses testes tanto em modelos de código aberto, que podem ser executados em computadores locais, quanto em modelos proprietários de grandes empresas de tecnologia, comparando sua velocidade, custo e precisão.

Após afunilar as melhores abordagens, os pesquisadores passaram para uma fase mais rigorosa, testando seus principais candidatos em três revisões sistemáticas do mundo real que já haviam sido concluídas por especialistas humanos. Estas revisões focavam nos efeitos à saúde de campos eletromagnéticos de radiofrequência, um tópico que a equipe de pesquisa conhece bem. Aqui, o trabalho do computador era olhar para os milhares de títulos e resumos das buscas originais e decidir quais os humanos haviam mantido no final. Os resultados foram impressionantes. Os fluxos de trabalho mais bem-sucedidos foram capazes de identificar quase todos os estudos que os humanos incluíram, alcançando uma taxa de sensibilidade superior a 96 por cento. Isso significa que, se houvesse 100 estudos relevantes escondidos em um monte de milhares, o computador encontraria pelo menos 96 deles. Ao mesmo tempo, o sistema foi capaz de identificar e descartar corretamente a vasta maioria dos artigos irrelevantes, reduzindo o número de registros que um humano precisaria ler em mais de 80 por cento.

O estudo também revelou que o tamanho do modelo de computador importava menos do que a maneira como ele era instruído a trabalhar. Os pesquisadores descobriram que a abordagem mais eficaz não era usar os modelos mais amplos e caros disponíveis, mas sim usar modelos menores e mais econômicos que fossem guiados por um método específico. Este método envolvia pedir ao modelo que analisasse as cinco partes fundamentais do desenho de um estudo individualmente e fornecesse uma breve explicação de por que aceitava ou rejeitava cada parte. Este raciocínio passo a passo, combinado com alguns exemplos do que é um estudo bom ou ruim, permitiu que até mesmo os modelos menores e mais baratos performassem com precisão quase humana. Os pesquisadores descobriram que decompor a tarefa em cinco perguntas separadas para o computador responder em paralelo na verdade o tornava menos preciso, sugerindo que o computador funciona melhor quando considera o quadro geral de uma só vez, mesmo que esteja analisando as partes detalhadamente.

Quando a equipe pegou seus fluxos de trabalho de melhor desempenho e os testou em oito revisões sistemáticas completamente diferentes, abrangendo desde pesquisas sobre câncer até o tratamento de artrite, os resultados se mantiveram. O sistema encontrou consistentemente quase todos os estudos relevantes enquanto filtrava o ruído. O custo de executar este processo foi notavelmente baixo, totalizando aproximadamente um dólar americano para cada 1.000 registros triados. Isso sugere que a tecnologia não é apenas uma possibilidade teórica, mas uma ferramenta prática que pode ser usada por equipes de pesquisa com orçamentos limitados. Os pesquisadores observaram que o sistema não é perfeito; às vezes, ele tinha dificuldade com artigos que possuíam pouca informação, como aqueles com apenas um título e sem resumo. Nesses casos, o sistema prudentemente sinalizava o artigo para que um humano o verificasse, garantindo que nada importante fosse perdido.

O estudo conclui que a inteligência artificial pode agora servir como uma parceira altamente confiável no processo científico. Ao utilizar um fluxo de trabalho cuidadosamente desenhado que pede ao computador para pensar através dos critérios passo a passo e explicar suas escolhas, os pesquisadores podem reduzir drasticamente o tempo e o esforço necessários para revisar a literatura. Isso não significa que os humanos sejam obsoletos; pelo contrário, significa que eles podem focar sua energia nos artigos que realmente importam, confiantes de que o computador já realizou a varredura inicial. O trabalho fornece um quadro claro e transparente de como esta tecnologia pode ser usada de forma responsável, oferecendo um caminho a seguir para uma síntese de evidências mais rápida e eficiente em um mundo onde o conhecimento científico cresce mais rápido do que nunca.