Chained Prompting for Better Systematic Review Search Strategies

Resumo Técnico: Prompt em Cadeia para Estratégias de Busca de Revisões Sistemáticas Melhores

Definição do Problema
As revisões sistemáticas (RS) são o pilar da pesquisa baseada em evidências, mas sua validade depende fortemente do rigor da busca bibliográfica (LB) subjacente. As estratégias de busca manuais tradicionais, embora metodologicamente sólidas, são intensivas em recursos, demoradas e suscetíveis à subjetividade. Por outro lado, as abordagens automatizadas e heurísticas existentes frequentemente têm dificuldade com o recall (a capacidade de recuperar todos os estudos relevantes), a menos que sejam fortemente suplementadas por intervenção especializada. As aplicações atuais de Grandes Modelos de Linguagem (LLMs) neste domínio dependem frequentemente de abordagens de prompt único, que geram resultados amplos e imprecisos, ou de métodos de ensemble que exigem a geração e agregação de múltiplas consultas para alcançar um desempenho aceitável. Há uma necessidade de um framework automatizado que replique a lógica estruturada e de múltiplas etapas do design de busca manual, aproveitando as capacidades dos LLMs para garantir alto recall e reprodutibilidade sem extensa intervenção humana.

Metodologia
Os autores propõem um pipeline de engenharia de prompt em cadeia construído sobre o modelo GPT-4o-mini. Diferente dos métodos de prompt único, este framework decompõe a construção da estratégia de busca em quatro estágios sequenciais e interdependentes, espelhando a estrutura procedural das buscas conduzidas manualmente por bibliotecários:

1. Extração de PICO: O modelo decompõe o objetivo da pesquisa (ou título/resumo) em elementos PICO estruturados (População, Intervenção, Comparação, Desfecho/Outcome). Os autores observam que o design de prompt específico para esta etapa produz elementos PICO mais precisos e estruturados do que os métodos de base.
2. Identificação de Conceitos: Os componentes PICO extraídos são expandidos em categorias conceituais precisas e específicas do domínio, esclarecendo o escopo informacional.
3. Geração de Palavras-chave: Para cada conceito identificado, o modelo gera um conjunto abrangente de palavras-chave, incluindo sinônimos, variantes de grafia e terminologias relacionadas para maximizar o espaço de recuperação.
4. Construção de Consulta (Query): Os conceitos e palavras-chave acumulados são integrados em uma estratégia de busca booleana final. O modelo aplica conectores lógicos (AND, OR) e sintaxe de proximidade consistentes com as diretrizes de revisões sistemáticas para formar a consulta executável.

O pipeline foi avaliado usando um subconjunto do dataset LEADSInstruct, composto por 81 revisões sistemáticas de alta qualidade indexadas no PubMed, publicadas entre 2012 e 2016. A avaliação focou principalmente no recall, definido como a proporção de artigos alvo (aqueles incluídos na revisão original) recuperados com sucesso pela estratégia gerada.

Principais Resultados
A avaliação demonstrou que a abordagem de prompting em cadeia supera significamente os métodos existentes:

• Comparação com a Base (Baseline): Uma abordagem de prompting direto usando GPT-4o alcançou um recall médio de apenas 0,10. O modelo LEADS existente alcançou 0,24.
• Desempenho do Pipeline em Cadeia:
  • Quando o pipeline iniciou com elementos PICO fornecidos pelos autores do LEADS, o recall médio foi de 0,62 (subindo para 0,80 ao excluir estratégias com recall < 0,2).
  • Quando utilizando o pipeline completo (incluindo o próprio prompt dos autores para reformular objetivos estruturados a partir de títulos/resumos antes da extração de PICO), o recall médio atingiu 0,87 em todas as 81 revisões.
  • Ao excluir estratégias com recall < 0,2, o pipeline completo alcançou um recall médio de 0,90.
• Ganhos Comparativos: O pipeline completo representa uma melhora relativa de 362% sobre o modelo LEADS (0,24 para 0,87) e um ganho de 8% sobre o método LEADS+ensemble (0,82 para 0,90) sob condições de filtragem comparáveis.
• Distribuição: O pipeline completo resultou em 62 de 81 estratégias alcançando recall perfeito (1,0), com apenas 3 estratégias resultando em recall zero.

Análise de Erros
Uma análise das estratégias com baixo recall (< 0,5) identificou três principais modos de falha:

1. Incompatibilidade de Terminologia: Discrepâncias entre a terminologia médica padrão e a fraseologia específica usada nos artigos (ex: "trabalhadores" vs. "adultos").
2. Ruído no Dataset: Inclusão de revisões não sistemáticas no conjunto de avaliação.
3. Erros de Formulação de Objetivo: Captura de escopo insuficiente ao derivar objetivos apenas de títulos e resumos.
   Crucialmente, os autores descobriram que substituir manualmente os objetivos mal formulados por aqueles derivados de protocolos de revisão sistemática restaurou o recall para 1,0 nesses casos, destacando que o desempenho do pipeline é altamente dependente da precisão do objetivo de entrada.

Significância e Alegações
O artigo afirma que este trabalho demonstra a capacidade de pipelines baseados em LLM para gerar estratégias de busca transparentes, reprodutíveis e de alto desempenho. Ao aderir a uma estrutura de prompting em cadeia, o sistema alcança um recall superior tanto em relação ao prompting direto quanto aos métodos baseados em ensemble, sem exigir a geração de múltiplas consultas ou extensa intervenção humana.

Os autores enfatizam que a qualidade da estratégia de busca está fundamentalmente ligada à qualidade da extração de PICO e da especificação do objetivo. Seus resultados sugerem que a melhoria da engenharia de prompt para estas etapas iniciais cria uma base mais forte para a expansão de palavras-chave e síntese de consulta subsequentes. O framework é apresentado como um instrumento escalável para apoiar a síntese de evidências, potencialmente reduzindo a dependência de expertise manual enquanto mantém o rigor metodológico exigido para revisões sistemáticas de alta qualidade. O trabalho futuro é apontado para estender a abordagem a outras bases de dados bibliográficos e refinar as estratégias de reformulação de consultas.