meta-pipe: An LLM-agent pipeline for end-to-end automated systematic review and meta-analysis

Resumo Técnico: meta-pipe

Problema
As revisões sistemáticas e metanálises (RS/MA) são processos que demandam muitos recursos, exigindo tradicionalmente aproximadamente 1.100 horas-pessoa e 67 semanas para serem concluídas. Embora existam diversas ferramentas de automação (ex: Covidence, TrialMind, otto-SR), elas geralmente abordam apenas segmentos específicos do fluxo de trabalho. Uma revisão de escopo de 37 estudos indicou que, embora as abordagens de Modelos de Linguagem de Grande Escala (LLM) cubram 10 das 13 etapas de uma RS, elas "ainda não estão prontas para uso autônomo", carecendo especificamente de desenvolvimento de protocolo, avaliação da certeza da evidência e interpretação. Além disso, nenhuma ferramenta de código aberto existente integra análise estatística, geração de manuscrito e garantia de qualidade em um pipeline unificado de ponta a ponta.

Metodologia
Os autores desenvolveram o meta-pipe, um pipeline modular de 10 estágios de código aberto projetado para orquestrar o fluxo de trabalho completo de RS/MA. A arquitetura do sistema baseia-se em um design "human-in-the-loop" (humano no controle), incorporando cinco pontos de decisão humana obrigatórios para garantir a supervisão em junções críticas (definição de PICO, divergências na triagem, seleção do tipo de análise, avaliação GRADE e interpretação).

O stack técnico integra quatro componentes principais:

1. Orquestração de LLM: Utiliza os modelos Claude da Anthropic. O Claude Opus 4 (com raciocínio estendido) lida com tarefas de raciocínio complexas, como adjudicação de triagem, avaliação de risco de viés e geração de manuscritos. O Claude Haiku 3.5 é empregado para tarefas de alto rendimento e simples, como classificação de título/resumo e validação de dados.
2. Automação e Processamento: Aproximadamente 3.600 linhas de código Python (gerenciadas via uv) lidam com processamento de dados, triagem e extração assistidas por LLM e garantia de qualidade.
3. Análise Estatística: Scripts em R (usando os pacotes meta, metafor, gemtc e netmeta) realizam metanálises de pares e de rede. O pipeline suporta uma abordagem de paradigma duplo para Metanálise de Rede (NMA), executando tanto modelos Bayesianos (MCMC) quanto frequentistas para verificar discordâncias.
4. Renderização de Manuscrito: O Quarto é utilizado para montar e renderizar manuscritos (HTML, DOCX, PDF) diretamente dos arquivos de saída do R, garantindo que os resultados estatísticos não sejam alucinados.

Estágios do Fluxo de Trabalho
O pipeline prossegue através de 10 estágios sequenciais com contratos de dados padronizados (BibTeX, CSV, JSON, Quarto Markdown):

• Estágios 00–02: Entrada de tópico, definição de PICO e busca bibliográfica (padrão PubMed/Scopus).
• Estágios 03–03b: Triagem assistida por LLM usando uma abordagem de confiabilidade teste-reteste (duas passagens independentes com temperatura de 0.3) com um limiar de kappa de Cohen ≥0.60. Um portão humano resolve as divergências.
• Estágios 04–05: Recuperação de texto completo (via API Unpaywall) e extração de dados assistida por LLM com validação automatizada (verificações de intervalo, consistência). O risco de viés é avaliado usando RoB 2 ou ROBINS-I com revisão humana obrigatória.
• Estágio 06: Análise estatística (Pareamento ou NMA).
• Estágios 07–09: Geração automatizada de manuscrito, avaliação GRADE semiautomatizada e garantia de qualidade (validação do checklist PRISMA 2020 e detecção de excessos de afirmação/overclaim).

Principais Contribuições
Como uma descrição de sistema, e não um estudo de validação, o artigo contribui com:

1. Blueprint Arquitetural: Um pipeline de código aberto padronizado cobrindo todos os 10 estágios de RS/MA com contratos de dados e portões de qualidade definidos.
2. Geração Automatizada de Manuscrito: A capacidade única de gerar manuscritos estruturados IMRaD diretamente dos outputs estatísticos, lendo estimativas de efeito de arquivos R para evitar alucinações.
3. Camada de Garantia de Qualidade: Implementação de avaliação GRADE semiautomatizada e um sistema de detecção de "overclaim" automatizado que varre 12 padrões predefinidos de afirmações não suportadas (ex: linguagem causal para dados não randomizados, ignorar heterogeneidade).
4. NMA de Paradigma Duplo: Integração de abordagens Bayesianas e frequentistas para metanálise de rede com verificação automática de discordância.

Resultados
O artigo relata a implementação e o design do sistema, não o desempenho empírico.

• Implementação: O pipeline consiste em 12 módulos de habilidade, 24 scripts Python, 5 scripts R e 74 documentos metodológicos.
• Custo: Os custos teóricos de API são estimados em US$ 15–30 por revisão típica (5–10 estudos), impulsionados principalmente pelo processamento de PDFs de texto completo para extração.
• Capacidades: O sistema demonstra com sucesso a viabilidade técnica da síntese de evidências de ponta a ponta assistida por IA com supervisão humana obrigatória. Oferece quatro capacidades não encontradas em nenhuma ferramenta existente individualmente: geração de manuscrito, GRADE semiautomatizado, detecção de overclaim e NMA de paradigma duplo.

Significância e Alegações
Os autores posicionam modestamente o meta-pipe como uma prova de conceito arquitetural, em vez de uma ferramenta clínica validada.

• Viabilidade: O artigo demonstra que a síntese de evidências assistida por IA de ponta a ponta é arquiteturalmente viável como uma ferramenta de código aberto quando desenhada com supervisão humana obrigatória.
• Complementaridade: O meta-pipe é apresentado como complementar às ferramentas existentes (ex: Covidence, otto-SR), preenchendo lacunas em geração de manuscrito, garantia de qualidade e NMA, em vez de reivindicar superioridade em precisão de triagem ou extração.
• Limitações: Os autores reconhecem explicitamente a falta de dados de validação, a dependência de uma API comercial proprietária (Claude), o uso de confiabilidade teste-reteste em vez de revisão dupla PRISMA 2020 para triagem, e a exclusão de certas bases de dados (CENTRAL, Embase) na configuração padrão.
• Trabalhos Futuros: A validação formal reproduzindo revisões Cochrane publicadas é identificada como o próximo passo essencial antes do uso rotineiro. Os autores convidam grupos independentes para validar o sistema e incentivam o desenvolvimento de padrões de interoperabilidade.