Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio

Resumo Técnico: Avaliação de Agentes de LLM em Artigos de Metanálise da Nature Portfolio

Definição do Problema
A metanálise é uma forma de síntese de evidências rigorosa e orientada por protocolos que exige recuperação de literatura, seleção de estudos baseada em critérios de elegibilidade estritos (PI/ECO: População, Intervenção/Exposição, Comparação, Desfecho) e agregação estatística. Embora os Modelos de Linguagem de Grande Escala (LLMs) e sistemas de Geração Aumentada por Recuperação (RAG) tenham mostrado promessa em tarefas científicas, os benchmarks existentes falham ao avaliar o pipeline completo da metanálise. Os recursos atuais focam ou na geração de texto final, avaliam estágios isolados ou dependem de rótulos de relevância que não codificam a lógica de exclusão específica exigida pelos protocolos de metanálise. Consequentemente, a capacidade crítica dos sistemas de IA de distinguir estudos elegíveis de "negativos difíceis" (hard negatives) topicamente similares, mas metodologicamente inelegíveis, permanece não mensurada.

Metodologia: O Dataset e Benchmark MetaSyn
Para abordar essa lacuna, os autores introduzem o MetaSyn, um dataset e benchmark derivado de 442 metanálises curadas por especialistas publicadas em periódicos da Nature Portfolio.

• Construção de Dados: O dataset foi destilado de um pool inicial de mais de 34.000 artigos candidatos. Os anotadores verificaram o acesso aberto, confirmaram o status genuíno de metanálise e extraíram listas de verdade fundamental (ground-truth) de estudos incluídos, estratégias de busca, limites de data e critérios PI/ECO.
• Corpus: Cada uma das 442 questões de pesquisa é pareada com um corpus de recuperação de 140.585 artigos do PubMed. Isso inclui:
  • Amostras Positivas (8.674): Estudos de fato incluídos nas metanálises de origem.
  • Negativos Difíceis (131.911): Estudos topicamente similares que falham em pelo menos um critério de elegibilidade PI/ECO (ex: população errada, comparador errado ou desenho de estudo errado).
• Design do Benchmark: O benchmark avalia os sistemas através de três estágios:
  1. Recuperação (Retrieval): Medida pelo Recall@K contra o ground-truth correspondente ao corpus.
  2. Triagem (Screening): Medida pela capacidade do sistema de incluir/excluir corretamente estudos com base nos critérios PI/ECO.
  3. Síntese (Synthesis): Medida pela precisão da direção da conclusão e pela consistência dos insights principais.
  • Métricas: A avaliação utiliza nove métricas atribuídas ao estágio. Quatro são baseadas em ID (Recall de Inclusão, Precisão, F1, Acurácia de Triagem) e não requerem um modelo avaliador. Cinco são dependentes de avaliador (Consistência de Critérios, Acurácia da Direção da Conclusão, Insights, Qualidade de Estrutura), as quais foram validadas contra julgamentos humanos de 8 anotadores.

Configuração Experimental
Os autores testaram 12 configurações de pipeline:

• Variantes RAG: Nove configurações combinando três backbones de LLM (DeepSeek-R1, GLM-5, GPT-5) com três métodos de recuperação (BM25, Dense BGE padrão e MA-Retriever — um modelo BGE ajustado via fine-tuning no MetaSyn).
• Agente Orientado por Protocolo (ProtoMA): Uma implementação de referência usando GPT-5 que segue estritamente o fluxo de trabalho de revisão sistemática (geração de query, triagem sequencial, extração de dados) sem ajuste específico de domínio.

Resultos Principais
Os experimentos revelam um gargalo crítico no estágio de triagem:

1. Teto de Recuperação vs. Realidade da Triagem: Embora o MA-Retriever ajustado alcance um teto de recuperação de 90,9% de Recall@200, nenhum sistema de ponta a ponta recupera mais de 52,7% da literatura incluída de verdade.
2. O Gargalo da Triagem: A lacuna de ~38 pontos entre os estudos recuperáveis e os incluídos ocorre porque os sistemas devem filtrar um pequeno número de verdadeiros positivos (média de 16) de um grande pool de negativos difíceis (média de 184) que são topicamente similares, mas metodologicamente inelegíveis. Os LLMs atuais têm dificuldade em aplicar os critérios PI/ECO de forma confiável neste contexto.
3. Perfis Operacionais Divergentes: Os sistemas não convergem para um único ranking. Em vez disso, exibem perfis distintos:
   • O GLM-5 alcança o maior recall de inclusão (52,7%), mas sofre com menor acurácia de triagem devido a inclusões falsas.
   • O GPT-5 produz relatórios altamente estruturados com forte consistência de critérios, mas mostra sensibilidade à composição do pool, onde a recuperação densa (MA-Retriever) paradoxalmente reduz seu recall de inclusão ao trazer mais distratores metodologicamente similares.
   • O DeepSeek-R1 cita muito poucos estudos por query, limitando sua capacidade de se beneficiar da melhoria na recuperação.
   • O ProtoMA alcança a maior precisão e acurácia de triagem, mas possui menor recall de inclusão e acurácia de direção da conclusão, em parte porque sua adesão estrita ao protocolo leva a conclusões cautelosas que métricas categóricas penalizam.
4. Validação de Métricas: A métrica de Acurácia da Direção da Conclusão (Dir.A) mostrou a maior concordância com os julgamentos humanos ($\rho=+0,82$), apoiando o ranking fino dos sistemas. Outras métricas dependentes de avaliador (Consistência de Critérios, Insights) foram confiáveis para comparações grosseiras, mas menos para rankings finos.

Significância e Alegações
O artigo afirma que o MetaSyn fornece a primeira verdade fundamental (ground truth) verificável e em nível de estágio para o fluxo de trabalho completo da metanálise, distinguindo-se de benchmarks construídos sobre anotação independente. Sua principal contribuição é quantificar o "gargalo da triagem": a dificuldade de separar estudos elegíveis de distratores que falham nos critérios PI/ECO em pools de comparabilidade tópica semelhante.

Os autores argumentam que um único escore agregado obscurece esses modos de falha distintos. Em vez disso, métricas atribuídas ao estágio revelam que os sistemas atuais falham não porque não conseguem recuperar artigos relevantes, mas porque não conseguem executar confiavelmente a lógica de exclusão baseada em critérios que define uma metanálise confiável. O trabalho sugere que melhorias futuras exigem componentes de triagem capazes de aplicar critérios PI/ECO a pools de candidatos semanticamente diversos e recuperadores que explorem pares rotulados por elegibilidade além do fine-tuning padrão. O dataset e o código são disponibilizados para facilitar pesquisas adicionais em automação de síntese de evidências.