Can a Large Language Model Serve as the Missing Second Reviewer? Prominence Bias, Retrieval Effects, and a Confidence-Fabrication Gap in an Empirical Evaluation of Two Published Meta-Analyses

Resumo Técnico: Pode um Modelo de Linguagem de Grande Escala Servir como o Segundo Revisor Ausente?

Definição do Problema
Revisões sistemáticas (RS) e metanálises (MA) de autor único são prevalentes na literatura biomédica, apesar de orientações metodológicas (ex: o Cochrane Handbook) desencorajarem a autoria única devido aos riscos de estudos perdidos, erros de transcrição e viés de seleção. A mitigação padrão é a triagem e extração independente por um segundo revisor humano. Modelos de Linguagem de Grande Escala (LLMs) têm sido propostos como um mecanismo para fornecer este "segundo revisor ausente" sem a necessidade de um segundo colaborador humano. No entanto, estudos de validação existentes são limitados por amostras pequenas (4–26 revisões), testes de condição única e uma falta de caracterização mecanística sobre como os LLMs têm sucesso ou falham nessas tarefas específicas.

Metodologia
Este estudo apresenta uma avaliação empírica de um LLM de geração atual, disponível publicamente (Claude, Anthropic), atuando como um segundo revisor através de dois designs de tarefas distintos, testados em duas metanálises publicadas, selecionadas por separação tópica e temporal:

1. Design B (Verificação de Extração do Segundo Revisor): O modelo recebeu uma lista conhecida de nove Ensaios Clínicos Randomizados (RCTs) de uma metanálise de metformina e câncer. A tarefa foi extrair independentemente as medidas de desfecho, tamanhos de efeito e intervalos de confiança, sinalizar preocupações com a qualidade dos dados e calcular uma estimativa combinada. O modelo foi testado em 8 execuções independentes usando duas iterações de esquema de prompt (v1 e v2), sendo que a última adicionou campos estruturados para "sourcing_basis" (base de origem) e "data_quality_flag" (sinalizador de qualidade de dados).
2. Design A (Replicação Autônoma): O modelo recebeu apenas uma questão de pesquisa PICO e uma data de corte de literatura para uma metanálise de PCI multivessel versus apenas da lesão culpada. A tarefa foi identificar independentemente os estudos incluídos, extrair dados e sintetizar uma conclusão. Este design foi testado em duas condições:
   • Sem Recuperação (Without Retrieval): 3 execuções baseadas exclusivamente no conhecimento paramétrico de treinamento.
   • Com Recuperação (With Retrieval): 5 execuções instruídas explicitamente a usar ferramentas de busca na web, com registro de log de consultas (verbatim query logging) e divulgação do uso de busca.

Todos os outputs do modelo foram verificados independentemente pelo autor contra as fontes primárias (relatórios originais dos ensaios) para distinguir erros genuínos de fabricações do modelo.

Principais Resultados

• Detecção de Erros e Fabricação (Design B):

  • O modelo identificou consistentemente uma anomalia interna na metanálise de origem: um hazard ratio e intervalo de confiança duplicados reportados para dois desfechos distintos em um ensaio.
  • Em 8 execuções, o modelo sinalizou quatro discrepâncias adicionais confirmadas como erros reais na metanálise publicada (ex: erros de transcrição de tamanho de amostra, inconsistências de cegamento, incompatibilidades de tamanho de efeito) que haviam sido perdidas pela equipe de revisão humana de duas pessoas original.
  • Crucialmente, o modelo também produziu uma fabricação confirmada: uma inconsistência numérica interna inventada para um ensaio que não existia na fonte.
  • Lacuna de Confiança: A linguagem de confiança do modelo e seu "sourcing_basis" auto-relatado não distinguiram de forma confiável entre capturas genuínas e fabricações. Uma fabricação foi entregue com a mesma rotulagem estruturada e tom das descobertas genuínas.

• Identificação de Estudos e Recuperação (Design A):

  • Sem Recuperação: A média de recall dos ensaios realmente incluídos foi de 55,6%. Um claro viés de proeminência foi observado: o modelo identificou corretamente ensaios proeminentes e referenciados em diretrizes, mas perdeu sistematicamente ensaios menores, mais antigos ou de escopo mais estreito.
  • Com Recuperação: A média de recall melhorou significamente para 87,5%. No entanto, a recuperação não eliminou os erros de precisão: o modelo frequentemente confundiu estudos, importando ensaios topicamente relacionados que não faziam parte da lista de referências do artigo específico (conflação entre artigos).
  • Falha de Síntese: Em nenhuma das condições (com ou sem recuperação), o modelo alcançou a poolagem quantitativa independente. As execuções ou citaram estimativas combinadas existentes de outras metanálises ou calcularam pools parciais de um subconjunto de estudos, sinalizando explicitamente o restante como não poolado devido à heterogeneidade ou dados faltantes.

Principais Contribuições

1. Caracterização Mecanística: O estudo vai além das métricas de acurácia agregada para caracterizar modos de falha específicos: a tendência de fabricar inconsistências com alta confiança, o "viés de proeminência" na identificação autônoma de estudos e a incapacidade das ferramentas de recuperação de resolver a precisão de inclusão específica do artigo.
2. Validação da Utilidade Suplementar: Os resultados demonstram que um LLM pode detectar erros reais, independentemente verificáveis, que uma equipe de revisão humana de duas pessoas perdeu, sugerindo valor como uma verificação suplementar, em vez de um substituto.
3. Melhorias de Esquema e Protocolo: O estudo destaca a necessidade de campos de divulgação estruturada (ex: "sourcing_basis") e a insuficiência da confiança auto-relatada. Estabelece que a recuperação melhora o recall, mas não resolve a verificação de proveniência ou a computação independente.

Significância e Alegações
O artigo conclui modestamente que a revisão assistida por LLM é complementar, não superior, à verificação humana.

• Apoio ao Enquadramento Complementar: Os dados apoiam o uso de LLMs para evidenciar erros reais e melhorar o recall de identificação de estudos, particularmente quando equipados com ferramentas de recuperação e requisitos de divulgação estruturada.
• Rejeição da Substituição: Os achados não apoiam o uso de LLMs como substitutos para a verificação humana. A presença de fabricações confiantes e as persistentes limitações de precisão/síntese significam que todo output de LLM ainda requer verificação independente — o mesmo requisito que motiva a revisão humana dupla em primeiro lugar.
• Princípios de Design: O estudo propõe três princípios de design para implantação responsável: (1) campos obrigatórios de sourcing estruturado e de divulgação de qualidade de dados; (2) condições padrão habilitadas para recuperação com texto da fonte primária fornecido para extração; e (3) pontuação de efeitos combinados por desfecho, em vez de depender de uma única estimativa colapsada.

Os autores observam limitações, incluindo a escala reduzida (duas metanálises), o uso de entradas de apenas citações (em vez de texto da fonte primária) no Design B, e a verificação por autor único, enquadrando estes achados como uma contribuição isolada destinada a informar futuras avaliações de maior escala.