Prospective validation of NeutrinoReview for LLM-assisted systematic review screening: an indoor air quality case study

Resumo Técnico: Validação Prospectiva do NeutrinoReview para Triagem de Revisões Sistemáticas Assistida por LLM

Definição do Problema
As revisões sistemáticas são críticas para sintetizar evidências, mas o processo de triagem — especificamente a triagem de título e resumo — impõe uma carga de trabalho substancial. Para mitigar o erro humano e o viés de seleção, as diretrizes padrão recomendam a triagem independente por pelo menos dois revisores. No entanto, esse requisito de "dupla triagem" aumenta significativamente o tempo e o custo de realização das revisões. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para automatizar ou pré-filtrar esse processo, as evidências existentes são amplamente retrospectivas. Avaliações retrospectivas sofrem com limitações, como o potencial de contaminação de dados (se o modelo foi treinado nos dados de referência) e a incapacidade de evitar a otimização post-hoc de prompts ou limiares (thresholds). Há uma carência de evidências prospectivas de fluxos de trabalho de revisão em tempo real demonstrando que a pré-filtragem baseada em LLM pode reduzir a carga de trabalho sem excluir registros que são, em última análise, considerados relevantes pelo consenso humano.

Metodologia
Este estudo realizou uma validação prospectiva do NeutrinoReview, um protótipo de pesquisa de código aberto para triagem assistida por LLM, em paralelo com uma revisão sistemática em andamento sobre concentrações de poluentes do ar interno medidas na Itália.

• Design do Estudo: A avaliação foi desenhada como um estudo não intervencionista e prospectivo. Os resultados da triagem do NeutrinoReview e o protocolo de avaliação foram travados e carregados em um repositório (Zenodo) antes que o ground truth (verdade fundamental) de consenso manual estivesse disponível para a equipe de análise. Este design de "saída travada" (locked-output) evita o viés e garante que a avaliação reflita o comportamento real de triagem, em vez de respostas otimizadas para rótulos conhecidos.
• Fonte de Dados: A revisão de origem gerou 1.383 registros candidatos desduplicados. O conjunto de dados de análise de desempenho final consistiu em 1.344 registros (112 incluídos finalmente, 1.232 excluídos finalmente) com base no consenso manual de três revisores humanos.
• Configuração do LLM: A triagem foi realizada utilizando um modelo de instrução LLaMA 3.1-8B auto-hospedado. Seis configurações distintas de triagem foram avaliadas:
  1. Variantes de Algoritmo de 5 Níveis:
     • MaxSensitivity: Excluiu apenas a categoria de relevância mais baixa (Categoria 5).
     • Balanced: Excluiu as Categorias 4 e 5.
     • Full Automation: Retém apenas as duas categorias superiores (1 e 2) para revisão humana.
  2. Variantes de Algoritmo CAL-X: Este algoritmo utiliza pontuações de verossimilhança de próximo token para reter exclusões de baixa confiança. Três limiares foram testados correspondendo a alvos de sensibilidade calibrada:
     • CAL-95: Limiar 63 (alvo de sensibilidade de 95%).
     • CAL-98: Limiar 80 (alvo de sensibilidade de 98%).
     • CAL-99: Limiar 89 (alvo de sensibilidade de 99%).
• Comparadores: O desempenho do NeutrinoReview foi comparado com:
  • O ground truth de consenso manual (status de inclusão final).
  • Fluxos de trabalho de triagem de um único humano simulados (decisões de revisores individuais).
  • Fluxos de trabalho de dupla triagem humana simulados (pares de revisores).
• Métricas: As métricas primárias incluíram Sensibilidade (proporção de registros finalmente incluídos que foram retidos) e Redução de Carga de Trabalho (proporção de registros filtrados antes da triagem humana). Simulações de custo também foram realizadas com base no tempo de triagem observado.

Principais Resultados

• Sensibilidade: Todas as seis configurações do NeutrinoReview atingiram 100% de sensibilidade contra o ground truth de consenso manual. Nenhum registro que foi finalmente incluído pelos revisores humanos foi excluído por qualquer uma das configurações de LLM.
• Redução de Carga de Trabalho: A redução da carga de trabalho variou significamente conforme a configuração:
  • CAL-99 (Mais Conservadora): Reduziu a carga de trabalho em 37,1% (reteve 846 registros).
  • 5-tier Full Automation (Menos Conservadora): Reduziu a carga de trabalho em 74,0% (reteve 350 registros).
  • Configurações intermediárias (CAL-98, CAL-95, 5-tier Balanced, 5-tier MaxSensitivity) alcançaram reduções variando entre 45,6% e 66,4%.
• Desempenho do Comparador Humano:
  • Fluxos de trabalho de um único humano perderam entre 5 e 7 registros finalmente incluídos (Sensibilidade: 93,8%–95,5%).
  • Fluxos de trabalho de dupla triagem humana perderam entre 0 e 3 registros finalmente incluídos (Sensibilidade: 97,3%–100,0%).
  • O desempenho do NeutrinoReview neste caso específico foi comparável ou superior aos fluxos de trabalho de dupla triagem humana observados em relação aos registros perdidos.
• Implicações de Custo: As simulações indicaram que usar o NeutroReview como uma etapa de pré-filtragem poderia economizar entre CHF 571 e CHF 2.280 (a CHF 100/hora), dependendo da configuração e do número de triadores envolvidos, principalmente ao reduzir o número de registros que exigem triagem manual de título/resumo.

Significância e Alegações
O artigo afirma que este estudo fornece evidência prospectiva de que a pré-filtragem baseada em LLM pode reduzir o ônus da triagem em revisões sistemáticas sem comprometer a recuperação de estudos relevantes, pelo menos dentro do contexto específico desta revisão e implementação de modelo.

• Credibilidade dos Achados: Os autores enfatizam que o design de "saída travada" fortalece a credibilidade do achado de 100% de sensibilidade, pois descarta a possibilidade de o modelo ou a análise terem sido ajustados para o ground truth conhecido.
• Aplicação Prática: Os autores concluem que o NeutrinoReview é mais defensável como um adjunto à triagem humana do que como um substituto. Especificamente, eles recomendam a configuração CAL-99 para uso prático cauteloso, pois combina os achados prospectivos com evidências retrospectivas prévias mais fortes de alta sensibilidade.
• Limitações e Escopo: O artigo declara explicitamente que estes resultados não devem ser interpretados como uma validação geral para todos os tópicos, modelos ou configurações de revisão. O zero registro perdido neste estudo de caso único não garante segurança em todas as implementações futuras. Os autores observam que o estudo se limitou à triagem de título/resumo e não contabilizou a triagem de texto completo, resolução de conflitos ou custos de infraestrutura.
• Direção Futura: Os autores afirmam que novas avaliações prospectivas e testes de campo em múltiplas revisões e domínios são necessários antes que os LLMs possam ser considerados para a substituição não supervisionada de triadores humanos. Até que tal evidência esteja disponível, a ferramenta deve ser usada em fluxos de trabalho supervisionados ou paralelos.