Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Resumo Técnico: Validação de um Pipeline de Triagem Automatizado de Dois Estágios para Revisões Sistemáticas Médicas

Declaração do Problema
As revisões sistemáticas (RS) enfrentam um gargalo crescente na triagem de títulos e resumos devido à expansão exponencial da literatura biomédica. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma rota potencial para a automação, sua validação neste domínio é frequentemente comprometida por métricas inadequadas. Medidas padrão como o kappa de Cohen são matematicamente instáveis sob as distribuições de classe desbalanceadas e de baixa prevalência típicas das RS. Além disso, estudos de validação existentes frequentemente carecem de uma combinação de elementos de design críticos: um pipeline híbrido de dois estágios (regras + LLM), um esquema de classificação de três vias incluindo uma classe "incerta" amostrada separadamente, amostragem estratificada e o uso de coeficientes de concordância robustos à prevalência (PABAK e Gwet's AC1). Adicionalmente, a validade das comparações é frequentemente questionada quando o próprio designer do pipeline atua como validador humano.

Metodologia
Este estudo apresenta um estudo de concordância prospectivo validando um pipeline de triagem automatizado de dois estágios contra três revisores humanos independentes dentro de um contexto de revisão sistemática médica (Reatividade Plaquetária Alta sob tratamento, resistência à aspirina e placa de carótida).

• Conjunto de Dados: 904 registros recuperados de múltiplas bases de dados (PubMed, Scopus, Europe PMC, OpenAlex, arXiv).
• Arquitetura do Pipeline:
  • Estágio 1 (Baseado em Regras): Um script Python usando heurísticas de palavras-chave derivadas de PICO (sem ML/LLM) classifica os registros em INCLUDE (INCLUIR), EXCLUDE (EXCLUIR) ou UNCERTAIN (INCERTO).
  • Estágio 2 (Adjudicação por LLM): Registros rotulados como UNCERTAIN pelo Estágio 1 são processados pelo DeepSeek V4 Pro (zero-shot, temperatura = 0) via um prompt fixo para resolvê-los em INCLUDE ou EXCLUDE.
• Design de Validação:
  • Amostragem: Uma amostra estratificada de 185 registros foi extraída: 50 de cada um dos três estratos do Estágio 1 (INCLUDE, EXCLUDE, UNCERTAIN) e 35 do output do LLM do Estágio 2.
  • Revisores: Três médicos julgaram a amostra de forma independente e cego aos rótulos automatizados:
    1. E.P. (Designer do pipeline, familiarizado com o corpus).
    2. D.C. (Externo ao projeto).
    3. P.P.B. (Externo ao projeto).
  • Métricas: O estudo utilizou sensibilidade, especificidade, PABAK e Gwet's AC1 (com $q=3$) para medir a concordância. Também relatou Trabalho Salvo sobre Amostragem (WSS) e Número Necessário para Ler (NNR) em resposta às diretrizes editoriais para avaliação de ML/GenAI em RS. Os rótulos de maioria (2 de 3) foram computados como um painel suplementar, mas não substituíram as tabelas pareadas como referência primária para sensibilidade.
• Contribuições Principais:
  O artigo afirma ser o primeiro estudo a combinar simultaneamente cinco dimensões metodológicas específicas:

1. Uma aplicação no domínio médico.
2. Um pipeline híbrido de dois estágios (regras + LLM).
3. Uma classificação de três vias com uma classe incerta amostrada separadamente.
4. Amostragem estratificada com três revisores humanos independentes.
5. Relato duplo de coeficientes robustos à prevalência (PABAK e Gwet's AC1) juntamente com métricas de carga de trabalho.

O estudo aborda explicitamente a limitação "designer-como-validador" ao incluir dois revisores externos e separar a análise da decisão primária de exclusão da classificação fina secundária dos registros incluídos.

Resultados

• Alvo Primário (Exclusão Automática do Estágio 1): O pipeline demonstrou concordância quase perfeita com os revisores humanos na decisão de excluir registros automaticamente.
  • Estrato Estágio 1-EXCLUDE: O pipeline excluiu 670/904 registros (74,1%).
  • Concordância: PABAK e AC1 foram 1,000 versus E.P. (48/48) e D.C. (50/50). Versus P.P.B., a concordância foi PABAK = 0,940 / AC1 = 0,959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Concordância Humana: A concordância inter-humana foi maior entre os dois leitores externos (PABAK = 0,854) e menor quando E.P. estava envolvido, sugerindo um potencial efeito de familiaridade, embora esta não tenha sido uma variável medida.
• Alvo Secundário (Classificação Fina/INCLUDE): O pipeline teve um desempenho insatisfatório na identificação de registros "INCLUDE".
  • Sensibilidade Geral: 0,800 vs. E.P., 0,500 vs. D.C., e 0,833 vs. Berti.
  • Falsos Negativos: O pipeline perdeu registros identificados por humanos como INCLUDE, particularmente no Estágio 2. Para os quatro registros onde a maioria dos humanos concordou em "INCLUDE", a máquina os rotulou como UNCERTAIN ou EXCLUDE (0/4 de recuperação).
  • Desempenho do Estágio 2: A adjudicação do LLM dos 94 registros incertos resultou em 11 INCLUDE e 83 EXCLUDE, mas a sensibilidade contra os rótulos humanos permaneceu baixa.
• Métricas de Carga de Trabalho: O WSS de 74,1% reflete a proporção de registros removidos pelo filtro do Estágio 1, validada pelo estrato amostrado de EXCLUDE.

Significância e Alegações
O artigo define modestamente seu escopo e significância:

• Capacidade Validada: O estudo valida a decisão de exclusão automática do Estágio 1 como um método confiável para remover aproximadamente 74% dos registros (os artigos "obviamente fora de tópico") de um fluxo de trabalho de revisão sistemática. Três médicos independentes confirmaram essa fatia de exclusão.
• Capacidade Não Validada: O estudo afirma explicitamente que a classificação fina de registros INCLUDE não é validada. Os próprios humanos mostraram baixa concordância sobre quais registros residuais eram "INCLUDE" (a interseção tripla foi de apenas um registro), e a máquina falhou em recuperar os poucos registros que os humanos concordaram serem incluídos.
• Implicação Metodológica: Os resultados sugerem que, embora a automação possa lidar eficazmente com a maior parte da tarefa de exclusão, a tarefa residual de identificar estudos relevantes permanece uma tarefa humana, baseada em experiência de domínio. O estudo alerta que os resultados são específicos para este PICO e pipeline e não se generalizam automaticamente para outros tópicos.
• Recomendação de Métricas: Os autores reforçam a necessidade de usar PABAK e Gwet's AC1 em vez de kappa de Cohen para a validação de triagem de RS devido à instabilidade da prevalência.

Em conclusão, o artigo estabelece que um filtro baseado em regras pode desonerar com segurança a maior parte da carga de trabalho de triagem neste contexto médico específico, mas não alega que os LLMs possam atualmente substituir o julgamento humano para a tarefa crítica de identificar estudos relevantes.