Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Resumen Técnico: Validación de un flujo de trabajo de cribado automatizado de dos etapas para revisiones sistemáticas médicas

Planteamiento del problema
Las revisiones sistemáticas (RS) enfrentan un cuello de botella creciente en el cribado de títulos y resúmenes debido a la expansión exponencial de la literatura biomédica. Si bien los Modelos de Lenguaje Extensos (LLM) ofrecen una ruta potencial para la automatización, su validación en este dominio se ve frecuentemente comprometida por métricas inapropiadas. Las medidas estándar como el kappa de Cohen son matemáticamente inestables bajo las distribuciones de clases desequilibradas y de baja prevalencia típicas de las RS. Además, los estudios de validación existentes suelen carecer de una combinación de elementos de diseño críticos: un flujo de trabajo híbrido de dos etapas (reglas + LLM), un esquema de clasificación de tres vías que incluye una clase "incierta" muestreada por separado, muestreo estratificado y el uso de coeficientes de acuerdo robustos ante la prevalencia (PABAK y Gwet's AC1). Asimismo, la validez de las comparaciones suele ser cuestionada cuando el diseñador del flujo de trabajo también actúa como validador humano.

Metodología
Este estudio presenta un estudio de concordancia prospectivo que valida un flujo de trabajo de cribado automatizado de dos etapas frente a tres revisores humanos independientes dentro de un contexto de revisión sistemática médica (Reactividad plaquetaria alta tras el tratamiento, resistencia a la aspirina y placa carotídea).

• Conjunto de datos: 904 registros recuperados de múltiples bases de datos (PubMed, Scopus, Europe PMC, OpenAlex, arXiv).
• Arquitectura del flujo de trabajo:
  • Etapa 1 (Basada en reglas): Un script de Python utilizando heurísticas de palabras clave derivadas de PICO (sin ML/LLM) clasifica los registros en INCLUDE (INCLUIR), EXCLUDE (EXCLUIR) o UNCERTAIN (INCIERTO).
  • Etapa 2 (Adjudicación por LLM): Los registros etiquetados como UNCERTAIN por la Etapa 1 son procesados por DeepSeek V4 Pro (zero-shot, temperatura = 0) mediante un prompt fijo para resolverlos en INCLUDE o EXCLUDE.
• Diseño de validación:
  • Muestreo: Se extrajo una muestra estratificada de 185 registros: 50 de cada uno de los tres estratos de la Etapa 1 (INCLUDE, EXCLUDE, UNCERTAIN) y 35 de la salida del LLM de la Etapa 2.
  • Revisores: Tres médicos juzgaron la muestra de forma independiente y a ciegas de las etiquetas automatizadas:
    1. E.P. (Diseñador del flujo de trabajo, familiarizado con el corpus).
    2. D.C. (Externo al proyecto).
    3. P.P.B. (Externo al proyecto).
  • Métricas: El estudio utilizó sensibilidad, especificidad, PABAK y Gwet's AC1 (con $q=3$) para medir la concordancia. También reportó el Trabajo Ahorrado sobre el Muestreo (WSS) y el Número Necesario de Lectura (NNR) en respuesta a la guía editorial para la evaluación de ML/GenAI en RS. Las etiquetas de mayoría (2 de 3) se computaron como un panel suplementario pero no reemplazaron las tablas pareadas como referencia primaria para la sensibilidad.

Contribuciones clave
El artículo afirma ser el primero en combinar simultáneamente cinco dimensiones metodológicas específicas:

1. Una aplicación en el dominio médico.
2. Un flujo de trabajo híbrido de dos etapas (reglas + LLM).
3. Una clasificación de tres vías con una clase incierta muestreada por separado.
4. Muestreo estratificado con tres revisores humanos independientes.
5. Reporte dual de coeficientes robustos a la prevalencia (PABAK y Gwet's AC1) junto con métricas de carga de trabajo.

El estudio aborda explícitamente la limitación de "diseñador como validador" al incluir dos revisores externos y separar el análisis de la decisión de exclusión primaria de la clasificación fina secundaria de los registros incluidos.

Resultados

• Objetivo primario (Exclusión automática de la Etapa 1): El flujo de trabajo demostró una concordancia casi perfecta con los revisores humanos en la decisión de excluir registros automáticamente.
  • Estrato Etapa 1-EXCLUDE: El flujo de trabajo excluyó 670/904 registros (74.1%).
  • Acuerdo: PABAK y AC1 fueron 1.000 frente a E.P. (48/48) y D.C. (50/50). Frente a P.P.B., el acuerdo fue PABAK = 0.940 / AC1 = 0.959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Acuerdo Humano: El acuerdo inter-humano fue mayor entre los dos lectores externos (PABAK = 0.854) y menor cuando E.P. estuvo involucrado, lo que sugiere un posible efecto de familiaridad, aunque esta no fue una variable medida.
• Objetivo secundario (Clasificación fina/INCLUDE): El flujo de trabajo tuvo un desempeño deficiente en la identificación de registros "INCLUDE".
  • Sensibilidad general: 0.800 frente a E.P., 0.500 frente a D.C., y 0.833 frente a Berti.
  • Falsos negativos: El flujo de trabajo omitió registros identificados por humanos como INCLUDE, particularmente en la Etapa 2. Para los cuatro registros donde la mayoría de los humanos coincidieron en "INCLUDE", la máquina los etiquetó como UNCERTAIN o EXCLUDE (0/4 recuperación).
  • Desempeño de la Etapa 2: La adjudicación por LLM de los 94 registros inciertos resultó en 11 INCLUDE y 83 EXCLUDE, pero la sensibilidad contra las etiquetas humanas siguió siendo baja.
• Métricas de carga de trabajo: El WSS del 74.1% refleja la proporción de registros eliminados por el filtro de la Etapa 1, validada por el estrato muestreado de EXCLUDE.

Significancia y Reivindicaciones
El artículo define modestamente su alcance y significancia:

• Capacidad validada: El estudio valida la decisión de exclusión automática de la Etapa 1 como un método fiable para eliminar aproximadamente el 74% de los registros (los artículos "obviamente fuera de tema") de un flujo de trabajo de revisión sistemática. Tres médicos independientes confirmaron esta porción de exclusión.
• Capacidad no validada: El estudio establece explícitamente que la clasificación fina de los registros INCLUDE no está validada. Los propios humanos mostraron un bajo acuerdo sobre qué registros residuales eran "INCLUDE" (la intersección triple fue de solo un registro), y la máquina no logró recuperar los pocos registros que los humanos acordaron como incluidos.
• Implicación metodológica: Los resultados sugieren que, si bien la automatización puede manejar eficazmente la mayor parte de la tarea de exclusión, la tarea residual de identificar estudios relevantes sigue siendo una tarea humana, basada en la experiencia del dominio. El estudio advierte que los resultados son específicos para este PICO y este flujo de trabajo, y no se generalizan automáticamente a otros temas.
• Recomendación de métricas: Los autores refuerzan la necesidad de utilizar PABAK y Gwet's AC1 en lugar de el kappa de Cohen para la validación del cribado en RS debido a la inestabilidad de la prevalencia.

En conclusión, el artículo establece que un filtro basado en reglas puede descargar con seguridad la mayor parte de la carga de trabajo de cribado en este contexto médico específico, pero no afirma que los LLM puedan reemplazar actualmente el juicio humano para la tarea crítica de identificar estudios relevantes.