Prospective validation of NeutrinoReview for LLM-assisted systematic review screening: an indoor air quality case study

Resumen Técnico: Validación Prospectiva de NeutrinoReview para el Cribado de Revisiones Sistemáticas Asistido por LLM

Planteamiento del Problema
Las revisiones sistemáticas son fundamentales para la síntesis de evidencia, pero el proceso de cribado —específicamente el cribado de título y resumen— impone una carga de trabajo sustancial. Para mitigar el error humano y el sesgo de selección, las directrices estándar recomiendan el cribado independiente por parte de al menos dos revisores. Sin embargo, este requisito de "doble cribado" aumenta significativamente el tiempo y el coste de realizar las revisiones. Aunque los Modelos de Lenguaje Extensos (LLM) ofrecen el potencial de automatizar o prefiltrar este proceso, la evidencia existente es mayoritariamente retrospectiva. Las evaluaciones retrospectivas sufren limitaciones como la posible contaminación de datos (si el modelo fue entrenado con los datos de referencia) y la incapacidad de evitar la optimización post-hoc de prompts o umbrales. Existe una falta de evidencia prospectiva de flujos de trabajo de revisión en vivo que demuestre que el prefiltrado basado en LLM puede reducir la carga de trabajo sin excluir registros que finalmente son considerados relevantes por el consenso humano.

Metodología
Este estudio llevó a cabo una validación prospectiva de NeutrinoReview, un prototipo de investigación de código abierto para el cribado asistido por LLM, en paralelo con una revisión sistemática en curso sobre concentraciones de contaminantes de aire interior medidos en Italia.

• Diseño del Estudio: La evaluación se diseñó como un estudio prospectivo no intervencionista. Los resultados del cribado de NeutrinoReview y el protocolo de evaluación fueron bloqueados y cargados en un repositorio (Zenodo) antes de que el equipo de análisis tuviera disponible la verdad de campo (ground truth) por consenso manual. Este diseño de "salida bloqueada" evita el sesgo y garantiza que la evaluación refleje un comportamiento de cribado genuino en lugar de respuestas optimizadas para etiquetas conocidas.
• Fuente de Datos: La revisión de origen produjo 1.383 registros candidatos desduplicados. El conjunto de datos para el análisis de rendimiento final consistió en 1.344 registros (112 incluidos finalmente, 1.232 excluidos finalmente) basados en el consenso manual de tres revisores humanos.
• Configuración del LLM: El cribado se realizó utilizando un modelo de instrucción LLaMA 3.1-8B autoalojado. Se evaluaron seis configuraciones de cribado distintas:
  1. Variantes de Algoritmo de 5 niveles:
     • MaxSensitivity: Excluyó únicamente la categoría de relevancia más baja (Categoría 5).
     • Balanced: Excluyó las Categorías 4 y 5.
     • Full Automation: Retuvo únicamente las dos categorías superiores (1 y 2) para la revisión humana.
  2. Variantes del Algoritmo CAL-X: Este algoritmo utiliza puntuaciones de verosimilitud de siguiente token (next-token likelihood scores) para retener exclusiones de baja confianza. Se probaron tres umbrales correspondientes a objetivos de sensibilidad calibrados:
     • CAL-95: Umbral 63 (objetivo de sensibilidad del 95%).
     • CAL-98: Umbral 80 (objetivo de sensibilidad del 98%).
     • CAL-99: Umbral 89 (objetivo de sensibilidad del 99%).
• Comparadores: El rendimiento de NeutrinoReview se comparó con:
  • La verdad de campo por consenso manual (estado de inclusión final).
  • Flujos de trabajo de cribado de un solo humano simulados (decisiones de revisores individuales).
  • Flujos de trabajo de doble humano simulados (pares de revisores).
• Métricas: Las métricas primarias incluyeron la Sensibilidad (proporción de registros finalmente incluidos que fueron retenidos) y la Reducción de la Carga de Trabajo (proporción de registros filtrados antes del cribado humano). También se realizaron simulaciones de costes basadas en los tiempos de cribado observados.

Resultados Clave

• Sensibilidad: Las seis configuraciones de NeutrinoReview alcanzaron una sensibilidad del 100% frente a la verdad de campo por consenso manual. Ningún registro que fuera finalmente incluido por los revisores humanos fue excluido por ninguna de las configuraciones del LLM.
• Reducción de la Carga de Trabajo: La reducción de la carga de trabajo varió significativamente según la configuración:
  • CAL-99 (Más conservadora): Redujo la carga de trabajo en un 37,1% (retuvo 846 registros).
  • 5-tier Full Automation (Menos conservadora): Redujo la carga de trabajo en un 74,0% (retuvo 350 registros).
  • Las configuraciones intermedias (CAL-98, CAL-95, 5-tier Balanced, 5-tier MaxSensitivity) lograron reducciones que oscilaron entre el 45,6% y el 66,4%.
• Rendimiento del Comparador Humano:
  • Los flujos de trabajo de un solo humano omitieron entre 5 y 7 registros finalmente incluidos (Sensibilidad: 93,8%–95,5%).
  • Los flujos de trabajo de doble humano omitieron entre 0 y 3 registros finalmente incluidos (Sensibilidad: 97,3%–100,0%).
  • El rendimiento de NeutrinoReview en este caso específico fue comparable o superior al de los flujos de trabajo de doble humano observados en cuanto a registros omitidos.
• Implicaciones de Coste: Las simulaciones indicaron que utilizar NeutrinoReview como paso de prefiltrado podría ahorrar entre CHF 571 y CHF 2.280 (a razón de CHF 100/hora) dependiendo de la configuración y del número de revisores involucrados, principalmente al reducir el número de registros que requieren el cribado manual de título/resumen.

Significancia y Reivindicaciones
El artículo afirma que este estudio proporciona evidencia prospectiva de que el prefiltrado basado en LLM puede reducir la carga de cribado en las revisiones sistemáticas sin comprometer la recuperación de estudios relevantes, al menos dentro del contexto específico de esta revisión y la implementación del modelo.

• Credibilidad de los Hallazgos: Los autores enfatizan que el diseño de "salida bloqueada" refuerza la credibilidad del hallazgo de 100% de sensibilidad, ya que descarta la posibilidad de que el modelo o el análisis fueran ajustados a la verdad de campo conocida.
• Aplicación Práctica: Los autores concluyen que NeutrinoReview es más defendible como un complemento al cribado humano en lugar de un reemplazo. Específicamente, recomiendan la configuración CAL-99 para un uso práctico cauteloso, ya que combina los hallazgos prospectivos con una fuerte evidencia retrospectiva previa de alta sensibilidad.
• Limitaciones y Alcance: El artículo establece explícitamente que estos resultados no deben interpretarse como una validación generalizada en todos los temas, modelos o entornos de revisión. El hecho de que no se omitieran registros en este único caso de estudio no garantiza la seguridad en todos los despliegues futuros. Los autores señalan que el estudio se limitó al cribado de título/resumen y no tuvo en cuenta el cribado de texto completo, la resolución de conflictos o los costes de infraestructura.
• Dirección Futura: Los autores sostienen que es necesario realizar más evaluaciones prospectivas y pruebas de campo en múltiples revisiones y dominios antes de que los LLM puedan considerarse para el reemplazo no supervisado de los cribadores humanos. Hasta que haya evidencia disponible, la herramienta debe utilizarse en flujos de trabajo supervisados o paralelos.