meta-pipe: An LLM-agent pipeline for end-to-end automated systematic review and meta-analysis

Resumen Técnico: meta-pipe

Planteamiento del Problema
Las revisiones sistemáticas y los metaanálisis (RS/MA) son procesos que requieren una gran cantidad de recursos, requiriendo tradicionalmente aproximadamente 1.100 horas-persona y 67 semanas para completarse. Aunque existen diversas herramientas de automatización (p. ej., Covidence, TrialMind, otto-SR), estas suelen abordar solo segmentos específicos del flujo de trabajo. Una revisión de alcance de 37 estudios indicó que, si bien los enfoques de Modelos de Lenguaje de Gran Escala (LLM) cubren 10 de los 13 pasos de una RS, "aún no están listos para un uso independiente", careciendo específicamente de desarrollo de protocolos, evaluación de la certeza de la evidencia e interpretación. Además, ninguna herramienta de código abierto existente integra el análisis estadístico, la generación de manuscritos y el control de calidad en un flujo de trabajo unificado y de extremo a extremo.

Metodología
Los autores desarrollaron meta-pipe, un flujo de trabajo modular de 10 etapas, de código abierto, diseñado para orquestar el proceso completo de RS/MA. La arquitectura del sistema se basa en un diseño de "humano en el bucle" (human-in-the-loop), integrando cinco puntos de decisión humana obligatorios para garantizar la supervisión en coyunturas críticas (definición de PICO, desacuerdos en el cribado, selección del tipo de análisis, evaluación de GRADE e interpretación).

El stack técnico integra cuatro componentes principales:

1. Orquestación de LLM: Utiliza los modelos Claude de Anthropic. Claude Opus 4 (con pensamiento extendido) gestiona tareas de razonamiento complejo como la adjudicación de cribado, la evaluación del riesgo de sesgo y la generación de manuscritos. Claude Haiku 3.5 se emplea para tareas de alto rendimiento y sencillas, como la clasificación de títulos/resúmenes y la validación de datos.
2. Automatización y Procesamiento: Aproximadamente 3.600 líneas de código Python (gestionadas mediante uv) se encargan del procesamiento de datos, el cribado asistido por LLM/extracción y el control de calidad.
3. Análisis Estadístico: Scripts de R (utilizando los paquetes meta, metafor, gemtc y netmeta) realizan metaanálisis de pares y de red. El flujo de trabajo admite un enfoque de doble paradigma para el Metaanálisis de Red (NMA), ejecutando tanto modelos bayesianos (MCMC) como frecuentistas para comprobar la discordancia.
4. Renderizado de Manuscritos: Se utiliza Quarto para ensamblar y renderizar manuscritos (HTML, DOCX, PDF) directamente desde los archivos de salida de R, garantizando que los resultados estadísticos no sean alucinaciones.

Etapas del Flujo de Trabajo
El flujo de trabajo procede a través de 10 etapas secuenciales con contratos de datos estandarizados (BibTeX, CSV, JSON, Quarto Markdown):

• Etapas 00–02: Recepción del tema, definición de PICO y búsqueda bibliográfica (PubMed/Scopus por defecto).
• Etapas 03–03b: Cribado asistido por LLM utilizando un enfoque de fiabilidad de test-retest (dos pasadas independientes con temperatura 0.3) con un umbral de kappa de Cohen ≥0.60. Un humano actúa como puerta de enlace para resolver desacuerdos.
• Etapas 04–05: Recuperación de texto completo (vía API Unpaywall) y extracción de datos asistida por LLM con validación automatizada (comprobaciones de rango, consistencia). El riesgo de sesgo se evalúa mediante RoB 2 o ROBINS-I con revisión humana obligatoria.
• Etapa 06: Análisis estadístico (Parejas o NMA).
• Etapas 07–09: Generación automatizada de manuscritos, evaluación de GRADE semiautomatizada y control de calidad (validación de la lista de verificación PRISMA 2020 y detección de declaraciones excesivas).

Contribuciones Clave
Como descripción de un sistema y no como un estudio de validación, el artículo contribuye con:

1. Plano Arquitectónico: Un flujo de trabajo de código abierto estandarizado que cubre las 10 etapas de RS/MA con contratos de datos definidos y puertas de calidad.
2. Generación Automatizada de Manuscritos: La capacidad única de generar manuscritos estructurados IMRaD directamente desde los resultados estadísticos, leyendo las estimaciones de efecto de los archivos R para evitar alucinaciones.
3. Capa de Control de Calidad: Implementación de una evaluación de GRADE semiautomatizada y un sistema de "detección de declaraciones excesivas" que escanea 12 patrones predefinidos de afirmaciones no respaldadas (p. ej., lenguaje causal para datos no randomizados, ignorar la heterogeneidad).
4. NMA de Doble Paradigma: Integración de enfoques tanto bayesianos como frecuentistas para el metaanálisis de red con comprobación automática de discordancia.

Result Resultados
El artículo informa sobre la implementación y el diseño del sistema, no sobre su validación empírica.

• Implementación: El flujo de trabajo consta de 12 módulos de habilidades, 24 scripts de Python, 5 scripts de R y 74 documentos metodológicos.
• Coste: Los costes teóricos de la API se estiman entre $15 y$30 por una revisión típica (5–10 estudios), impulsados principalmente por el procesamiento de PDFs de texto completo para la extracción.
• Capacidades: El sistema demuestra con éxito la viabilidad técnica de la síntesis de evidencia de extremo a extremo asistida por IA con supervisión humana obligatoria. Ofrece cuatro capacidades que no se encuentran en ninguna herramienta existente individual: generación de manuscritos, GRADE semiautomatizado, detección de declaraciones excesivas y NMA de doble paradigma.

Significación y Reivindicaciones
Los autores posicionan modestamente a meta-pipe como una prueba de concepto arquitectónica en lugar de una herramienta clínica validada.

• Viabilidad: El artículo demuestra que la síntesis de evidencia asistida por IA de extremo a extremo es arquitectónicamente viable como una herramienta de código abierto cuando se diseña con supervisión humana obligatoria.
• Complementariedad: meta-pipe se presenta como complementario a las herramientas existentes (p. ej., Covidence, otto-SR), llenando los vacíos en la generación de manuscritos, el control de calidad y el NMA, en lugar de pretender una superioridad en la precisión del cribado o la extracción.
• Limitaciones: Los autores reconocen explícitamente la falta de datos de validación, la dependencia de una API comercial propietaria (Claude), el uso de fiabilidad de test-retest en lugar de la revisión dual de PRISMA 2020 para el cribado, y la exclusión de ciertas bases de datos (CENTRAL, Embase) en la configuración por defecto.
• Trabajo Futuro: La validación formal de las revisiones Cochrane publicadas se identifica como el siguiente paso esencial antes del uso rutinario. Los autores invitan a grupos independientes a validar el sistema y fomentan el desarrollo de estándares de interoperabilidad.