AISysRev -- LLM-based Tool for Title-abstract Screening

Resumen Técnico de AISysRev: Herramienta Basada en LLM para la Selección de Títulos y Resúmenes

1. El Problema

La realización de revisiones sistemáticas (RS) en ingeniería de software y otras disciplinas es un proceso extremadamente laborioso, que puede tardar un promedio de 67 semanas. La fase más crítica y abrumadora es la selección de títulos y resúmenes, donde los investigadores deben evaluar miles de artículos (a veces más de 25,000) contra criterios de inclusión y exclusión detallados.
Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado potencial para automatizar esta tarea, las herramientas existentes presentan limitaciones significativas:

• Herramientas de código abierto (ej. ASReview, AIReview): Suelen tener soporte limitado para múltiples proveedores de LLM, documentación insuficiente o mantenimiento inactivo.
• Herramientas comerciales (ej. Elicit, Rayyan): Son de código cerrado, lo que limita la transparencia sobre los modelos subyacentes, parámetros y técnicas de prompting utilizadas. Además, tienden a ofrecer soporte integral de extremo a extremo donde pequeños errores del LLM pueden acumularse, comprometiendo la calidad científica.
• Necesidad de velocidad: En entornos industriales y revisiones rápidas (Rapid reviews), incluso tres meses se consideran lentos, exigiendo soluciones que aceleren el proceso sin sacrificar la precisión.

2. Metodología y Arquitectura de AISysRev

AISysRev es una aplicación web contenerizada de código abierto diseñada para apoyar la selección de artículos mediante un enfoque "humano en el bucle". No busca reemplazar al revisor humano, sino reducir su carga de trabajo.

Arquitectura Técnica:

• Backend: Desarrollado en Python, aprovechando su soporte para programación asíncrona (asyncio) y la integración con SDKs de LLM a través de Pydantic AI. Esto permite la corrección automática de errores en respuestas estructuradas y la paralelización de llamadas.
• Frontend: Basado en React.js, proporcionando una interfaz gráfica de usuario (GUI) accesible y centrada en la usabilidad.
• Servidor de Trabajadores: Un servidor Python dedicado que gestiona las llamadas específicas a los LLM.
• Infraestructura: Utiliza PostgreSQL para persistencia de datos, Redis para caché en memoria (optimizando I/O intensivo) y MinIO (compatible con S3) para almacenamiento de objetos. Todo el sistema se ejecuta en contenedores Docker, permitiendo escalabilidad independiente de los componentes.

Flujo de Trabajo y Características Clave:

1. Entrada de Datos: Acepta archivos CSV con títulos y resúmenes extraídos de bases de datos bibliográficas (Scopus, PubMed, etc.).
2. Configuración de Proveedores: Soporta múltiples proveedores de LLM a través de OpenRouter (OpenAI, Google, Anthropic, Mistral, etc.), así como modelos alojados localmente compatibles con el SDK de OpenAI.
3. Técnicas de Prompting:
   • Zero-shot (ZS): El LLM evalúa los artículos basándose únicamente en los criterios definidos.
   • Few-shot (FS): Permite al usuario seleccionar ejemplos previos (incluidos/excluidos) para guiar al modelo, mejorando el rendimiento.
4. Vistas de Screening:
   • Screening Individual: Muestra las recomendaciones de múltiples LLMs junto con la decisión humana.
   • Screening por Probabilidad: Ordena los artículos según la probabilidad de inclusión (calculada promediando múltiples LLMs), ideal para revisiones rápidas donde se prioriza la evidencia superior.
5. Salida y Análisis: Exporta resultados a CSV con metadatos, decisiones binarias, escalas ordinales (Likert) y valores de probabilidad, facilitando el análisis estadístico posterior.

3. Contribuciones Clave

• Transparencia y Flexibilidad: A diferencia de las herramientas comerciales, AISysRev es de código abierto, permitiendo a los investigadores inspeccionar y modificar prompts, parámetros (temperatura, top_p) y modelos.
• Escalabilidad y Paralelización: La arquitectura asíncrona permite procesar entre 100 y 300 artículos por minuto, dependiendo del modelo y el host.
• Diseño "Humano en el Bucle": Implementa dos vistas principales que permiten al humano tomar la decisión final, utilizando al LLM como guía para reducir la carga cognitiva, especialmente en casos ambiguos.
• Soporte Multi-Proveedor: Unifica el acceso a modelos de diferentes proveedores (nube y local) bajo una misma interfaz.

4. Resultados del Estudio Piloto

Los autores realizaron una prueba cualitativa utilizando 137 artículos de una revisión sistemática previa sobre "presión de tiempo en ingeniería de software". Se utilizaron tres modelos: Google Gemini 2.5 Flash, Mistral Small 3.2-23B y OpenAI GPT-4.1 Mini.

El estudio clasificó los artículos en cuatro categorías, revelando patrones importantes:

1. Inclusiones Fáciles (n=6): Artículos donde la presión de tiempo es explícita. Los LLMs los identificaron con alta precisión.
2. Exclusiones Claras (n=107): Artículos fuera del contexto (ej. medicina, aviación). Tanto humanos como LLMs los excluyeron correctamente.
3. Inclusiones Límite (n=7): Artículos en contexto de ingeniería de software pero con ambigüedad sobre la evidencia empírica de presión de tiempo. Aquí los LLMs fallaron frecuentemente, excluyendo artículos que debían ser revisados en texto completo.
4. Exclusiones Límite (n=17): Artículos relacionados con ingeniería de software donde la presión de tiempo se menciona solo como contexto o motivación, sin aportar evidencia empírica. Los LLMs tendieron a clasificarlos erróneamente como relevantes, confundiendo la mención del tema con la evidencia del mismo.

Conclusión de los resultados: Los LLMs son excelentes para filtrar los casos extremos (Inclusiones/Exclusiones Fáciles), pero fallan sistemáticamente en los casos "Límite", donde la distinción requiere un juicio humano profundo sobre la naturaleza de la evidencia.

5. Significado e Impacto

AISysRev representa un avance significativo en la infraestructura de investigación para revisiones sistemáticas:

• Reducción de Carga: Permite a los investigadores procesar grandes volúmenes de literatura rápidamente, filtrando el "ruido" (exclusiones fáciles) y priorizando los casos complejos para revisión humana.
• Validación de la Interacción Humano-IA: Confirma que, aunque los LLMs no reemplazan el juicio humano en revisiones sistemáticas, son herramientas poderosas para reducir la carga de trabajo cuando se utilizan en un flujo de trabajo híbrido.
• Reproducibilidad y Estándar: Al ser de código abierto y permitir la exportación de datos detallados, fomenta la transparencia metodológica y la comparación justa entre diferentes modelos y estrategias de prompting.
• Futuro: El equipo planea expandir la herramienta para incluir generación de estrategias de búsqueda, screening de texto completo y extracción de datos, además de realizar estudios comparativos con asistentes comerciales.

En resumen, AISysRev es una herramienta robusta que equilibra la velocidad de la automatización con la precisión del juicio humano, abordando los cuellos de botella tradicionales en la síntesis de evidencia científica.