An Agentic Approach Towards Replication Package Quality Evaluation

Resumen Técnico: Un Enfoque Agéntico hacia la Evaluación de la Calidad de los Paquetes de Replicación

Planteamiento del Problema
La reproducibilidad en la ingeniería de software empírica depende de la disponibilidad y la calidad de los artefactos de investigación (código fuente, conjuntos de datos, scripts, etc.). Sin embargo, la evaluación de estos paquetes de replicación sigue siendo un proceso mayoritariamente manual, lento y no escalable. Las directrices y listas de verificación existentes (por ejemplo, de conferencias como ICSE u OSDI) definen qué se debe reportar, pero ofrecen un apoyo limitado para evaluar automáticamente tipos de artefactos heterogéneos frente a estos criterios. En consecuencia, los revisores enfrentan una carga de trabajo sustancial y las evaluaciones de reproducibilidad a gran escala se ven obstaculizadas por una profundidad de evaluación inconsistente y la falta de procedimientos estandarizados y verificables por máquina.

Metodología
Los autores proponen un enfoque agéntico para operacionalizar las directrices de ciencia abierta en criterios verificables por máquina para la evaluación automatizada de artefactos. La metodología se estructura en torno a tres preguntas de investigación (RQ) relativas a la evaluación del potencial de reproducibilidad, la identificación de fortalezas/limitaciones y la utilidad percibida por los stakeholders.

1. Operacionalización de Criterios: El equipo analizó 3za fuentes (incluyendo directrices de conferencias de alto nivel, políticas de revistas y mejores prácticas de la comunidad) para extraer 380 requisitos brutos. Estos se consolidaron en 51 criterios de reproducibilidad jerárquicos. Para permitir el razonamiento automatizado, 31 de estos criterios fueron enriquecidos con campos auxiliares estructurados: additional_information, input_needed, detection_strategy y success_failure_conditions. Estos se almacenaron en una base de conocimientos SQLite para soportar la trazabilidad y la recuperación.
2. Arquitectura del Sistema Agéntico: El sistema está implementado como un flujo de trabajo basado en grafos y con estado utilizando LangGraph, que consta de cinco fases:
   • Ingestión y Embedding: Conversión de los artículos de entrada (PDF a Markdown) y los artefactos en bases de datos vectoriales para Generación Aumentada por Recuperación (RAG).
   • Recuperación y Análisis de Artefactos: Un sub-agente extrae referencias de artefactos (p. ej., GitHub, Zenodo). Si la recuperación automática falla, una interrupción de Humano en el Bucle (HITL) solicita la guía del usuario. Los READMEs recuperados son resumidos y los archivos irrelevantes (binarios, logs) son podados mediante clasificadores basados en reglas y en LLM.
   • Generación de Planes: Los sub-agentes trabajadores generan pasos de inspección para los subtemas seleccionados por el usuario, sintetizados en una estrategia jerárquica. Este plan se somete a un bucle HITL para el refinamiento y aprobación del usuario.
   • Evaluación de Subtemas: Un orquestador despacha sub-agentes para evaluar los criterios en contextos aislados, recolectando evidencia mediante recuperación híbrida (léxica y semántica). Las evaluaciones requieren citas explícitas (rutas de archivos, fragmentos de código) y por defecto resultan en "Fallo" si la evidencia es inexistente.
   • Compilación de Informes: Los hallazgos se agregan en un informe Markdown jerárquico con metadatos de ejecución e IDs de traza.
3. Configuración de Agentes: El sistema emplea cinco agentes especializados (recuperación, plan, orquestador, ejecutor, reporte) utilizando varias variantes de GPT-5 (p. ej., gpt-5-nano, gpt-5-mini, gpt-5.1) con una temperatura de 0 para maximizar el determinismo.

Contribuciones Clave
El artículo presenta tres contribuciones primarias:

1. Criterios Operacionalizados: Un conjunto unificado de 51 criterios de reproducibilidad verificables por máquina derivados de 34 fuentes, con 31 específicamente operacionalizados para la evaluación automatizada basada en artefactos.
2. Marco de Evaluación Agéntico: Un novedoso prototipo multi-agente que recupera, estructura y evalúa autónomamente los artefactos de investigación frente a estos criterios, produciendo informes de mejora fundamentados en evidencia.
3. Evidencia Empírica Piloto: Resultados preliminares de una evaluación técnica y una encuesta a siete investigadores de software que demuestran el potencial y las limitaciones actuales del enfoque.

Resultados
La evaluación se realizó sobre cinco paquetes de replicación y una encuesta piloto con siete investigadores.

• Fiabilidad y Consistencia: El sistema demostró una alta consistencia entre ejecuciones del 91.4% a través de 10 ejecuciones independientes por paquete. La estabilidad fue mayor en dominios estructurados (Disponibilidad de Datos/Artefactos: 94.8%; Ética/Gobernanza: 94.0%).
• Acuerdo con la Línea Base Manual: Comparado con una evaluación manual de verdad fundamental (ground-truth), el agente logró una precisión micro de 75.4% y una precisión macro de 68.2%.
  • El agente mostró alta precisión (86.4%) y exhaustividad (recall) (81.5%) para identificar criterios "Aprobados".
  • Para los criterios "Fallidos", la exhaustividad fue alta (85.8%) pero la precisión fue menor (56.7%), lo que indica un sesgo hacia el rigor (asumiendo fallo cuando la evidencia no es clara).
  • El rendimiento varió significativamente por tema: 84.6% para Código/Entorno y 77.2% para Datos/Disponibilidad, pero solo un 38.0% para Rigor Experimental.
• Análisis Cualitativo: El agente funcionó bien en criterios estructurales (código, entorno, disponibilidad), pero tuvo dificultades con estudios cualitativos o de métodos mixtos y criterios condicionales (p. ej., distinguir entre entrenar nuevos modelos vs. volver a ejecutar código existente).
• Percepción del Usuario: Los participantes de la encuesta calificaron positivamente la claridad e integración de la herramienta (Media ~3.83/5) y expresaron confianza en usarla para mejorar los artefactos (Media ~3.67/5). Sin embargo, los usuarios notaron una carga cognitiva durante el paso de planificación HITL, encontrando el nivel de detalle requerido abrumador para nuevos usuarios.

Significancia y Reivindicaciones
El artículo sostiene que la evaluación agéntica de artefactos de investigación tiene el potencial de apoyar a autores y revisores mediante la automatización de ciertas comprobaciones rutinarias, desplazando el proceso de una carga manual y retrospectiva hacia un flujo de trabajo proactivo y escalable.

• Automatización de Comprobaciones Rutinarias: El enfoque logra operacionalizar reglas amplias de ciencia abierta en comprobaciones automatizadas, particularmente para la investigación computacional y centrada en el código.
• Transparencia Basada en Evidencia: A diferencia de los modelos opacos de extremo a extremo, el agente fundamenta las evaluaciones en evidencia extraída con citas explícitas de rutas de archivos, permitiendo la auditoría independiente del razonamiento.
• Escalabilidad: La arquitectura maneja razonablemente bien la heterogeneidad de los paquetes de replicación (diversos formatos y estructuras), ofreciendo un camino hacia evaluaciones de reproducibilidad a gran escala.
• Limitaciones: Los autores reconocen modestamente que el enfoque actual está sesgado hacia la investigación cuantitativa y centrada en el código, y tiene dificultades con estudios cualitativos y diseños de artefactos no convencionales. También señalan que la dependencia de LLMs comerciales y la carga cognitiva del paso de planificación HITL son áreas para futuras mejoras.

Los autores posicionan este trabajo como un artículo de "resultados emergentes", proporcionando evidencia preliminar de que tales sistemas son factibles y valiosos, mientras resaltan la necesidad de un mayor refinamiento en el manejo de formatos complejos, la mejora de la adaptabilidad a diferentes tipos de estudio y la simplificación de la interfaz de usuario.