ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

Resumen Técnico: Evaluación de Reproducibilidad Agente (ARA)

Enunciado del Problema
La revisión por pares científica es cada vez más incapaz de evaluar la reproducibilidad a la escala y complejidad de la producción de investigación moderna. El crecimiento exponencial de las publicaciones, acelerado por los modelos de lenguaje grandes (LLM) como asistentes de escritura, ha tensionado los mecanismos tradicionales de aseguramiento de calidad. Si bien la reproducibilidad es una condición necesaria para validar las contribuciones científicas, evaluarla requiere reconstruir dependencias experimentales, elecciones metodológicas, flujos de datos y procedimientos de generación de resultados. Este proceso a menudo excede la capacidad de los revisores humanos dadas las restricciones de tiempo y el volumen de envíos. Los enfoques automatizados existentes suelen ser específicos de un dominio, dependen de un análisis basado en listas de verificación simples o requieren acceso a paquetes de replicación externos (código, datos) más allá del texto de la publicación en sí. En consecuencia, las evaluaciones de reproducibilidad permanecen subrepresentadas en los flujos de trabajo estándar y son difíciles de escalar.

Metodología
El artículo introduce la Evaluación de Reproducibilidad Agente (ARA), un marco que formaliza la evaluación de la reproducibilidad como una tarea de razonamiento estructurado ejecutable por sistemas de agentes basados en LLM directamente desde documentos científicos. ARA opera sin requerir artefactos externos, código fuente o entornos de ejecución. La tubería consta de tres etapas principales:

1. Construcción del Gráfico de Flujo de Trabajo:
   Dado un artículo científico $D$, ARA construye un gráfico de flujo de trabajo dirigido $G = (V, E)$. Los nodos $V$ se dividen en cuatro etapas agnósticas al dominio:

   • Fuentes: Conjuntos de datos, supuestos y preguntas de investigación.
   • Métodos: Transformaciones intermedias, algoritmos, parámetros y recursos de software/hardware.
   • Experimentos: Protocolos de evaluación, líneas base, condiciones de tiempo de ejecución y configuraciones.
   • Sumideros: Figuras relevantes para los resultados, tablas y conclusiones reportadas.
     Las aristas $E$ representan relaciones de dependencia entre estos componentes. Un agente LLM extrae estos componentes utilizando consultas estructuradas, fundamentando las respuestas en citas literales de la fuente para garantizar la trazabilidad.

2. Puntuación a Nivel Micro:
   La reconstruibilidad de los nodos individuales se evalúa utilizando una función de puntuación ordinal $r(\cdot) \in \{1, 2, 3, 4\}$, donde 1 denota información faltante y 4 denota detalle suficiente para una reconstrucción independiente. Esta puntuación se realiza de manera específica por etapa, distinguiendo entre aspectos como la claridad del algoritmo (para métodos) frente a la disponibilidad del conjunto de datos (para fuentes).

3. Puntuación de Reproducibilidad:
   Las evaluaciones a nivel micro se agregan en una puntuación compuesta final de reproducibilidad $R$ a través de dos ejes ortogonales:

   • Puntuación de Contenido ($R_c$): Mide la suficiencia descriptiva de los nodos (fuentes, métodos, experimentos, sumideros) para una reconstrucción independiente. Es una combinación convexa ponderada de las puntuaciones promedio específicas por etapa.
   • Puntuación Estructural ($R_s$): Mide la calidad de la conectividad del gráfico de flujo de trabajo. Penaliza fuentes desconectadas, sumideros huérfanos, referencias sin resolver, rutas de fuente a sumidero rotas y fragmentación del gráfico.
     La puntuación final es la media geométrica: $R = \sqrt{R_c \cdot R_s}$. Esta formulación asegura que la debilidad ya sea en el detalle descriptivo o en la conectividad estructural no pueda ser compensada por la fortaleza en la otra.

Contribuciones Clave

• Formalización del Razonamiento a Nivel de Documento: ARA modela la evaluación de la reproducibilidad no como una lista de verificación ni como una tarea de ejecución completa, sino como un problema de razonamiento estructurado sobre el flujo de trabajo de generación de evidencia extraído del texto.
• Marco Agnóstico al Dominio: A diferencia de trabajos anteriores restringidos a campos específicos (por ejemplo, ciencias de la computación o ciencias sociales), ARA está diseñado para operar a través de dominios científicos heterogéneos.
• Soporte de Diagnóstico Escalable: El sistema proporciona un mecanismo escalable para identificar elementos de reporte faltantes, flujos de trabajo incompletos y cuellos de botella de reproducibilidad, destinado a complementar en lugar de reemplazar la revisión por pares humana.
• Evaluación Comparativa Exhaustiva: Los autores evalúan ARA en el conjunto de datos ReScience C, que comprende 213 estudios de reproducibilidad computacional validados por humanos a través de múltiples disciplinas. Esto representa la mayor evaluación comparativa transversal de su tipo hasta la fecha.

Resultados
Se realizaron experimentos en 213 artículos de ReScience C, comparando las evaluaciones de ARA con flujos de trabajo de reproducción verificados por humanos y estructuras de reporte.

• Consistencia: El marco demuestra estabilidad sustancial a través de diferentes arquitecturas de LLM (incluyendo variantes de Gemini, GPT-4.1 y Qwen), temperaturas de muestreo y ejecuciones repetidas. La consistencia estructural del gráfico y la variabilidad de la puntuación de reproducibilidad permanecen bajas, lo que indica que el sistema no está impulsado por alucinaciones o aleatoriedad tipo oráculo.
• Rendimiento: ARA logra un acuerdo consistente con las evaluaciones humanas, alcanzando aproximadamente 61% de precisión en tres benchmarks de evaluación de reproducibilidad (ReScience C, ReproBench y GoldStandardDB).
• Comparación: ARA funciona de manera comparable o mejor que los sistemas de agentes existentes (ReplicatorAgent, ReproScreener) en términos de acuerdo con las anotaciones humanas, a pesar de operar estrictamente en un entorno a nivel de documento sin acceso a repositorios externos ni paquetes de replicación.
• Análisis de Desacuerdos: Los desacuerdos entre ARA y los expertos humanos generalmente se limitan a un nivel de escala ordinal. El desacuerdo es mayor para las etapas de "Métodos" y "Experimentos", donde los revisores humanos a menudo dependen de detalles de implementación revelados solo durante la replicación completa, los cuales no son observables únicamente desde el texto.

Significado y Afirmaciones
El artículo afirma que ARA demuestra la viabilidad técnica de utilizar sistemas de IA agente para aproximar los juicios humanos de reproducibilidad a escala. Los autores posicionan a ARA no como un reemplazo para la revisión por pares de expertos humanos, sino como un complemento de diagnóstico escalable. Al operacionalizar la evaluación de la reproducibilidad como una tarea de razonamiento a nivel de documento, el marco ofrece una vía para:

• Acelerar las tuberías editoriales y el cribado de literatura a gran escala.
• Proporcionar controles de calidad consistentes, transparentes y reproducibles a través de diversos dominios científicos.
• Abordar la "crisis de reproducibilidad" identificando brechas en el reporte antes de emprender intentos de replicación completa.

Los autores enfatizan que el valor del sistema radica en su capacidad para funcionar sin artefactos externos, lo que lo hace aplicable a la vasta mayoría de la literatura publicada donde el código y los datos no están inmediatamente disponibles. La robustez de los resultados a través de diferentes modelos y la alineación con los juicios humanos en un benchmark riguroso sugieren que la reconstrucción estructurada del flujo de trabajo puede capturar señales significativas de reproducibilidad más allá del simple análisis de documentos.