Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches

1. El Problema

La reproducción de investigaciones computacionales en ciencias sociales sigue siendo un desafío significativo, a pesar de que el código y los datos estén disponibles. En la práctica, los análisis publicados a menudo fallan al intentar ejecutarse en nuevos entornos debido a:

• Dependencias faltantes o incompatibles.
• Rutas de archivos (paths) rotas o frágiles.
• Desajustes de versiones de software.
• Brechas en la lógica computacional: Errores sutiles donde el código se ejecuta pero no produce los resultados analíticos correctos.

Actualmente, la corrección de estos fallos requiere un esfuerzo manual intensivo por parte de expertos. Aunque los Modelos de Lenguaje Grandes (LLMs) y los agentes de IA autónomos han mostrado potencial para ayudar en la depuración, no existe evidencia empírica sistemática sobre su capacidad para reparar automáticamente flujos de trabajo de investigación completos y recuperar los resultados originales en un entorno controlado.

2. Metodología

Los autores diseñaron un experimento controlado utilizando un conjunto de datos sintético de referencia (benchmark) para evaluar dos paradigmas de reparación automatizada.

A. Creación del Benchmark Sintético

• Base de datos: Se seleccionaron 5 estudios de ciencias sociales basados en R que eran totalmente reproducibles (código, datos y resultados verificados).
• Inyección de errores: Se crearon 130 casos de prueba sintéticos inyectando errores realistas en las copias de los códigos originales. Estos errores se clasificaron en tres categorías según su complejidad:
  • Categoría A (Errores de Ejecución): Problemas simples como rutas de archivos incorrectas, paquetes faltantes o errores tipográficos. No alteran la lógica analítica.
  • Categoría B (Errores Contextuales): Requieren correcciones a nivel de código más matizadas, como paquetes desactualizados, errores de sintaxis múltiples o variables faltantes. Combinan errores de la Categoría A.
  • Categoría C (Errores Estructurales): Implican lógica analítica incompleta o ausente (funciones faltantes, bloques de código incompletos). Requieren una comprensión profunda de la intención del análisis para ser reparados.
• Validación: El éxito de la reparación se midió estrictamente: el script reparado debía ejecutarse sin errores y producir salidas numéricas idénticas a las del conjunto de datos "ground-truth" (original).

B. Flujos de Trabajo Evaluados

Se compararon dos enfoques dentro de entornos Docker aislados:

1. Enfoque Basado en Prompts (Prompt-based):

   • Se utilizaron tres modelos (GPT-4o, Gemini 2.5 Pro, Qwen3-Coder).
   • Se probaron tres niveles de riqueza contextual en los prompts:
     • Mínimo: Script + logs de error.
     • Medio: Lo anterior + texto del artículo en Markdown.
     • Completo: Lo anterior + todos los scripts de soporte y instrucciones detalladas.
   • El proceso fue iterativo (máximo 5 intentos) donde el modelo proponía correcciones y se reejecutaba el código.

2. Enfoque Basado en Agentes (Agent-based):

   • Se utilizaron agentes de codificación autónomos (OpenCode y Claude Code) que operaban directamente dentro del entorno de ejecución.
   • Los agentes podían inspeccionar archivos, modificar código, ejecutar scripts, analizar logs de error y razonar iterativamente hasta lograr la reproducción o agotar un límite de tiempo (20 min).
   • Se utilizó el modelo Qwen3-Coder como base para ambos agentes para aislar la variable del "flujo de trabajo" frente al "modelo".

3. Contribuciones Clave

• Nuevo Benchmark Sintético: Presentación de un conjunto de datos estandarizado con 130 casos de prueba inyectados sistemáticamente, diseñado específicamente para evaluar la reproducibilidad en estudios R de ciencias sociales.
• Comparación Empírica Rigurosa: Primera evaluación sistemática que compara directamente flujos de trabajo de reparación basados en prompts versus agentes autónomos en un entorno controlado.
• Marco de Validación Estricto: Establecimiento de un criterio de éxito que no solo verifica la ejecución del código, sino la exactitud de los resultados analíticos frente a la verdad fundamental.
• Análisis de Contexto y Complejidad: Evaluación detallada de cómo la complejidad del error y la cantidad de contexto proporcionado afectan el rendimiento de la IA.

4. Resultados Principales

Rendimiento del Enfoque Basado en Prompts

• La tasa de éxito varió significativamente (31% - 79%) dependiendo de la complejidad del error y la riqueza del contexto.
• Gemini 2.5 Pro mostró el mejor rendimiento general, manteniendo tasas altas incluso con prompts mínimos (71.9% en Categoría A).
• GPT-4o dependía fuertemente del contexto; su rendimiento mejoró drásticamente con prompts completos (llegando al 71.4% en Categoría C), pero falló con contextos mínimos.
• Qwen3-Coder fue menos efectivo en casos complejos (Categoría C), aunque manejó bien errores simples.
• Conclusión: Más contexto mejora el rendimiento, especialmente en errores estructurales, pero no garantiza el éxito en todos los casos.

Rendimiento del Enfoque Basado en Agentes

• Los agentes lograron tasas de éxito consistentemente más altas (69% - 96%) en todas las categorías.
• Claude Code fue el mejor agente, logrando un 96.3% en Categoría A, 91.7% en Categoría B y 82.1% en Categoría C (errores estructurales complejos).
• OpenCode también superó a los enfoques de prompts, con un 69.2% en Categoría C.

Comparación Directa (Prompt vs. Agente)

• Al comparar el mismo modelo base (Qwen3-Coder) en ambos flujos, el enfoque de agente superó al de prompt por un margen considerable:
  • Categoría A: +28.6 p.p. (OpenCode) y +43.4 p.p. (Claude).
  • Categoría C (Más difícil): +15.0 p.p. (OpenCode) y +27.9 p.p. (Claude).
• La ventaja de los agentes se atribuye a su capacidad para explorar el espacio de trabajo, inspeccionar logs de error en tiempo real y realizar modificaciones iterativas sin depender exclusivamente de la información estática del prompt.

5. Significado e Implicaciones

• Superioridad de los Agentes Autónomos: El estudio demuestra que la mera capacidad de un LLM para generar código no es suficiente para la reproducibilidad compleja. La autonomía y el acceso al entorno de ejecución (inspección, modificación, re-ejecución) son factores decisivos para reparar fallos de investigación.
• Reducción de la Carga Manual: Los sistemas de reparación basados en agentes tienen el potencial de reducir drásticamente el trabajo manual necesario para verificar la ciencia computacional, haciendo viable la auditoría de un mayor volumen de publicaciones.
• Limitaciones y Futuro: Aunque prometedores, los sistemas aún fallan en algunos casos de lógica estructural muy compleja. El trabajo futuro debe centrarse en aislar arquitectónicamente los entornos de reparación y validación para evitar fugas de datos y expandir el benchmark a más dominios y tipos de fallos.

En resumen, el artículo concluye que mientras los LLMs basados en prompts son útiles para errores simples, los agentes de IA autónomos representan un avance cualitativo necesario para abordar los desafíos de la reproducibilidad computacional en la ciencia real, donde los errores suelen ser multifacéticos y requieren interacción dinámica con el entorno.