ReProAgent: Tool-Augmented Multi-Stage Agentic Generation of Bug Reproduction Tests from Issue Reports

Resumen Técnico: ReProAgent

Planteamiento del Problema

Los informes de errores en repositorios de software de código abierto (por ejemplo, GitHub) rara vez incluyen pruebas ejecutables que reproduzcan los errores reportados. Esta ausencia dificulta que los desarrolladores confirmen los problemas antes de corregirlos y validen los parches después, lo que aumenta significativamente los costes de depuración y mantenimiento. Aunque enfoques recientes basados en Modelos de Lenguaje de Gran Escala (LLM) han intentado generar estas "pruebas de reproducción" (pruebas que fallan en el código con error pero pasan en el código corregido), los métodos existentes dependen en gran medida de canales de ejecución basados en prompts fijos. Estos canales suelen recuperar contexto textual y generar pruebas directamente, lo que presenta dos limitaciones fundamentales:

1. Comprensión de Contexto Limitada: Tienen dificultades para comprender el comportamiento de los errores en bases de código a escala de repositorio, particularmente en las dependencias de comportamiento entre archivos, ya que dependen principalmente de la recuperación basada en texto.
2. Falta de Planificación Estructurada: Tratan la generación de pruebas como un mapeo directo del contexto al código, fallando al no modelar explícitamente el proceso de razonamiento de múltiples pasos (localización de errores, análisis de la causa raíz, construcción de la configuración de la prueba y verificación) que utilizan los desarrolladores humanos.

Metodología: ReProAgent

Los autores proponen ReProAgent, un marco de agentes aumentado por herramientas y de múltiples etapas, diseñado para descomponer la compleja tarea de la generación de pruebas de reproducción en cuatro etapas agénticas distintas. Inspirado en el flujo de trabajo manual de los desarrolladores, el marco integra tres categorías de herramientas para apoyar la exploración autónoma y la toma de decisiones.

1. Conjunto de Herramientas del Agente

ReProAgent equipa al LLM con un conjunto de herramientas dedicado para facilitar el razonamiento y la interacción:

• Herramientas de Descomposición de Tareas y Reflexión: Utiliza Sequential-Thinking (Pensamiento Secuencial) para desglosar objetivos complejos, mantener trayectorias de razonamiento y revisar dinámicamente las decisiones basadas en la retroalimentación intermedia.
• Herramientas de Recuperación de Contexto Híbrido: Combina la recuperación basada en palabras clave de línea de comandos (por ejemplo, grep, glob) con la recuperación de dependencias basada en Grafos de Conocimiento (KG). El KG se construye utilizando Tree-sitter para extraer entidades del programa (clases, funciones) y sus relaciones semánticas, lo que permite al agente rastrear cadenas de llamadas y dependencias entre archivos.
• Herramientas de Interacción en Tiempo de Ejecución: Incluye un sandbox basado en Docker para ejecutar comandos y scripts de Python interactivos, permitiendo al agente observar el comportamiento de ejecución dinámica y validar hipótesis.

2. Flujo de Trabajo Agéntico de Cuatro Etapas

El proceso de generación se organiza en cuatro etapas secuenciales:

• Etapa 1: Localización de Errores mediante Análisis Jerárquico
  El agente construye una consulta inicial a partir del informe del error (síntomas, trazas de la pila o stack traces) y utiliza la recuperación híbrida para identificar los archivos sospechosos. Luego realiza un análisis de grueso a fino, clasificando funciones y clases por relevancia semántica y refinando la búsqueda hasta líneas de código específicas. El agente proporciona justificaciones en lenguaje natural y puntuaciones de confianza para cada región sospechosa.

• Etapa 2: Análisis de la Causa Raíz mediante la Ruta de Ejecución
  Utilizando las ubicaciones sospechosas y la descripción del error, el agente rastrea la ruta de ejecución desde el punto de entrada hasta el punto de falla. Reconstruye la cadena de llamadas para identificar el defecto lógico subyacente (por ejemplo, comprobaciones de condiciones incorrectas, manejo de límites). La salida es un informe estructurado que detalla el resumen de la causa raíz, la categoría del error, la ruta de ejecución, las condiciones de activación y una puntuación de confianza.

• Etapa 3: Planificación de Pruebas Consciente de Aseveraciones
  Antes de generar el código, el agente deriva un plan de prueba estructurado. Esto implica analizar las condiciones de activación, construir la configuración de reproducción (restricciones del entorno, dependencias) y derivar las aseveraciones (assertions) necesarias. El plan especifica los inputs mínimos requeridos para exponer el error y las señales de fallo esperadas (por ejemplo, tipos de excepción específicos o valores de retorno incorrectos).

• Etapa 4: Generación de Pruebas mediante Revisión Triádica
  El agente genera una prueba candidata basada en el plan y la ejecuta en el sandbox. Un proceso de Revisión Triádica evalúa la prueba frente a tres criterios:

  1. Alineación semántica con el informe del error.
  2. Consistencia del fallo observado con la lógica de la prueba (descartando errores de sintaxis o de entorno).
  3. Coincidencia entre el resultado de la ejecución y el error reportado (mensaje de error, tipo de excepción).
     Si la prueba falla la revisión o pasa cuando debería fallar, el agente refina iterativamente la prueba utilizando la retroalimentación hasta lograr una reproducción válida o agotar el presupuesto de iteración.

Contribuciones Clave

1. Marco de Agentes de Múltiples Etapas: La propuesta de ReProAgent, que descompone la generación de pruebas de reproducción en localización de errores, análisis de causa raíz, planificación de pruebas y generación de pruebas, yendo más allá de los canales de prompting fijos.
2. Conjunto de Herramientas Específicas de la Tarea: El diseño de un conjunto de herramientas especializado que incluye pensamiento secuencial para la reflexión, recuperación híbrida (texto + grafo de conocimiento) para el contexto, e interacción en tiempo de ejecución para la validación.
3. Evaluación Exhaustiva: Experimentos integrales que demuestran que ReProAgent supera a los baselines de vanguardia, se generaliza a través de múltiples backbones de LLM y mejora las tareas de reparación automatizada descendentes.

Resultados Experimentales

El marco fue evaluado en SWT-bench-lite y SWT-bench-verified, dos benchmarks diseñados específicamente para la generación de pruebas de reproducción de errores.

• Rendimiento: ReProAgent logró una Tasa de Fallo-a-Paso (FP) del 58.43% en SWT-bench-lite y del 70.30% en SWT-bench-verified.
• Comparación: Superó significativamente a todos los baselines. Por ejemplo, en SWT-bench-lite, mejoró respecto al fuerte baseline AssertFlip en un 53.76% y respecto a OpenHands (usando el mismo backbone GPT-5-mini) en 20.43 puntos porcentuales.
• Generalizabilidad: El marco demostró un rendimiento robusto a través de diferentes LLM de base (GPT-5-mini, Qwen3-Coder, DeepSeek-V3.2, GLM-4.6), con tasas de FP promedio que oscilan entre el 50.43% y el 64.37%, lo que indica que la efectividad es impulsada por el diseño del marco y no por un solo modelo.
• Impacto Descendente: Cuando se integra con marcos de reparación existentes (SWE-agent y Agentless), las pruebas generadas por ReProAgent mejoraron el número de problemas resueltos con éxito (por ejemplo, aumentando la tasa de éxito de SWE-agent en SWT-bench-lite de 143 a 153).
• Coste: El coste medio por instancia fue de $0.14 (usando GPT-5-mini), lo cual es competitivo con otros baselines y asequible para aplicaciones prácticas.

Significado

El artículo afirma que ReProAgent aborda la brecha crítica en la ingeniería de software automatizada donde los informes de errores carecen de especificaciones ejecutables. Al imitar el razonamiento estructurado y de múltiples etapas de los desarrolladores humanos e integrar el contexto a escala de repositorio con la verificación en tiempo de ejecución, ReProAgent permite la generación fiable de pruebas de reproducción. Esta capacidad no solo valida la corrección de los parches, sino que también sirve como una poderosa señal de retroalimentación para los flujos de trabajo de reparación automatizada iterativa, reduciendo así el coste de la depuración y el mantenimiento del software. Los autores enfatizan que el éxito del marco reside en su capacidad para manejar dependencias complejas entre archivos y en su riguroso proceso de revisión triádica, que asegura que las pruebas generadas reproduzcan fielmente los errores reportados en lugar de simplemente generar código sintácticamente correcto.