SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

1. Problema y Motivación

Los agentes de ingeniería de software (SWE) impulsados por modelos de lenguaje grandes (LLM) están mejorando rápidamente, especialmente mediante el aprendizaje por refuerzo (RL). Sin embargo, el entrenamiento de estos agentes se ve frenado por la escasez de colecciones de tareas a gran escala que cumplan tres requisitos críticos:

1. Entornos de ejecución reproducibles: Capacidad para instalar dependencias y ejecutar pruebas de manera consistente.
2. Suites de pruebas confiables: Pruebas que validen correctamente la solución sin falsos positivos/negativos.
3. Diversidad lingüística: La mayoría de los conjuntos de datos existentes se centran en Python o en ecosistemas de alto recurso, limitando la capacidad de entrenar agentes para lenguajes de "cola larga" (long-tail).

Los enfoques anteriores a menudo requieren verificación manual intensiva, lo que impide la escalabilidad necesaria para el entrenamiento masivo de RL. Además, muchos benchmarks están diseñados para evaluación estática y carecen de los artefactos necesarios (como imágenes pre-construidas) para el aprendizaje interactivo.

2. Metodología: SWE-rebench V2

El artículo presenta SWE-rebench V2, una tubería (pipeline) automatizada y agnóstica al lenguaje diseñada para recolectar tareas de SWE ejecutables a escala. La metodología se basa en cinco etapas principales:

A. Recolección de Datos Preliminares

• Se extraen datos de GitHub Archive, vinculando problemas (issues) con Pull Requests (PRs) y commits.
• Se filtran repositorios basándose en el lenguaje y el número de issues cerrados para optimizar la relación costo-rendimiento.
• Se aplican filtros estrictos para lenguajes de alto recurso (ej. Python, Java) y umbrales más relajados para lenguajes de cola larga para preservar la diversidad.
• Se separan los parches en parche de solución (código no de prueba) y parche de prueba (archivos de prueba modificados).

B. Síntesis de Configuración (Setup Synthesis)

• Agente Interactivo: Se utiliza un agente basado en LLM (mini-SWE-agent con Qwen3-Coder) que opera en un ciclo de depuración cerrado.
• Funcionamiento: El agente inspecciona el código, intenta instalar dependencias y refina iterativamente los scripts de instalación y prueba basándose en los errores de compilación y ejecución.
• Reutilización: Una vez que se sintetiza la configuración para un repositorio (basada en una instantánea representativa), se reutiliza para todas las tareas extraídas de ese mismo repositorio.
• Soporte Multi-idioma: Se generan imágenes base de Docker específicas para cada lenguaje y se manejan sistemas de compilación heterogéneos (incluyendo recompilación explícita para lenguajes compilados como C/C++).

C. Validación Basada en Ejecución

• Se ejecuta la suite de pruebas completa del proyecto en dos fases:
  1. Pre-parche: Para extraer las pruebas que fallan (fail-to-pass).
  2. Post-parche: Para verificar que la solución corrige el fallo sin romper otras pruebas.
• Solo se conservan las instancias donde al menos una prueba pasa de fallar a pasar, asegurando una señal ejecutable no trivial.

D. Filtrado por Claridad del Problema

• Se emplea un ensamble de tres LLMs (gpt-oss-120b, GLM-4.7, DeepSeek-V3.2) para evaluar si la descripción del problema es lo suficientemente clara para ser implementada.
• Se retienen solo las instancias donde los tres jueces califican la especificación como adecuada, eliminando tareas ambiguas o mal definidas.

E. Enriquecimiento de Metadatos y Expansión

• Metadatos Diagnósticos: Se añaden etiquetas automáticas para identificar problemas como pruebas frágiles (flaky tests), dependencias externas, requisitos de nombres implícitos o acoplamiento de suites de pruebas.
• Expansión basada en PRs: Además de las tareas vinculadas a issues, se generan 120,000+ tareas adicionales derivadas directamente de la descripción de los PRs, ampliando el corpus de entrenamiento sin depender de la vinculación issue-PR.

3. Contribuciones Clave

1. Pipeline Agnóstico al Lenguaje: Un flujo de trabajo unificado que aplica la misma lógica de construcción a 20 lenguajes de programación, utilizando plantillas reutilizables específicas por lenguaje.
2. Dataset a Gran Escala:
   • 32,000+ tareas en contenedores Docker pre-construidos, provenientes de 3,600+ repositorios en 20 lenguajes.
   • 120,000+ tareas adicionales con instrucciones de instalación y metadatos, derivadas de descripciones de PRs.
3. Metadatos Diagnósticos de Nivel de Instancia: Etiquetado automático de factores de confusión (ej. "B1: Test Suite Coupling", "B2: Implicit Naming") que permite a los investigadores filtrar datos para curricula de entrenamiento específicos.
4. Análisis de Fallos y Ablaciones: Estudios exhaustivos sobre estrategias de configuración (interactiva vs. no interactiva) y filtrado de calidad, demostrando que los agentes interactivos superan significativamente a los enfoques estáticos.

4. Resultados y Evaluación

• Rendimiento del Pipeline: La estrategia de filtrado de repositorios (mantener el 20% de los repositorios más populares) captura aproximadamente el 80% de las tareas verificables, reduciendo drásticamente los costos de síntesis de configuración.
• Eficacia del Agente de Configuración: Los experimentos muestran que un agente interactivo (mini-SWE-agent) logra tasas de éxito de configuración (pass@1) de hasta un 27.1% con modelos grandes, superando a los pipelines no interactivos (12.1%). El aumento de intentos (retries) mejora significativamente la tasa de éxito.
• Rendimiento de Modelos (Baseline): Se evaluaron 7 modelos de vanguardia en un subconjunto de 300 tareas (5 idiomas, 60 tareas cada uno).
  • Claude Opus-4.5 obtuvo el mejor rendimiento general (25.2% pass@1).
  • Los modelos varían considerablemente por lenguaje (ej. mejor en Python y Rust, peor en Scala).
  • Se identificaron patrones de fallo sistemáticos, como la incapacidad de manejar dependencias externas o requisitos de nombres implícitos no especificados en el problema.

5. Significado e Impacto

SWE-rebench V2 representa un avance fundamental para la investigación en agentes de software:

• Escalabilidad para el RL: Proporciona la infraestructura necesaria (entornos reproducibles y señales de recompensa fiables) para entrenar agentes mediante aprendizaje por refuerzo a gran escala, algo que antes era prohibitivo debido a la falta de datos.
• Diversidad Lingüística: Rompe la hegemonía de Python en los benchmarks de SWE, permitiendo el desarrollo y evaluación de agentes en ecosistemas menos comunes (Go, Rust, Scala, etc.).
• Calidad de Datos: Al integrar diagnósticos automáticos y filtrado riguroso, permite a los investigadores diseñar curricula de entrenamiento más inteligentes (ej. empezar con tareas "limpias" y luego introducir ruido para mejorar la robustez).
• Reproducibilidad: La liberación de imágenes Docker pre-construidas y el código de la tubería garantiza que los resultados sean reproducibles y que el entorno de evaluación sea consistente.

En resumen, el trabajo establece un nuevo estándar para la creación de datos de entrenamiento para agentes de ingeniería de software, moviendo el campo de la evaluación estática hacia el entrenamiento interactivo masivo y multilingüe.