From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents

Resumen Técnico: De SWE-ZERO a SWE-HERO

1. El Problema: Cuellos de Botella en la Infraestructura de Entrenamiento

El desarrollo de agentes de ingeniería de software (SWE) autónomos ha estado limitado por una dependencia crítica de entornos de ejecución física (contenedores Docker) para la supervisión y el ajuste fino (SFT). Esta dependencia crea tres barreras principales:

• Escalabilidad de Datos: Muchos repositorios reales y Pull Requests (PRs) se descartan porque sus configuraciones complejas o heredadas impiden que se ejecuten de forma fiable en contenedores modernos.
• Escalabilidad de Entrenamiento: Orquestar miles de imágenes Docker específicas para cada tarea genera una sobrecarga de infraestructura masiva, complicando la optimización a gran escala y el Aprendizaje por Refuerzo (RL).
• Escalabilidad de Inferencia: La ejecución de código y el reinicio de entornos son costosos, lo que dificulta que los agentes exploren múltiples ramas de solución durante la inferencia.

La premisa del artículo es que la dependencia absoluta de la ejecución física restringe el desarrollo de agentes de código abierto y limita el acceso a la "cola larga" de datos de GitHub.

2. Metodología: Un Paradigma de Entrenamiento Bifurcado

Los autores proponen una receta de Ajuste Fino Supervisado (SFT) de dos etapas que desacopla el razonamiento semántico de la verificación física. El flujo transforma un modelo de "intuición" a uno de "trabajo riguroso":

Fase 1: SWE-ZERO (Razonamiento Fundamental sin Ejecución)

• Objetivo: Enseñar al agente a entender la semántica del código y la arquitectura del repositorio sin necesidad de ejecutar pruebas.
• Datos: Se utiliza un conjunto de datos masivo de 300,000 trayectorias generadas a partir de 150,000 PRs reales de GitHub.
• Proceso: Un modelo "maestro" (Qwen3-Coder-480B) genera soluciones en un entorno de "sandbox" genérico donde está prohibido ejecutar código (no se permite python, pytest, etc.).
• Ventaja: Esto elimina la necesidad de configurar entornos Docker específicos, permitiendo escalar el volumen de datos a un costo computacional mínimo. Las trayectorias resultantes son más concisas (40% menos de tokens) y se centran en la identificación de errores y la lógica de parches basada en el contexto.

Fase 2: SWE-HERO (Refinamiento Anclado en Ejecución)

• Objetivo: Refinar las intuiciones semánticas aprendidas en la fase anterior mediante retroalimentación física real.
• Datos: Un conjunto de datos más pequeño pero de alta fidelidad con 13,000 trayectorias que incluyen entornos Docker completos y ejecución de pruebas.
• Proceso: Se realiza un ajuste fino adicional sobre el modelo base de SWE-ZERO utilizando estas trayectorias de ejecución real. Esto transiciona al agente de un entendimiento intuitivo a un flujo de trabajo de ingeniería verificado.

Arquitectura del Agente:

• Se utiliza el framework OpenHands como base.
• Los agentes tienen acceso a herramientas de edición de archivos (str_replace_editor), ejecución de comandos (execute_bash), razonamiento (think) y finalización (finish).
• Se emplea una estrategia de enmascaramiento multi-turno para que el modelo aprenda a generar acciones, no a predecir la salida de la ejecución.

3. Contribuciones Clave

1. Nueva Receta de Entrenamiento (SWE-ZERO a SWE-HERO): Demuestra que es posible alcanzar el estado del arte (SOTA) en agentes de software combinando un entrenamiento masivo sin ejecución con un refinamiento dirigido basado en ejecución.
2. Conjuntos de Datos Abiertos:
   • Liberación de 300k trayectorias SWE-ZERO (sin ejecución).
   • Liberación de 13k trayectorias SWE-HERO (con ejecución).
   • Ambos conjuntos están destilados del modelo Qwen3-Coder-480B.
3. Modelos de Referencia: Entrenamiento y liberación de una suite de agentes basados en la serie Qwen2.5-Coder (7B, 14B y 32B parámetros).
4. Análisis de Generalización: Demostración de que el entrenamiento en Python permite una transferencia zero-shot robusta a otros lenguajes.

4. Resultados Experimentales

Los modelos SWE-HERO establecen nuevos récords en el benchmark SWE-bench Verified:

• Rendimiento General:

  • SWE-HERO-32B: Logra una tasa de resolución del 62.2%, superando a competidores de tamaño similar y compitiendo con modelos propietarios masivos (como GPT-OSS-120B o MiniMax-M2.5).
  • SWE-HERO-14B: Alcanza un 60.8%, superando significativamente a otros agentes de 14B (como FrogMini-14B con 45.3%).
  • SWE-HERO-7B: Logra un 52.7%, estableciendo un nuevo límite de eficiencia para modelos pequeños.

• Transferencia Multilingüe:

  • A pesar de estar entrenados exclusivamente en Python, los agentes muestran una transferencia robusta en SWE-bench Multilingual.
  • SWE-HERO-32B alcanza un 44.1% de resolución en tareas multilingües, confirmando que la fase SWE-ZERO captura patrones de razonamiento fundamentales que trascienden el lenguaje de programación.

• Eficiencia y Escalabilidad:

  • La fase SWE-ZERO reduce el consumo de tokens en un 40% al evitar ciclos de retroalimentación de ejecución innecesarios.
  • El estudio de escalado de datos (Figura 4) muestra que aumentar las muestras de entrenamiento sin ejecución de 4k a 150k mejora la tasa de resolución de manera consistente.

• Escalado en Tiempo de Inferencia (Test-Time Scaling):

  • Al generar múltiples rollouts (K=32) y seleccionar el mejor con un verificador, los modelos mejoran aún más (ej. +7.9% para el modelo de 7B), aunque se identifica que los verificadores actuales aún tienen un margen de mejora para cerrar la brecha con el límite teórico Pass@K.

5. Significado e Impacto

Este trabajo es significativo porque democratiza el entrenamiento de agentes de ingeniería de software de alto nivel.

• Desacoplamiento de Infraestructura: Al separar el razonamiento semántico de la verificación física, los investigadores ya no necesitan infraestructura masiva de contenedores para entrenar modelos base potentes.
• Eficiencia de Recursos: Permite entrenar agentes de clase mundial utilizando una fracción de los recursos computacionales y de almacenamiento requeridos por métodos anteriores (como SWE-Lego o R2E-Gym).
• Validación de la "Intuición Semántica": Confirma que los LLMs de vanguardia poseen un "modelo del mundo" interno suficientemente sofisticado para resolver problemas de software complejos sin ejecución inmediata, y que la ejecución es necesaria principalmente para el refinamiento final y la verificación de casos extremos.

En conclusión, el paradigma SWE-ZERO a SWE-HERO ofrece una hoja de ruta escalable para construir agentes de software autónomos, demostrando que la combinación de datos masivos "limpios" (sin ejecución) y datos de alta calidad "anclados" (con ejecución) es la clave para el futuro de la ingeniería de software asistida por IA.