daVinci-Env: Open SWE Environment Synthesis at Scale

El artículo presenta OpenSWE, un marco de código abierto y transparente que sintetiza a escala 45.320 entornos Docker ejecutables mediante un pipeline de agentes multi-modelo, logrando un rendimiento de vanguardia en SWE-bench Verified y mejoras significativas en razonamiento matemático y científico tras una inversión total de 1,47 millones de dólares.

Lo esencial

¡Hola! Imagina que quieres enseñarle a un robot a ser un programador experto. No basta con darle un libro de texto; necesitas ponerlo a trabajar en una "fábrica" real donde pueda cometer errores, ver qué pasa cuando su código falla, y aprender a arreglarlo.

Este paper, llamado OpenSWE, es como la construcción de la fábrica de programación más grande, transparente y bien organizada del mundo para entrenar a estos robots (llamados "agentes de IA").

Aquí te lo explico con analogías sencillas:

1. El Problema: La "Fábrica" estaba cerrada o era muy pequeña

Antes de este proyecto, había dos problemas grandes para entrenar a estos robots:

• Las fábricas públicas eran pequeñas: Los grupos de investigación tenían "talleres" pequeños con pocos problemas reales para practicar.
• Las fábricas privadas eran secretas: Las grandes empresas tenían talleres gigantes, pero no dejaban entrar a nadie ni mostraban cómo funcionaban. Era como si tuvieras un coche de carreras pero no pudieras ver el motor ni aprender a repararlo.

2. La Solución: OpenSWE (La "Super-Fábrica" Abierta)

Los autores (de SII, GAIR y la Universidad de Shanghái) construyeron OpenSWE.

• La Escala: Imagina que tienen 45,000 "cajas de herramientas" (entornos Docker) listas para usar. Cada caja contiene un proyecto de código real de internet (como un sitio web o una app) y un "problema" específico que hay que solucionar.
• La Transparencia: A diferencia de las empresas secretas, ellos abrieron las puertas. Cualquiera puede ver cómo construyeron las cajas, cómo prueban los arreglos y cómo funciona todo. Es como si te dieran el plano completo de la fábrica, no solo el coche terminado.

3. ¿Cómo la construyeron? (El "Equipo de Obreros Robot")

Construir 45,000 cajas de herramientas a mano sería imposible y costaría una fortuna. Así que usaron un equipo de robots inteligentes (agentes) que trabajaron en una granja de servidores (64 computadoras potentes) durante dos semanas.

El proceso fue como una línea de montaje:

1. El Explorador: Un robot busca en miles de proyectos de código reales para encontrar problemas interesantes.
2. El Constructor: Otro robot prepara la "caja" (el entorno) para que el código funcione, instalando todas las herramientas necesarias.
3. El Juez: Un robot crea un examen (un script de prueba) para ver si la solución funciona.
4. El Controlador de Calidad: Aquí está la magia. Muchos problemas en internet son "trampa": o son tan fáciles que no enseñan nada, o son imposibles de resolver. El sistema filtra estos problemas. Solo guarda los que son un "buen reto": ni muy fáciles, ni imposibles.

La inversión: Construir esta fábrica costó unos 1.47 millones de dólares (en computación y tiempo). Es una inversión enorme, pero necesaria para tener datos de alta calidad.

4. El Resultado: Robots que aprenden de verdad

Entrenaron a dos modelos de IA (uno pequeño de 32 mil millones de "células" y otro gigante de 72 mil millones) usando esta nueva fábrica.

• Rendimiento: Estos robots lograron resolver el 66% de los problemas más difíciles de la industria (SWE-bench), superando a todos los demás modelos anteriores. Es como si un estudiante de ingeniería pasara de aprobar un 60% a un 90% en el examen final.
• Escalabilidad: Descubrieron que cuanto más practican, mejor se ponen, y no parece que vayan a cansarse nunca. No hay un "techo" donde dejar de mejorar; más datos de calidad siempre significan mejores resultados.
• Efecto Secundario Sorprendente: Al entrenarlos para arreglar código, también se volvieron más inteligentes en matemáticas y ciencias. ¡Parece que aprender a pensar lógicamente para arreglar un código ayuda a resolver problemas de física o matemáticas!

En resumen

OpenSWE es como si la comunidad científica decidiera construir una Universidad de Ingeniería de Software gigante y abierta, con miles de laboratorios reales, y le dijera a todos: "Aquí tienen los planos, los laboratorios y los problemas. ¡Aprendan!".

Gracias a esto, ahora tenemos los mejores "robots programadores" del mundo, y lo más importante: todos podemos ver cómo los hicimos y aprender de ellos.

¿Dónde encontrarlo?
Todo está disponible gratis en GitHub para que cualquiera lo use y mejore: github.com/GAIR-NLP/OpenSWE.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo OpenSWE: Entorno de Síntesis de SWE Abierto a Escala (daVinci-Env), presentado por el equipo SII-GAIR.

1. El Problema

El entrenamiento de agentes de ingeniería de software (SWE) autónomos requiere entornos ejecutables, verificables y dinámicos que permitan bucles de retroalimentación iterativa (edición de código, ejecución de pruebas y refinamiento). Sin embargo, existen dos barreras principales:

• Limitaciones de Escala y Diversidad: Los conjuntos de datos de código abierto existentes (como SWE-rebench) son limitados en tamaño y diversidad de repositorios.
• Opacidad Industrial: Las soluciones industriales a gran escala son opacas, con infraestructura no liberada, lo que crea una barrera prohibitiva para la mayoría de los grupos de investigación académica.
• Calidad de los Datos: Los entornos sintetizados a menudo sufren de desalineación PR-Issue (el parche no resuelve realmente el problema descrito) o trivialidad (el problema revela directamente la solución), lo que genera señales de aprendizaje ineficaces o imposibles de resolver.

2. Metodología: OpenSWE

El equipo presenta OpenSWE, el marco más grande y totalmente transparente para el entrenamiento de agentes SWE en Python. La metodología se basa en un pipeline de síntesis multi-agente desplegado en un clúster distribuido de 64 nodos.

A. Pipeline de Síntesis Multi-Agente

El sistema automatiza la creación de entornos Docker a partir de PRs de GitHub mediante los siguientes agentes interconectados:

1. Recolección y Filtrado de PRs: Se recopilan PRs de repositorios Python (mínimo 5 estrellas) que tengan descripciones de problemas (issues) y cambios de código sustanciales (excluyendo solo pruebas).
2. Exploración de Repositorios: Un agente ligero explora el repositorio local para extraer metadatos de configuración (README, dependencias, flujos de CI) necesarios para la construcción del entorno.
3. Construcción de Dockerfile: Un agente genera contenedores Docker reproducibles. Utiliza una estrategia de imágenes base pre-construidas (para evitar timeouts de red) y optimiza las capas del Dockerfile para reutilización eficiente.
4. Construcción de Scripts de Evaluación: Genera scripts Bash que ejecutan las pruebas relevantes. A diferencia de enfoques anteriores, estos scripts pueden sintetizar nuevos casos de prueba si es necesario y utilizan marcadores de salida específicos (OPENSWE EXIT CODE) para determinar la corrección.
5. Análisis de Pruebas y Validación: Un agente analiza los resultados de la ejecución. Si falla, diagnostica si el error es de configuración (Dockerfile), de script o si el entorno es inherentemente irresoluble, proporcionando retroalimentación iterativa a los agentes anteriores.

B. Pipeline de Filtrado Centrado en la Calidad

Para garantizar la eficiencia del aprendizaje, se implementa un filtro de dificultad:

• Se eliminan los entornos irresolubles o triviales.
• Se retienen solo aquellos que maximizan la señal de aprendizaje, caracterizando la dificultad inherente de cada entorno.
• Se realiza un muestreo de trayectorias (trajectories) para curar los datos finales.

C. Infraestructura y Costos

• Escala: 64 nodos ECS (Elastic Compute Service) con 32 vCPUs y 128 GB de RAM cada uno.
• Costo: Aproximadamente $891,000 en construcción de entornos y $576,000 adicionales en muestreo y curación, totalizando $1.47 millones de inversión.
• Resultado: 45,320 entornos Docker ejecutables derivados de 12,800 repositorios únicos.

3. Contribuciones Clave

1. Escala sin Precedentes y Transparencia Total: Liberación de 45,320 entornos ejecutables, incluyendo todos los Dockerfiles, scripts de evaluación y el pipeline de síntesis distribuido, permitiendo la reproducibilidad total.
2. Curación Basada en Dificultad: Propuesta de un pipeline de filtrado que elimina instancias de baja calidad (irresolubles o triviales), resultando en ~13,000 trayectorias curadas de ~9,000 entornos de alta calidad.
3. Validación Empírica Robusta: Demostración de que la combinación de escalado de datos y filtrado consciente de la dificultad es esencial para el rendimiento de los agentes.

4. Resultados Experimentales

Los modelos entrenados con OpenSWE establecieron nuevos estándares (SOTA) en la serie Qwen2.5:

• Rendimiento en SWE-bench Verified:
  • OpenSWE-32B: 62.4% (supera a todos los métodos SFT de 32B existentes).
  • OpenSWE-72B: 66.0% (supera a daVinci-Dev-72B en un 7.5%).
• Comparación con SWE-rebench: Los modelos entrenados en OpenSWE superan consistentemente a los entrenados en SWE-rebench en todas las configuraciones (tamaño de modelo y scaffold de agente), con mejoras de hasta 12.2 puntos absolutos en configuraciones específicas.
• Análisis de Escalado de Datos: Se observa una tendencia de mejora log-lineal con el aumento de pasos de entrenamiento, sin signos de saturación, indicando que más datos de alta calidad siguen generando ganancias.
• Generalización Fuera de Dominio: El entrenamiento enfocado en SWE mejoró significativamente otras capacidades:
  • Hasta +12 puntos en razonamiento matemático (MATH-500).
  • Hasta +5 puntos en benchmarks de ciencias (SuperGPQA, SciBench).
  • Sin degradación en la recuperación de hechos (MMLU, TriviaQA).

5. Significado e Impacto

OpenSWE cierra la brecha entre las soluciones industriales opacas y la investigación académica, proporcionando una infraestructura masiva y transparente.

• Democratización: Permite que grupos de investigación sin recursos industriales masivos accedan a datos de entrenamiento de clase mundial.
• Eficacia del Entrenamiento: Demuestra que la calidad y la dificultad adecuada de los datos son tan críticas como la cantidad; el filtrado inteligente es tan importante como el escalado bruto.
• Transferencia de Habilidades: Confirma que el entrenamiento en tareas complejas de ingeniería de software mejora las capacidades de razonamiento lógico y planificación de los LLMs, beneficiando áreas como las matemáticas y la ciencia, no solo la generación de código.

El código, los datos y los scripts están disponibles públicamente en el repositorio de GitHub del proyecto, fomentando la mejora continua de la comunidad.