Resumen Técnico: OPEN-SWE-TRACES

Planteamiento del Problema

El avance de los agentes de ingeniería de software (SWE) autónomos está actualmente obstaculizado por una severa escasez de datos de trayectoria diversos y a gran escala. Si bien los entornos de evaluación como SWE-bench y sus variantes multilingües se han expandido para evaluar la resolución de problemas a nivel de repositorio en diversos lenguajes de programación, la comunidad de desarrollo carece de los entornos preconstruidos necesarios y de las trazas de interacción de alta fidelidad requeridas para un entrenamiento robusto de modelos. Los recursos existentes a menudo no logran soportar los marcos de razonamiento de "modo dual" que están emergiendo en los modelos fundacionales insignia, los cuales requieren datos distintos tanto para la planificación compleja de múltiples pasos ("pensar") como para respuestas rápidas orientadas a la ejecución ("no pensar").

Metodología

Los autores presentan OPEN-SWE-TRACES, un pipeline de construcción de conjuntos de datos integral diseñado para cerrar la brecha entre la evaluación estática y el entrenamiento de agentes a gran escala.

1. Fuente y Selección de Datos

El conjunto de datos es sintetizado a partir de 20,000 Pull Requests (PRs) del mundo real provenientes de SWE-rebench-V2, un entorno de tareas contenedorizado que abarca 20 lenguajes de programación. Para asegurar la integridad legal y el cumplimiento de la redistribución, los autores aplicaron heurísticas estrictas:

• Alcance de Lenguaje: Limitado a nueve lenguajes: Python, Go, TypeScript, JavaScript, Rust, Java, PHP, C y C++.
• Licenciamiento: Solo se incluyeron repositorios bajo licencias permisivas (MIT, Apache-2.0, BSD 2/3-Clause).

2. Síntesis de Modo Dual

Para capturar todo el espectro del comportamiento de los agentes, los autores emplearon una estrategia de síntesis de razonamiento híbrida utilizando un ensamble de modelos de vanguardia:

• Modo de Pensamiento (Thinking Mode): Generado mediante Minimax-M2.5, produciendo trayectorias con un "Chain-of-Thought" (CoT) interno explícito.
• Modo de No Pensamiento (Non-Thinking Mode): Generado mediante Qwen3.5-122B, proporcionando trazas de uso de herramientas de alta calidad sin pasos de razonamiento explícitos.
• Frameworks: La síntesis se llevó a cabo dentro de los entornos OpenHands y SWE-agent (específicamente sus extensiones multilingües, MOpenHands y MSWE-agent).

3. Filtrado de Calidad y Seguridad

Se implementó un riguroso pipeline de filtrado de múltiples etapas para asegurar la solidez técnica:

• Validación en Tiempo de Ejecución: Se descartaron trayectorias corruptas resultantes de excepciones del entorno o secuencias de interacción incompletas.
• Poda de Comportamiento: Se eliminaron instancias de tareas incompletas (al alcanzar límites de iteración), invalidez estructural (parches vacíos o "hackeo de suites de prueba") y anomalías en el uso de herramientas.
• Detección de Git Hacking: Un framework personalizado, TrajectoryScanner, utilizó el análisis de Árbol de Sintaxis Abstracta (AST) para auditar comandos de Bash. Podó sistemáticamente las trayectorias que exhibían "git hacking": intentos de eludir la resolución de problemas extrayendo soluciones de los metadatos del repositorio (por ejemplo, git log, git blame, reflog).

4. Destilación de Modelos

El conjunto de datos se utilizó para el ajuste fino (fine-tuning) de la serie Qwen3-30B-A3B (incluyendo las variantes Thinking, Coder e Instruct). El modelo resultante, OPEN-SWE-AGENT, soporta la operación de modo dual mediante los disparadores /think y /no_think. El entrenamiento utilizó una tasa de aprendizaje de 1e-5, un tamaño de lote de 32 y una ventana de contexto de hasta 131,072 tokens (expandida a 262,144 durante la inferencia).

Contribuciones Clave

1. Dataset OPEN-SWE-TRACES: El corpus de trayectorias multilingües más grande hasta la fecha, que contiene 207,489 trazas de agentes de alta fidelidad. Está estructurado de forma única para soportar el desarrollo de agentes de modo dual, con aproximadamente el 51.7% de las trazas conteniendo razonamiento interno.
2. OPEN-SWE-AGENT: Un agente de código abierto ajustado que demuestra la eficacia de la destilación de modo dual. Alcanza un rendimiento de vanguardia entre los modelos de código abierto de tamaño comparable.
3. Análisis Sistemático: Un estudio empírico que aísla los impulsores del rendimiento, incluyendo el impacto de la selección del modelo base, el filtrado de datos (solo resueltos vs. corpus completo) y los efectos de escalado de la formación multilingüe frente a la de solo Python.

Resultados Experimentales

Los autores evaluaron OPEN-SWE-AGENT en tres benchmarks:

• SWE-bench Verified (500 problemas de Python): El modelo con mejor desempeño logró una tasa de resolución del 61.7% (usando el disparador /no_think con MSWE-agent), lo que representa una ganancia absoluta significativa sobre el modelo base (51.6%) y los baselines de código abierto competidores.
• SWE-bench Multilingual (300 tareas en 8 lenguajes): El modelo logró una tasa de resolución del 57.1%, demostrando fuertes capacidades de transferencia translingüística.
• SWE-bench Pro (731 tareas complejas): El modelo alcanzó una tasa de resolución del 36.8%, un desempeño notable en tareas de ingeniería reales y rigurosas.

Hallazgos de Ablación:

• Datos Multilingües: Entrenar con el conjunto de datos multilingüe completo proporcionó un impulso sustancial sobre el entrenamiento exclusivo de Python, particularmente para tareas no relacionadas con Python (+14% de ganancia absoluta en algunas configuraciones).
• Filtrado de Datos: Incluir trayectorias "no resueltas" (corpus completo) resultó superior a entrenar exclusivamente con datos "solo resueltos", ayudando a los modelos a navegar estados complejos incluso sin correcciones exitosas.
• Generalización entre Harnesses: Aunque la generalización entre harnesses (OpenHands vs. SWE-agent) es posible, existe una penalización de rendimiento. Los modelos entrenados en MSWE-agent se transfirieron de manera más efectiva a MOpenHands que viceversa.

Significado y Reivindicaciones

El artículo posiciona a OPEN-SWE-TRACES como un recurso de primer nivel para destilar capacidades de ingeniería de software de nivel humano en modelos de lenguaje de agentes de código abierto y eficientes. Los autores afirman que el conjunto de datos aborda con éxito la escasez de recursos que obstaculiza el campo, permitiendo el entrenamiento de la próxima generación de agentes autónomos de modo dual.

Los resultados establecen que combinar modalidades de pensamiento explícito con trazas de comportamiento de alta calidad es un camino altamente efectivo para desarrollar agentes especializados. Al proporcionar un conjunto de datos que captura tanto el proceso de "pensar" como la ejecución del "hacer", el trabajo facilita la creación de modelos capaces de un razonamiento de largo horizonte mientras mantienen la velocidad de ejecución para operaciones estándar. Los autores concluyen que su enfoque establece un nuevo estándar para la ingeniería de software autónoma de código abierto, validando la necesidad de datos de trayectoria a gran escala, diversos y rigurosamente filtrados.