Resumo Técnico: OPEN-SWE-TRACES

Declaração do Problema

O avanço de agentes de engenharia de software (SWE) autônomos é atualmente limitado por uma severa escassez de dados de trajetória diversos e de grande escala. Embora os benchmarks de avaliação como o SWE-bench e suas variantes multilíngues tenham se expandido para avaliar a resolução de problemas em nível de repositório em várias linguagens de programação, a comunidade de desenvolvimento carece dos ambientes pré-construídos necessários e das traçagens de interação de alta fidelidade exigidas para um treinamento de modelo robusto. Os recursos existentes frequentemente falham em suportar os frameworks de raciocínio de "modo duplo" que emergem nos modelos de fundação de ponta, que requerem dados distintos tanto para o planejamento complexo de múltiplos passos ("pensar") quanto para respostas rápidas orientadas à execução ("não pensar").

Metodologia

Os autores introduzem o OPEN-SWE-TRACES, um pipeline de construção de dataset abrangente projetado para preencher a lacuna entre a avaliação estática e o treinamento de agentes em larga escala.

1. Fonte e Seleção de Dados

O dataset é sintetizado a partir de 20.000 Pull Requests (PRs) do mundo real extraídos do SWE-rebench-V2, um ambiente de tarefas conteinerizado que abrange 20 linguagens de programação. Para garantir a integridade legal e a conformidade de redistribuição, os autores aplicaram heurísticas rigorosas:

• Escopo de Linguagem: Limitado a nove linguagens: Python, Go, TypeScript, JavaScript, Rust, Java, PHP, C e C++.
• Licenciamento: Apenas repositórios sob licenças permissivas (MIT, Apache-2.0, BSD 2/3-Clause) foram incluídos.

2. Síntese de Modo Duplo

Para capturar todo o espectro do comportamento de agentes, os autores empregaram uma estratégia de síntese de raciocínio híbrida usando um ensemble de modelos de última geração:

• Modo de Pensamento (Thinking Mode): Gerado usando Minimax-M2.2.5, produzindo trajetórias com raciocínio interno explícito de "Cadeia de Pensamento" (Chain-of-Thought - CoT).
• Modo de Não-Pensamento (Non-Thinking Mode): Gerado usando Qwen3.5-122B, fornecendo traçagens de uso de ferramentas de alta qualidade sem etapas de raciocínio explícitas.
• Frameworks: A síntese foi conduzida dentro dos harnesses OpenHands e SWE-agent (especificamente suas extensões multilíngues, MOpenHands e MSWE-agent).

3. Filtragem de Qualidade e Segurança

Um pipeline de filtragem de múltiplos estágios rigoroso foi implementado para garantir a solidez técnica:

• Validação de Tempo de Execução (Runtime Validation): Descartou trajetórias corrompidas resultantes de exceções de ambiente ou sequências de interação incompletas.
• Poda Comportamental (Behavioral Pruning): Removeu instâncias de tarefas incompletas (atingindo limites de iteração), invalidade estrutural (patches vazios ou "hacking de suíte de testes") e anomalias de uso de ferramentas.
• Detecção de Git Hacking: Um framework customizado, TrajectoryScanner, utilizou análise de Árvore de Sintaxe Abstrata (AST) para auditar comandos Bash. Ele podou sistematicamente trajetórias que exibiam "git hacking" — tentativas de contornar a resolução de problemas extraindo soluções de metadados do repositório (ex: git log, git blame, reflog).

4. Destilação de Modelo

O dataset foi utilizado para o ajuste fino (fine-tuning) da série Qwen3-30B-A3B (incluindo variantes Thinking, Coder e Instruct). O modelo resultante, OPEN-SWE-AGENT, suporta operação de modo duplo via gatilhos /think e /no_think. O treinamento utilizou uma taxa de aprendizado de 1e-5, um tamanho de lote (batch size) de 32 e uma janela de contexto de até 131.072 tokens (expandida para 262.144 durante a inferência).

Principais Contribuições

1. Dataset OPEN-SWE-TRACES: O maior corpus de trajetórias multilíngues até o momento, contendo 207.489 traçagens de agentes de alta fidelidade. É unicamente estruturado para suportar o desenvolvimento de agentes de modo duplo, com aproximadamente 51,7% das traçagens contendo raciocínio interno.
2. OPEN-SWE-AGENT: Um agente de código aberto ajustado que demonstra a eficácia da destilação de modo duplo. Ele alcança desempenho de estado da arte entre modelos de código aberto de tamanho comparável.
3. Análise Sistemática: Um estudo empírico isolando os impulsionadores de desempenho, incluindo o impacto da seleção do modelo base, filtragem de dados (apenas resolvidos vs. corpus completo) e os efeitos de escala do treinamento multilíngue versus apenas Python.

Resultados Experimentais

Os autores avaliaram o OPEN-SWE-AGENT em três benchmarks:

• SWE-bench Verified (500 problemas em Python): O melhor modelo alcançou uma taxa de resolução de 61,7% (usando o gatilho /no_think com MSWE-agent), representando um ganho absoluto significativo sobre o modelo base (51,6%) e baselines de código aberto concorrentes.
• SWE-bench Multilingual (300 tarefas em 8 linguagens): O modelo alcançou uma taxa de resolução de 57,1%, demonstrando fortes capacidades de transferência cross-lingual.
• SWE-bench Pro (731 tarefas complexas): O modelo alcançou uma taxa de resolução de 36,8%, um desempenho notável em tarefas de engenharia reais e rigorosas.

Achados de Ablação:

• Dados Multilíngues: Treinar no dataset multilíngue completo proporcionou um aumento substancial sobre o treinamento apenas em Python, particularmente para tarefas não-Python (+14% de ganho absoluto em algumas configurações).
• Filtragem de Dados: Incluir trajetórias "não resolvidas" (corpus completo) provou ser superior a treinar exclusivamente em dados "apenas resolvidos", ajudando os modelos a navegar em estados complexos mesmo sem correções bem-sucedidas.
• Generalização entre Harnesses: Embora a generalização entre harnesses (OpenHands vs. SWE-agent) seja possível, existe uma penalidade de desempenho. Modelos treinados no MSWE-agent transferiram-se mais efetivamente para o MOpenHands do que o contrário.

Significância e Alegações

O artigo posiciona o OPEN-SWE-TRACES como um recurso primordial para destilar capacidades de engenharia de software de nível humano em modelos de linguagem (LLMs) de agentes eficientes e de código aberto. Os autores alegam que o dataset aborda com sucesso a escassez de recursos que impede o avanço do campo, permitindo o treinamento da próxima geração de agentes autônomos de modo duplo.

Os resultados estabelecem que combinar modalidades de pensamento explícito com traçagens comportamentais de alta qualidade é um caminho altamente eficaz para o desenvolvimento de agentes especializados. Ao fornecer um dataset que captura tanto o processo de "pensar" quanto a execução do "fazer", o trabalho facilita a criação de modelos capazes de raciocínio de longo horizonte, mantendo a velocidade de execução para operações padrão. Os autores concluem que sua abordagem estabelece um novo baseline para a engenharia de software autônoma de código aberto, validando a necessidade de dados de trajetória de grande escala, diversos e rigorosamente filtrados.