daVinci-Env: Open SWE Environment Synthesis at Scale

O artigo apresenta o OpenSWE, o maior framework totalmente transparente para o treinamento de agentes de engenharia de software, que utiliza um pipeline de síntese multiagente para criar milhares de ambientes Docker executáveis e curados, resultando em modelos de IA que alcançam o estado da arte em benchmarks de engenharia de software e demonstram melhorias significativas em raciocínio matemático e científico.

O essencial

Imagine que você quer ensinar um robô a ser um engenheiro de software (alguém que cria e conserta programas de computador). O problema é que, para aprender, esse robô precisa de um "laboratório" real, onde ele possa tentar consertar um código, rodar testes e ver se funcionou. Se o robô errar, ele precisa saber exatamente o que deu errado para tentar de novo.

Até agora, criar esses laboratórios em grande quantidade era como tentar construir uma cidade inteira de brinquedo, bloco por bloco, à mão. Era caro, demorado e muitas vezes os blocos não encaixavam direito.

Aqui está a explicação do papel OpenSWE, usando uma analogia simples:

1. O Problema: A Fábrica de Laboratórios

Antes, existiam dois tipos de "fábricas" para criar esses laboratórios:

• As Fábricas Abertas (Open Source): Tinham poucos laboratórios e eram limitados. Era como ter apenas 10 salas de aula para treinar milhares de alunos.
• As Fábricas Secretas (Indústria): Tinham milhões de laboratórios, mas eram fechadas. Ninguém podia entrar, ver como funcionavam ou usar os dados. Era como uma escola de elite onde só os ricos podiam estudar.

Isso deixava os pesquisadores acadêmicos (os "professores" da ciência) presos, sem material suficiente para treinar seus robôs.

2. A Solução: O "OpenSWE" (A Fábrica Transparente)

A equipe do OpenSWE decidiu construir a maior fábrica de laboratórios do mundo e abrir as portas para todos.

• O Que Eles Fizeram: Eles criaram 45.320 laboratórios (ambientes Docker) baseados em 12.800 repositórios reais de código do GitHub.
• O Custo: Foi um investimento gigante, cerca de 1,47 milhão de dólares (o equivalente a construir uma pequena cidade de testes).
• A Transparência: Diferente das fábricas secretas, eles liberaram tudo: o código, os planos de construção (Dockerfiles) e até o sistema que constrói os laboratórios. É como se eles não apenas dessem o brinquedo, mas também o manual de instruções para você construir o seu próprio.

3. Como Eles Construíram? (A Fábrica de Robôs)

Eles não construíram um por um. Eles criaram um sistema de robôs trabalhando juntos (uma "pipeline multi-agente") em um supercomputador com 64 máquinas.

Imagine uma equipe de construção:

1. O Explorador: Um robô que entra no repositório de código, lê as instruções (README) e descobre o que é necessário para rodar o programa.
2. O Construtor: Outro robô que pega essas informações e monta o "laboratório" (o Docker), garantindo que todas as ferramentas certas estejam lá.
3. O Testador: Um terceiro robô que tenta "quebrar" o laboratório para ver se ele funciona. Se o robô de construção errou, o Testador avisa e eles tentam de novo.
4. O Filtro de Qualidade (O Chefe Rigoroso): Aqui está o segredo. Nem todo problema de código é bom para treinar.
   • Problema 1: O problema é impossível de resolver (o robô nunca vai aprender nada).
   • Problema 2: O problema é bobo demais (a resposta já está escrita na pergunta).
   • O OpenSWE usa inteligência artificial para filtrar esses problemas ruins. Eles jogam fora os que são chatos ou impossíveis e ficam apenas com os desafios "no nível certo" – nem fáceis demais, nem impossíveis.

4. O Resultado: Robôs Superiores

Depois de criar esses laboratórios perfeitos, eles treinaram modelos de IA (robôs) neles.

• Desempenho: Os robôs treinados no OpenSWE ficaram muito melhores do que os treinados em qualquer outro lugar. Eles atingiram recordes mundiais (SOTA) em testes de conserto de software.
• Escala: Quanto mais eles treinavam, melhor ficavam. Não houve ponto de saturação (o robô não parou de aprender mesmo com muitos dados).
• Efeito Colateral Positivo: O interessante é que, ao treinar para consertar códigos complexos, os robôs também ficaram melhores em matemática e ciências. É como se um aluno que estuda engenharia pesada também ficasse mais inteligente em lógica geral. Mas, felizmente, eles não esqueceram fatos básicos (como nomes de capitais ou datas históricas).

Resumo em uma Frase

O OpenSWE é como uma escola de engenharia de software de classe mundial, totalmente gratuita e transparente, que usa robôs para criar milhões de exercícios práticos perfeitos, permitindo que qualquer pessoa treine seus próprios assistentes de IA para se tornarem programadores experts.

Onde encontrar: Tudo está disponível no GitHub para que qualquer pessoa possa baixar, usar e melhorar.

Resumo técnico

Resumo Técnico: OpenSWE – Síntese de Ambientes de Engenharia de Software em Escala

1. O Problema

O desenvolvimento de agentes autônomos de Engenharia de Software (SWE) baseados em Grandes Modelos de Linguagem (LLMs) enfrenta um gargalo crítico: a falta de ambientes executáveis, verificáveis e diversificados em grande escala para treinamento.

• Limitações Atuais: Conjuntos de dados de código aberto existentes (como SWE-rebench) são limitados em escala e diversidade de repositórios. Soluções industriais, embora escaláveis, são opacas e não liberam sua infraestrutura, criando uma barreira proibitiva para a pesquisa acadêmica.
• Qualidade dos Dados: A simples expansão da quantidade de ambientes não é suficiente. Ambientes sintetizados frequentemente sofrem de:
  • Desalinhamento PR-Issue: O patch (correção) submetido não resolve realmente o problema descrito na issue.
  • Trivialidade: A descrição do problema revela diretamente a solução, tornando a tarefa muito fácil e sem valor de aprendizado.
  • Ambientes Insolúveis: Casos onde o ambiente não pode ser configurado ou o problema é intrinsecamente impossível de resolver.

2. Metodologia: OpenSWE

Os autores apresentam o OpenSWE, o maior framework totalmente transparente para treinamento de agentes SWE em Python. O projeto envolveu um investimento total de aproximadamente US$ 1,47 milhão (US$ 891k para construção de ambientes e US$ 576k para curadoria de trajetórias).

A. Infraestrutura e Pipeline de Síntese Multi-Agente
O sistema foi implantado em um cluster distribuído de 64 nós e utiliza um pipeline automatizado de múltiplos agentes para transformar Pull Requests (PRs) do GitHub em ambientes Docker executáveis:

1. Coleta e Filtragem: Coleta de PRs de repositórios Python (mínimo de 5 estrelas). Filtra-se por: viabilidade do repositório, linguagem (Python), existência de descrição de issue associada e mudanças de código substantivas (excluindo apenas testes).
2. Exploração do Repositório: Um agente leve explora o repositório local para coletar evidências de configuração (README, dependências, scripts de CI) sem travessias redundantes.
3. Construção do Dockerfile: Um agente gera o ambiente containerizado. Para evitar falhas de rede e tempo de construção excessivo, utilizam-se imagens base pré-construídas (openswe-python) com dependências e espelhos de pacotes configurados.
4. Geração de Script de Avaliação: Um agente cria scripts bash estruturados para executar os testes relevantes, garantindo que apenas os testes ligados à issue sejam rodados e capturando códigos de saída específicos para validação.
5. Validação e Análise de Testes: O pipeline executa os testes em duas etapas: (1) com o código original (deve falhar) e (2) com o patch de correção (deve passar). Um agente de análise diagnostica falhas (ex: configuração errada do Docker) e fornece feedback iterativo para os agentes construtores.

B. Curadoria Centrada na Qualidade (Difficulty-Aware)
Para garantir a eficiência do aprendizado, o OpenSWE implementa um pipeline de filtragem baseado na dificuldade intrínseca do ambiente:

• Remove instâncias insolúveis ou triviais.
• Seleciona apenas ambientes que oferecem o melhor sinal de aprendizado (dificuldade adequada).
• Resultado final: Aproximadamente 13.000 trajetórias curadas extraídas de cerca de 9.000 ambientes de alta qualidade (dentro de um total de 45.320 ambientes executáveis gerados).

3. Principais Contribuições

1. Escala Sem Precedentes com Transparência Total: Liberação de 45.320 ambientes Docker executáveis provenientes de 12.800 repositórios, com todo o código-fonte, Dockerfiles, scripts de avaliação e infraestrutura de síntese distribuída abertos para reprodução.
2. Filtragem Centrada na Qualidade: Proposição de um pipeline que caracteriza a dificuldade dos ambientes, eliminando dados ruidosos (insolúveis ou triviais) e focando em exemplos que maximizam a eficiência do treinamento.
3. Validação Empírica Robusta: Demonstração de que a combinação de escala de dados e curadoria de dificuldade supera métodos anteriores, estabelecendo novos State-of-the-Art (SOTA).

4. Resultados Experimentais

Os modelos treinados no OpenSWE foram avaliados no benchmark SWE-bench Verified:

• Desempenho SOTA:
  • OpenSWE-32B: Alcançou 62,4% de taxa de resolução.
  • OpenSWE-72B: Alcançou 66,0% de taxa de resolução.
  • Ambos superaram consistentemente modelos treinados no SWE-rebench e outros métodos SFT (Supervised Fine-Tuning) na série Qwen2.5.
• Análise de Escala de Dados:
  • Observou-se uma tendência de melhoria log-linear com o aumento dos passos de treinamento, sem sinais de saturação, indicando que mais ambientes de alta qualidade continuam a gerar ganhos de desempenho.
  • Modelos maiores (72B) beneficiaram-se mais da escala de dados do que modelos menores (32B).
• Generalização (Out-of-Domain):
  • O treinamento focado em SWE resultou em melhorias significativas em benchmarks fora do domínio de software:
    • Até +12 pontos em raciocínio matemático (MATH-500).
    • Até +5 pontos em benchmarks de ciências.
    • Sem degradação na recuperação de fatos (MMLU, TriviaQA).
• Independência do Scaffold: O desempenho superior foi consistente tanto ao usar o agente SWE-Agent quanto o OpenHands, indicando que a qualidade dos dados de treinamento é o fator determinante, não apenas a arquitetura do agente.

5. Significado e Impacto

O OpenSWE representa um marco fundamental para a pesquisa em agentes de software:

• Democratização: Ao tornar pública a infraestrutura completa e os dados, remove a barreira de entrada que antes limitava o avanço em SWE a grandes corporações com recursos ocultos.
• Mudança de Paradigma: Demonstra que a qualidade e a curadoria de dificuldade são tão críticas quanto a escala bruta de dados. Ambientes mal definidos ou triviais não apenas desperdiçam recursos, mas podem prejudicar o aprendizado.
• Caminho Futuro: A ausência de saturação nas curvas de escala sugere que a síntese contínua e curada de ambientes executáveis é o caminho para agentes de software cada vez mais capazes, com potencial de melhorar habilidades de raciocínio lógico e matemático além da programação.

O projeto está disponível publicamente em: https://github.com/GAIR-NLP/OpenSWE.