RepoLaunch: Automating Build&Test Pipeline of Code Repositories on ANY Language and ANY Platform

O artigo apresenta o RepoLaunch, o primeiro agente capaz de automatizar a resolução de dependências, compilação e extração de resultados de testes em repositórios de código de qualquer linguagem e plataforma, permitindo a criação escalável de conjuntos de dados para treinamento e avaliação de agentes de engenharia de software.

O essencial

Imagine que você é um chef de cozinha talentoso (um Inteligência Artificial ou LLM) que sabe cozinhar pratos incríveis (escrever código). O problema é que, antes de você poder cozinhar, alguém precisa preparar a cozinha inteira: trazer os ingredientes, ligar o forno, garantir que a pia tenha água e que a faca esteja afiada.

No mundo do desenvolvimento de software, essa "preparação da cozinha" é extremamente difícil. Cada projeto de código é como uma receita diferente: alguns precisam de ingredientes específicos, outros exigem fornos de tipos diferentes (Windows, Linux) e as instruções muitas vezes estão faltando ou são confusas.

Até agora, os humanos tinham que fazer essa preparação manualmente para cada projeto, o que levava dias e era muito chato.

Aqui entra o RepoLaunch.

O Que é o RepoLaunch?

Pense no RepoLaunch como um robô mordomo superinteligente e versátil.

1. O Mordomo Universal: Diferente de outros robôs que só sabem cozinhar pratos italianos (apenas Python no Linux), o RepoLaunch pode lidar com qualquer tipo de cozinha (qualquer linguagem de programação) e qualquer tipo de casa (Windows, Linux, etc.).
2. A Missão: Ele entra na "cozinha" (o repositório de código), lê as instruções, compra os ingredientes (instala dependências), liga o forno (compila o código) e testa se o prato ficou bom (executa os testes).
3. O Grande Truque: Ele faz tudo isso sozinho. Se algo der errado (o forno não liga), ele pesquisa na internet, tenta outra coisa e continua até conseguir.

Como Funciona a "Cozinha" (O Processo)

O papel descreve o RepoLaunch em três etapas principais, como se fosse um serviço de entrega de comida:

• Preparação (A Chegada): O robô olha para a cozinha vazia e decide qual "base" usar. Ele escolhe o tipo de forno e os utensílios básicos necessários para aquele tipo de receita específica.
• Construção (O Cozimento): Ele começa a montar o prato. Instala as ferramentas, mistura os ingredientes e tenta cozinhar. Se o prato queimar, ele tenta de novo, ajustando o fogo ou trocando o tempero, até que o prato saia perfeito.
• Liberação (O Prato Pronto): Uma vez que o prato está pronto, ele cria um "cardápio" (comandos de reconstrução) e um "sistema de avaliação" (como ler se o prato está bom ou ruim). Agora, qualquer outro chef (ou IA) pode pegar esse prato pronto, tentar modificá-lo e ver se fica ainda melhor.

Por Que Isso é Importante? (A Metáfora do Treino de Atletas)

Imagine que você quer treinar um atleta (uma IA) para ser o melhor do mundo em resolver problemas complexos.

• Antes: Você tinha que montar o ginásio, calibrar as máquinas e criar os obstáculos manualmente para cada treino. Isso limitava quantos atletas você podia treinar.
• Com o RepoLaunch: Você tem um robô que monta o ginásio inteiro, cria os obstáculos e verifica se o atleta passou ou falhou, tudo automaticamente.

Isso permite criar milhares de cenários de treino (benchmarks) em diferentes idiomas e sistemas operacionais. O papel mostra que, graças a esse robô, eles conseguiram criar novos testes para IAs em linguagens como C++, Java, Rust e até para o sistema Windows, algo que antes era quase impossível de fazer em escala.

Os Resultados

O robô foi testado e funcionou muito bem:

• Conseguiu preparar a "cozinha" em cerca de 70% dos casos (o que é impressionante, considerando a complexidade).
• Permitiu que IAs modernas (como o Claude e o GPT) fossem treinadas e testadas nesses novos ambientes.
• Descobriu onde as IAs falham: muitas vezes, elas não sabem como "ligar o forno" (configurar o ambiente) ou não conseguem ler o "termômetro" (interpretar os resultados dos testes).

Conclusão

Em resumo, o RepoLaunch é a ferramenta que automatiza a parte mais chata e difícil da engenharia de software: preparar o ambiente de trabalho.

Ao fazer isso, ele libera os humanos para criarem problemas interessantes e permite que as IAs aprendam a resolver problemas reais em qualquer lugar, seja num computador com Windows ou num servidor Linux, em qualquer linguagem que você imaginar. É como ter um mordomo que garante que a cozinha esteja sempre pronta para o próximo grande chef (ou IA) entrar e criar algo incrível.

Resumo técnico

Resumo Técnico: RepoLaunch

1. Problema

A construção e configuração de repositórios de software (repos) para fins de teste e avaliação de agentes de IA exigem um esforço manual significativo. Os desafios principais incluem:

• Heterogeneidade: Configurações variam amplamente entre diferentes linguagens de programação e sistemas operacionais (ex: Windows vs. Linux).
• Falta de Documentação: A documentação é frequentemente incompleta ou desatualizada.
• Complexidade de Dependências: Erros de compilação e dependências específicas de plataforma exigem múltiplas tentativas e erros manuais.
• Limitação de Benchmarks Atuais: Benchmarks existentes (como SWE-bench) focam majoritariamente em Python no Linux. Ferramentas baseadas em regras ou agentes limitados a Python não conseguem escalar para múltiplas linguagens e plataformas, dificultando a criação de grandes conjuntos de dados para treinar e avaliar agentes de codificação (LLMs).

O artigo destaca que, sem um ambiente executável pré-configurado, agentes de IA falham em 65% dos casos apenas na etapa de configurar o ambiente antes de tentar resolver problemas.

2. Metodologia: O Agente RepoLaunch

O RepoLaunch é apresentado como o primeiro agente capaz de resolver automaticamente dependências, compilar código e extrair resultados de testes para repositórios em qualquer linguagem de programação e em qualquer plataforma (Windows e Linux), dado apenas prompts básicos de build/teste e uma imagem de SO base.

O sistema opera através de um fluxo de trabalho multi-agente dividido em três estágios principais:

A. Estágio de Preparação (Preparation)

• Agente de Preparação: Analisa a árvore de arquivos do repositório para identificar arquivos de configuração e instruções.
• Seleção de Imagem Base: Escolhe a imagem de contêiner (Docker) apropriada com base na linguagem e no sistema operacional.
• Inicialização: Inicia o contêiner e copia o repositório para dentro dele, passando o contexto para os próximos estágios.

B. Estágio de Build (Build)

• Agente de Configuração (Setup Agent):
  • Instala dependências e compila o código.
  • Utiliza ferramentas de Bash (para comandos no contêiner) e WebSearch (para buscar soluções de erros externos).
  • Tenta executar comandos de teste de regressão.
• Agente de Verificação (Verify Agent):
  • Valida o resultado do build para mitigar alucinações do agente de configuração.
  • Inspeciona o histórico de comandos para identificar se a maioria dos testes passou.
  • Se falhar, reporta o erro de volta ao Setup Agent para nova tentativa (loop de retry).

C. Estágio de Liberação (Release)

• Agente de Organização (Organize Agent):
  • Comandos de Reconstrução (Rebuild): Filtra e otimiza o histórico de comandos para criar um conjunto mínimo de instruções que permitam reconstruir o projeto após modificações de código.
  • Comandos de Teste e Parser: Gera comandos para executar testes individualmente e cria um parser (função em Python) para extrair o status de cada caso de teste a partir dos logs (preferindo formatos estruturados como JSON/XML).
  • Opcional: Gera scripts para execução de testes granulares e reconstrói o Dockerfile a partir das camadas da imagem.

D. Pipeline Automatizado de Criação de Dados (SWE Dataset Creation)

O RepoLaunch permite a criação automatizada de benchmarks de Engenharia de Software (SWE):

1. Pesquisadores apenas desenham a tarefa (selecionam repositórios, commits e introduzem bugs).
2. O RepoLaunch automatiza a construção do ambiente, a extração de comandos e a validação de testes.
3. O sistema compara o estado dos testes antes e depois da aplicação de uma solução "ground-truth" para validar se a tarefa é viável (ex: casos que falham antes e passam depois).

3. Principais Contribuições

1. Método Agente Generalista: Um agente que automatiza o build e o gerenciamento de status de testes generalizado para qualquer linguagem e plataforma, eliminando o esforço manual tedioso.
2. Pipeline Automatizado de Dataset SWE: Uma infraestrutura completa para criar tarefas SWE para avaliação e treinamento de agentes, onde o design da tarefa é a única intervenção humana. O trabalho libera novos conjuntos de dados: SWE-bench-Live/MultiLang e SWE-bench-Live/Windows.
3. Análise de Padrões de Falha: Uma análise abrangente dos motivos de falha na construção e teste de repositórios por agentes, fornecendo diretrizes para pesquisas futuras.

4. Resultados Experimentais

Desempenho de Construção e Teste

• O RepoLaunch foi testado em 9 linguagens (Python, C/C++, C#, Java, JS/TS, Go, Rust) em Windows e Linux.
• Taxa de Sucesso de Build: Atingiu aproximadamente 70% de taxa de sucesso geral.
  • No Linux, as taxas variaram de ~60% (Go) a ~76% (C#/Java/Python).
  • No Windows, a taxa foi de ~64.5%, indicando maior dificuldade na plataforma.
• Comparação com Baselines: O RepoLaunch superou significativamente o repo2run (limitado a Python e comandos hard-coded) e o SWE-agent (agente genérico sem ferramentas específicas de build).
  • No estágio de Build, o RepoLaunch teve 75.63% de sucesso vs. 62.18% do SWE-agent.
  • No estágio de Release & Validação, o RepoLaunch atingiu 75.56% vs. 51.35% do SWE-agent.

Análise de Falhas

• Estágio de Build: As principais causas de falha foram "Repositório não pronto para produção" (código com erros iniciais), "Timeout de build/teste" e "Falha na resolução de dependências".
• Estágio de Release: As falhas mais comuns foram "Alucinação no estágio de build" (agente relatou sucesso indevidamente) e "Falha em gerar comandos de reconstrução ou parsers de log corretos".
• Desempenho de Agentes em Tarefas: Agentes modernos (como Claude-4.5 e GPT-5.2) alcançaram taxas de sucesso próximas a 30% nas tarefas geradas, uma melhoria significativa em relação aos 15% de modelos anteriores. O C/C++ mostrou-se a linguagem mais fácil, enquanto C# foi a mais difícil.

5. Significado e Impacto

• Escalabilidade: O RepoLaunch permite a criação de milhares de instâncias de tarefas SWE diversificadas, superando a capacidade manual e permitindo o treinamento em larga escala de agentes de codificação.
• Cross-Platform: Preenche uma lacuna crítica ao fornecer suporte robusto para Windows, um ambiente frequentemente ignorado em benchmarks de IA, e para múltiplas linguagens além de Python.
• Adoção Imediata: O artigo relata que o modelo base GLM-5 já utilizou o RepoLaunch para treinamento de agentes, demonstrando sua utilidade prática imediata na comunidade de pesquisa.
• Open Source: O projeto foi lançado como código aberto, incluindo os dados do SWE-bench-Live e imagens executáveis, facilitando a reprodutibilidade e o avanço do estado da arte em Engenharia de Software automatizada.

Em resumo, o RepoLaunch representa um avanço fundamental na automação da infraestrutura de testes de software, transformando a criação de benchmarks de SWE de um processo manual e restrito em um fluxo de trabalho escalável, multi-linguagem e multi-plataforma.