Hybrid-Gym: Training Coding Agents to Generalize Across Tasks

1. O Problema

Os benchmarks atuais para avaliar agentes de codificação (como o SWE-Bench) focam predominantemente na resolução de problemas isolados (issue-solving) no GitHub. No entanto, na prática real, os agentes de codificação precisam realizar tarefas diversas e complexas que envolvem habilidades como exploração de bases de código, geração de testes e design de arquitetura.

O artigo identifica duas lacunas principais:

• Falta de Generalização: Modelos treinados apenas em uma tarefa específica (ex: resolver issues) tendem a sofrer de overfitting e não transferem bem suas habilidades para outras tarefas (ex: geração de testes ou implementação de bibliotecas).
• Custo de Escalabilidade: A construção de conjuntos de dados de treinamento existentes frequentemente exige a configuração de repositórios executáveis (instalação de pacotes, geração de testes executáveis), o que é complexo, caro e difícil de automatizar em larga escala.

2. Metodologia: HYBRID-GYM

Os autores propõem o HYBRID-GYM, um ambiente de treinamento e conjunto de dados sintéticos projetados para ensinar habilidades transferíveis aos agentes de codificação, sem a necessidade de configurar repositórios executáveis complexos.

Análise e Decomposição de Tarefas

Os autores decompõem as trajetórias de agentes bem-sucedidos em componentes intermediários:

1. Raciocínio: Planejamento e tomada de decisão.
2. Exploração de Repositório (Repo-Exploration): Navegação e localização de arquivos/funções.
3. Implementação: Edição de arquivos e geração de código.
4. Execução e Verificação: Rodar testes e validar soluções.

A análise revelou que cerca de 68% das ações em trajetórias bem-sucedidas (raciocínio, exploração e implementação) não dependem da configuração de um repositório executável completo.

Princípios de Design de Tarefas

Com base na análise, foram estabelecidos quatro princípios para criar tarefas de treinamento escaláveis:

1. Formato de Saída: Deve corresponder ao formato das tarefas downstream (gerar um patch de código/edição de arquivo, não apenas texto).
2. Exploração de Repositório: A tarefa deve exigir que o agente explore o repositório para localizar arquivos, não apenas gerar código em um arquivo isolado.
3. Raciocínio Não Trivial: A tarefa deve exigir decisões substantivas (estratégia de solução, argumentos de ferramentas), evitando tarefas simples de substituição de strings.
4. Configuração Simples: A tarefa não deve exigir a instalação de pacotes complexos ou repositórios executáveis completos.

As 4 Tarefas do HYBRID-GYM

O conjunto de dados consiste em quatro tarefas sintéticas que satisfazem os princípios acima:

1. Localização de Função (Function Localization): Dada uma descrição, o agente deve encontrar a função correta no código e adicionar uma docstring com o plano de correção.
2. Localização de Issue (Issue Localization): Dado um problema do GitHub, o agente deve localizar o código relevante e comentar com um plano de solução.
3. Busca de Dependências (Dependency Search): Dada uma função, o agente deve identificar e comentar todos os módulos que ela chama diretamente.
4. Geração de Função (Function Generation): O agente recebe uma descrição de uma função (com o corpo removido) e deve reimplantá-la. Para validação, usa-se uma técnica adaptada (RepoST) para isolar a função e gerar testes para um script separado, evitando a instalação do repositório inteiro.

3. Contribuições Principais

• Novo Paradigma de Treinamento: Demonstrar que é possível treinar agentes generalistas sem a sobrecarga de configurar ambientes executáveis completos para cada exemplo de treinamento.
• Conjunto de Dados Escalável (HYBRID-GYM): Um dataset de 4.470 trajetórias geradas a partir de 762 repositórios, com custo de configuração extremamente baixo (apenas 2 imagens Docker e ~0,07 centavos por exemplo, vs. 2,32 centavos em datasets anteriores).
• Princípios de Transferência: Estabelecimento de diretrizes claras sobre o que é necessário para que tarefas sintéticas se transfiram para tarefas do mundo real (formato de saída, exploração e complexidade).
• Análise de Transferência: Estudo controlado mostrando que a diversidade de repositórios no treinamento é mais importante do que treinar nos mesmos repositórios de avaliação, e que a complexidade da trajetória (número de passos) é um fator crítico de sucesso.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo Qwen2.5Coder-32B e avaliados em três benchmarks do mundo real: SWE-Bench Verified (resolução de issues), SWT-Bench Verified (geração de testes) e Commit-0 Lite (construção de bibliotecas).

• Generalização Superior: Treinado apenas no HYBRID-GYM (sem dados de downstream), o modelo obteve ganhos absolutos significativos:
  • +25,4% no SWE-Bench Verified.
  • +7,9% no SWT-Bench Verified.
  • +5,1% no Commit-0 Lite.
  • Nota: Esses resultados superam ou igualam modelos treinados com dados específicos de cada domínio (in-domain).
• Complementaridade: A combinação do HYBRID-GYM com datasets existentes (como SWE-Play) resultou em melhorias adicionais (ex: +4,9% no SWT-Bench), indicando que as habilidades gerais aprendidas no HYBRID-GYM complementam o conhecimento específico de domínio.
• Análise de Escala: O desempenho continua a melhorar conforme o tamanho dos dados de treinamento aumenta (até 4.4k trajetórias), validando a escalabilidade da abordagem.

5. Significado e Impacto

O trabalho do HYBRID-GYM é significativo porque:

1. Reduz a Barreira de Entrada: Torna viável a criação de grandes conjuntos de dados de treinamento para agentes de codificação, removendo o gargalo da configuração de ambientes executáveis.
2. Foca em Habilidades Fundamentais: Em vez de memorizar soluções de problemas específicos, o método ensina habilidades centrais (exploração, raciocínio, edição de arquivos) que são comuns a quase todas as tarefas de engenharia de software.
3. Direciona Pesquisas Futuras: Fornece evidências empíricas de que a estrutura da trajetória (ex: separar raciocínio de ações pode ser prejudicial) e a diversidade dos dados são mais importantes do que a simples quantidade de dados de tarefas específicas.

Em resumo, o HYBRID-GYM demonstra que agentes de codificação podem ser treinados de forma eficiente e escalável em tarefas sintéticas bem desenhadas para alcançar um alto nível de generalização em tarefas complexas do mundo real, superando métodos que dependem exclusivamente de dados de tarefas específicas.