Resumo Técnico: Pull Requests como um Sinal de Treinamento para Edição de Código em Nível de Repositório

Declaração do Problema

A engenharia de software em nível de repositório (SWE) exige que Grandes Modelos de Linguagem (LLMs) compreendam dependências complexas e executem modificações precisas em múltiplos arquivos através de bases de código extensas. Embora sistemas de última geração alcancem alto desempenho em benchmarks como o SWE-bench, eles dependem fortemente de um complexo "andaime agêntico" (agentic scaffolding) — combinando uso de ferramentas, localização estruturada e escalonamento extensivo em tempo de inferência. Essa complexidade obscurece a extensão em que as capacidades de edição em nível de repositório podem ser internalizadas diretamente nos pesos do modelo. Além disso, existe uma lacuna nos dados de treinamento: conjuntos de dados de alta fidelidade (ex: variantes do SWE-bench) são pequenos e caros de curar, enquanto vastos corpora de código (ex: The Stack) carecem dos sinais de edição multi-arquivo estruturados e do alinhamento com o contexto da issue necessários para tarefas de SWE. Pull Requests (PRs) brutos do GitHub oferecem um meio-termo promissor, mas são dominados por ruído, incluindo atividade gerada por bots, alterações não mescladas e modificações de código não essenciais.

Metodologia

Os autores propõem o Clean-PR, um paradigma de mid-training centrado em dados projetado para transformar PRs ruidosos do GitHub em um sinal de treinamento rigoroso para edição em nível de repositório. A metodologia consiste em duas etapas primárias:

1. Construção de Dados Clean-PR

Os autores implementam um pipeline escalável para converter PRs brutos em um corpus verificado de 2 milhões de instâncias (Clean-PR-train) a partir de um total inicial de 16,4 milhões de PRs brutos.

• Filtragem de Ruído e Vinculação de Issues: O pipeline aplica heurísticas estritas para descartar PRs não mesclados, atividade gerada por bots e alterações limitadas a arquivos de documentação ou configuração. Crucialmente, ele vincula os PRs às suas respectivas GitHub Issues para aumentar o contexto de treinamento com a definição original do problema (relatos de bugs/requisições de funcionalidades) em vez de apenas o resumo da solução.
• Reconstrução de Busca/Substituição (Search/Replace): Em vez de usar diffs unificados padrão, que são frágeis devido à dependência de números de linhas instáveis, o pipeline reconstrói os estados do repositório para gerar blocos de edição de Busca/Substituição. Esses blocos são verificados via um processo de aplicação de ida e volta (round-trip): os blocos derivados são aplicados ao estado "antes" para garantir que reproduzam deterministicamente o estado "depois". Isso garante que o sinal de treinamento seja minimalista, único e rico em contexto.
• Estratégia de Amostragem: O conjunto de treinamento final é refinado limitando o escopo a PRs que modificam no máximo cinco arquivos principais, aplicando janelamento de contexto para arquivos grandes e aplicando amostragem equilibrada de repositórios para mitigar o desvio de distribuição.

2. Pipeline de Treinamento Alinhado ao Agentless

Para preencher a lacuna entre as capacidades de edição bruta e o fluxo de trabalho estruturado exigido pelos benchmarks de SWE, os autores empregam um processo de treinamento de dois estágios:

• Mid-Training: O modelo base (Qwen2.5-Coder-32B-Base) é primeiro submetido a mid-training no corpus Clean-PR para internalizar os priors de edição em nível de repositório.
• SFT com Aumento Baseado em Erro: Um estágio de Ajuste Fino Supervisionado (SFT) alinha o modelo com um fluxo de trabalho Agentless simplificado. A tarefa é decomposta em três etapas: (1) Localização de Arquivos, (2) Navegação ao nível de linha e (3) Geração de Patch.
  • Para evitar a "sobre-edição" (modificar arquivos irrelevantes devido à recuperação ruidosa), os autores introduzem o Aumento Baseado em Erro. Isso envolve treinar o modelo em exemplos de "falsos positivos difíceis" (hard negatives), onde arquivos ou regiões de código distratores são injetados. O modelo aprende a identificar contextos relevantes e a rejeitar explicitamente os irrelevantes, em vez de assumir uma recuperação perfeita.

Principais Contribuições

1. Framework Clean-PR: Um pipeline de construção de dados rigoroso que filtra e verifica PRs do GitHub, convertendo-os em um corpus de alta qualidade e verificável de blocos de Busca/Substituição aumentados com contextos de issues.
2. Maior Corpus de PRs Verificados: O lançamento de um dataset contendo 2 milhões de PRs verificados em 12 linguagens de programação (17,7B tokens para treinamento), construído explicitamente para mid-training em edição de nível de repositório.
3. Estratégia de Treinamento Alinhada ao Agentless: Uma abordagem de SFT inovadora usando aumento baseado em erro para ensinar modelos a navegar e editar código sem depender de loops agênticos complexos de múltiplos turnos ou andaimes de ferramentas externas.
4. Avaliação Abrangente: Demonstração de que as capacidades de nível de repositório podem ser codificadas nos pesos do modelo, alcançando resultados de estado da arte no SWE-bench com um protocolo de inferência leve.

Resultados

Avaliado nos benchmarks SWE-bench Lite (300 instâncias) e Verified (500 instâncias) usando um modelo base de 32B parâmetros:

• Ganhos de Desempenho: O modelo Clean-PR alcançou ganhos absolutos de 13,6% no Lite e 12,3% no Verified em comparação com o baseline do modelo instruct.
• Comparação com SOTA: O modelo superou significativamente o SWE-Gym (24,3% vs. 15,3% no Lite; 30,6% vs. 20,6% no Verified), um sistema que depende de frameworks agênticos complexos. Notavelmente, o modelo Clean-PR de 32B superou baselines de 72B parâmetros (Lingma-SWE, SWE-Fixer) em ambos os benchmarks.
• Descobertas de Ablação:
  • Formato: O uso de blocos de Busca/Substituição verificados resultou em taxas de patch válidos mais altas e melhor localização do que os Diffs Unificados padrão.
  • Contexto: Aumentar as descrições de PR com as descrições de Issues vinculadas melhorou significamente o desempenho, confirmando o valor de alinhar a intenção da linguagem natural com o código.
  • Aumento: O aumento baseado em erro melhorou a precisão da localização e reduziu a sobre-edição, levando a ganhos consistentes no Pass@1.
• Generalização: A abordagem transferiu-se efetivamente para modelos de 7B e configurações multilíngues (Multi-SWE-bench Flash). Além disso, o modelo mostrou transferência positiva em benchmarks de codificação geral (HumanEval, LiveCodeBench) sem esquecimento catastrófico, ao contrário de modelos treinados em dados de diff ruidosos.

Significância

O artigo afirma que as capacidades de edição em nível de repositório podem ser efetivamente internalizadas nos pesos do modelo através de um mid-training centrado em dados de alta qualidade. Ao utilizar o paradigma Clean-PR, os modelos podem alcançar um desempenho competitivo de SWE sob um protocolo Agentless simplificado, reduzindo a dependência de andaimes pesados de inferência, loops de planejamento complexos e escalonamento caro em tempo de teste. Isso sugere que a "inteligência" necessária para a engenharia de nível de repositório não é apenas um produto da complexidade do sistema, mas pode ser destilada diretamente no modelo através de construção de dados rigorosa e estratégias de treinamento direcionadas.