Resumo Técnico: SWE-Manager

Definição do Problema

Nos fluxos de trabalho reais de engenharia de software, uma etapa crítica precede a geração de código: a seleção de propostas. As equipes frequentemente elaboram múltiplas propostas candidatas para um único problema (ex: correções de bugs, implementações de funcionalidades) e um mantenedor deve selecionar a mais adequada para guiar a implementação. Essa decisão raramente se baseia apenas na viabilidade técnica; ela exige o equilíbrio entre correção, risco de regressão, profundidade da correção, manutenibilidade e restrições organizacionais.

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na geração de código e reparação de bugs, a fase de seleção de propostas permanece subexplorada. Não está claro se as decisões de seleção dos mantenedores dependem de padrões de raciocínio reutilizáveis e aprendíveis ou se são meramente preferências específicas de cada instância. Além disso, benchmarks existentes como o SWE-Lancer formalizam a tarefa de "Gerente", mas não exploram o racional subjacente ou o potencial de sintetizar uma "proposta de ouro" refinada a partir de candidatas concorrentes.

Metodologia

1. Estudo Manual de Discussões no GitHub

Os autores realizaram primeiro um estudo manual de 2.852 issues públicas do GitHub com resultados apoiados por recompensas (bounty-backed) para caracterizar a seleção de propostas no mundo real. Eles analisaram 339 issues amostradas onde existiam múltiplas propostas completas. O estudo revelou três propriedades principais:

• Racionais de Alto Nível Recorrentes: As escolhas dos mantenedores são guiadas por preocupações de engenharia consistentes, principalmente Risco e Segurança (42,8%), Profundidade da Correção (29,2%) e Manutenibilidade (16,2%).
• Comparação Condicionada ao Contexto: A seleção não é uma avaliação isolada de uma única proposta, mas um julgamento comparativo de candidatos contra restrições específicas da issue (ex: preferir uma correção mínima para alto risco de regressão vs. uma correção profunda para fragilidade sistêmica).
• Síntese via Discussão: A direção final da implementação é frequentemente refinada através de discussão, onde suposições são esclarecidas, o escopo é delimitado e observações úteis de propostas concorrentes são integradas.

2. Framework SWE-Manager

Com base nessas descobertas, os autores propõem o SWE-Manager, uma abordagem conjunta de seleção e síntese. O modelo tem a tarefa de:

1. Comparação Conjunta: Analisar o contexto da issue e todas as propostas candidatas simultaneamente.
2. Seleção: Identificar a melhor proposta.
3. Explicação: Justificar a escolha com base nas restrições da issue.
4. Síntese: Gerar uma "proposta de ouro" que consolida os pontos fortes da direção selecionada e as observações úteis de outras propostas em um plano de implementação refinado.

3. Treinamento do Modelo (SWE-Manager-8B)

Os autores instanciaram essa abordagem como SWE-Manager-8B, um modelo de 8 bilhões de parâmetros derivado do Qwen3-8B.

• Preparação de Dados: Um corpus de 2.852 issues foi construído. O GPT-5 foi utilizado para reconstruir rastros de raciocínio comparativo estruturados e propostas de ouro a partir de threads fragmentadas do GitHub, enquanto os rótulos de seleção de verdade fundamental permaneceram ancorados aos reais destinatários das recompensas.
• Estratégia de Treinamento: Foi empregado um processo de dois estágios:
  1. Ajuste Fino Supervisionado (SFT): Para ensinar ao modelo o formato de saída estruturado (rastro de raciocínio, ID de seleção, justificativa, proposta de ouro).
  2. Aprendizado por Reforço (RL): Utilizando DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization) com uma função de recompensa ponderada ($r = 0,4r_{sel} + 0,2r_{think} + 0,2r_{justi} + 0,2r_{gold}$) para otimizar as políticas de tomada de decisão em vez de apenas imitar os racionais.

4. Framework de Avaliação (P2A)

Para avaliar a utilidade downstream da proposta de ouro sintetizada, os autores introduziram o P2A (Proposal-to-Action), um fluxo de trabalho que mimetiza o desenvolvimento real:

1. Agente de Proposta: Gera múltiplas propostas candidatas.
2. Gerente Técnico (SWE-Manager): Seleciona e sintetiza a proposta de ouro.
3. Agente de Implementação: Usa a proposta de ouro para gerar um patch de código.
   Este fluxo de trabalho foi testado no benchmark SWE-Lancer IC para medir as taxas de resolução de issues.

Principais Resultados

Desempenho de Seleção de Proposta (Benchmark SWE-Lancer Manager)

• O SWE-Manager-8B alcançou 53,21% de precisão de seleção e uma taxa de ganho (earned rate) de 57,75% ($152.750).
• Este desempenho superou o GPT-5 (44,15% de precisidade, $99.875 de ganho) e o Qwen3-8B base (34,72% de precisão).
• O SWE-Manager-8B superou o GPT-5 mesmo quando o GPT-5 teve acesso ao código (configuração Agent) para a maioria das contagens de propostas, embora o GPT-5 com acesso ao código tenha performado ligeiramente melhor em instâncias de maior valor ($2K+) e mais complexas (6+ propostas).

Desempenho de Implementação Downstream (Benchmark SWE-Lancer IC)

• Usando o fluxo de trabalho P2A, o SWE-Manager-8B alcançou uma taxa de resolução de issues de 55,6%.
• Isso igualou o desempenho do P2A usando o GPT-5 como gerente e superou o baseline mini-SWE-agent (implementação direta sem seleção de proposta) em 7,1%.
• Ablação de Síntese: Substituir a "proposta de ouro" sintetizada pela "proposta selecionada" bruta degradou significamente o desempenho do SWE-Manager-8B (caindo de uma taxa de passagem de 55,6% para 46,5%), demonstrando que a capacidade de síntese fornece valor tangível além da simples seleção.

Ablações de Treinamento

• Objetivo de Síntese: Treinar o modelo para apenas prever o ID da proposta (sem sintetizar uma proposta de ouro) resultou em menor precisão, sugerindo que a tarefa de síntese força o modelo a engajar-se em um raciocínio comparativo mais profundo.
• Estagiamento de Treinamento: Uma abordagem de dois estágios (SFT seguido de RL) rendeu melhor estabilidade e desempenho do que aplicar RL diretamente ao modelo base.

Significância e Alegações

O artigo afirma que a seleção de propostas é uma capacidade aprendível para LLMs, impulsionada por racionais de engenharia de alto nível recorrentes, em vez de preferências arbitrárias.

• Aprendibilidade: Um modelo pequeno de 8B, quando treinado em dados de seleção de larga escala com um objetivo de síntese, pode superar modelos muito maiores (GPT-5) na seleção da melhor proposta técnica.
• Utilidade Prática: A capacidade de sintetizar uma "proposta de ouro" não é meramente um output auxiliar; ela fornece orientação acionável que melhora significativamente a geração de código downstream e a resolução de issues.
• Integração de Fluxo de Trabalho: O framework P2A demonstra que integrar um papel de "Gerente Técnico" antes da codificação melhora os resultados de engenharia de software de ponta a ponta em comparação com agentes de implementação direta.

Os autores concluem que, embora os modelos atuais mostrem limites de robustez com pools de propostas muito grandes (devido a mudanças na distribuição dos dados de treinamento), a capacidade central de comparação condicionada ao contexto e síntese é uma estratégia viável e eficaz para sistemas de engenharia de software baseados em LLM.