Resumo Técnico: SWE-Doctor

Declaração do Problema

Agentes de engenharia de software baseados em Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para resolver problemas de software ao gerar patches a partir de relatórios de problemas e repositórios de código. Um componente crítico desses agentes é o Teste de Reprodução de Bug (BRT - Bug Reproduction Test), que converte relatórios de bugs textuais em feedback executável. Embora estudos recentes tenham demonstrado que os BRTs são eficazes para a validação de patches (verificar se um patch gerado passa em um teste), permanece incerto se os BRTs podem guiar efetivamente a etapa de geração de patch em si, que é mais central e desafiadora.

Um estudo preliminar conduzido pelos autores revela que usar diretamente geradores de BRT avançados para guiar a geração de patches não é benéfico. Dois modos principais de falha foram identificados:

1. Limitações de Falha-para-Passagem (F→P): Mesmo quando um BRT reproduz com sucesso um bug (falha no código original, passa no código corrigido), ele frequentemente cobre apenas uma manifestação do problema relatado. Isso leva os agentes a produzirem patches parciais que satisfazem o teste específico, mas deixam outros requisitos comportamentais declarados sem atendimento.
2. Engano de Falha-para-Falha (F→F): Quando um BRT gerado falha tanto no código original quanto no repositório corrigido (ground-truth), usá-lo como um alvo direto de passar/falhar induz o agente ao erro, pois o teste não captura corretamente o comportamento que dispara o bug ou o comportamento esperado da correção.

Metodologia: SWE-Doctor

Para abordar essas limitações, os autores propõem o SWE-Doctor, um agente de resolução de problemas de software que guia a geração de patches através de geração de BRT multifacetada e diagnóstico fundamentado em tempo de execução. O sistema opera por meio de um pipeline de três estágios:

1. Geração de BRT Multifacetada

Em vez de gerar um único teste por problema, o SWE-Doctor decompõe o relatório do problema em múltiplas exigências comportamentais (ex: saídas específicas, condições de exceção ou necessidades de compatibilidade).

• Extração de Requisitos: Um LLM extrai comportamentos observáveis do relatório do problema.
• Geração Direcionada: Para cada requisito, o agente realiza a localização de bugs em nível de requisito para identificar arquivos e funções relevantes da origem. Em seguida, gera um BRT direcionado através de um ciclo de gerar–executar–refinar, garantindo que o teste falhe especificamente para o requisito pretendido.
• Triagem: Os BRTs são triados para garantir que falhem apenas após exercitar o código localizado, filtrando erros ambientais.

2. Diagnóstico de Bug Fundamentado em Tempo de Execução

Em vez de tratar os BRTs como simples sinais de passar/falhar, o SWE-Doctor os executa sob um depurador para construir registros de diagnóstico estruturados.

• Processo de Depuração: Um agente de depuração LLM interage com um depurador de tempo de execução (ex: PDB para Python, Delve para Go) para inspecionar rastreios de pilha (stack traces), valores de tempo de execução e caminhos de execução.
• Registro de Diagnóstico: O sistema sintetiza um registro estruturado contendo:
  • Locais de falha suspeitos.
  • Sintomas de falha em tempo de execução (exceções, asserções).
  • Caminhos de propagação de falha.
  • Impactos potenciais do patch em códigos relacionados.
  • Direções sugeridas para a correção.
• Validação: Uma "verificação de fundamentação em tempo de execução" garante que o diagnóstico seja baseado em feedback real de execução e não inferido apenas de texto, rejeitando conclusões que carecem de evidência de tempo de execução.

3. Geração de Patch Guiada por Múltiplas Fontes

O estágio final utiliza um agente padrão (mini-SWE-agent), mas aumenta seu contexto com as informações dos estágios anteriores.

• Referenciação Cruzada: O agente recebe um contexto unificado combinando os requisitos extraídos, a localização por nível de requisito e os registros de diagnóstico fundamentados em tempo de execução. Ele é instruído a realizar a referenciação cruzada dessas fontes para decidir os locais de edição.
• Verificação de Completude: Antes da submissão, o agente realiza uma verificação em nível de prompt para verificar se o patch gerado aborda todos os requisitos comportamentais extraídos e se é consistente com o diagnóstico de tempo de execução, reduzindo a probabilidade de patches parciais.

Principais Contribuições

1. Estudo Preliminar: O artigo apresenta um estudo demonstrando que usar diretamente geradores de BRT de última geração como alvos de geração de patch não melhora as taxas de resolução e pode degradar o desempenho devido a patches parciais e testes enganosos.
2. Framework SWE-Doctor: A proposta de uma nova arquitetura de agente que muda o paradigma de "BRT como um alvo" para "BRT como uma sonda de diagnóstico", utilizando geração de testes multifacetada e diagnóstico fundamentado em tempo de execução.
3. Avaliação Abrangente: Avaliação detalhada em dois benchmarks (SWE-bench Verified e SWE-bench Pro) e cinco backends de LLM de quatro fornecedores.
4. Código Aberto: Lançamento público da implementação do SWE-Doctor e dos dados associados para apoiar a reprodutibilidade.

Resultados Experimentais

A avaliação foi conduzida em problemas de correção de bugs em Python do SWE-bench Verified (436 problemas) e SWE-bench Pro (107 problemas), utilizando cinco backends de LLM (GPT-5.4, GPT-5.4-mini, Claude Sonnet 4.6, DeepSeek-V4-Pro, MiMo-V2.5-Pro).

• Efetividade Geral: O SWE-Doctor superou consistentemente dois fortes baselines (mini-SWE-agent e live-SWE-agent) em todas as 10 combinações de LLM–benchmark.
  • SWE-bench Verified: Alcançou uma taxa média de resolução de 75,7% (contra 73,7% e 71,8% para os baselines).
  • SWE-bench Pro: Alcançou uma taxa média de resolução de 59,4%, melhorando sobre os baselines em 8,0–8,9 pontos percentuais.
• Resoluções Únicas: O SWE-Doctor resolveu exclusivamente mais que o dobro de problemas do que qualquer baseline (108 problemas únicos no total vs. 51 e 38 para os baselines), indicando que ele expande o conjunto de problemas solucionáveis.
• Análise de Resultado de BRT:
  • Problemas F→P: O SWE-Doctor melhorou as taxas de resolução em 8,3 pontos percentuais no SWE-bench Pro, atribuído à geração de BRT multifacetada que evita patches parciais.
  • Problemas F→F: O SWE-Doctor melhorou as taxas de resolução em 9,2 pontos percentuais no SWE-bench Pro, atribuído ao diagnóstico fundamentado em tempo de execução que extrai informações úteis de testes que falham, em vez de tratá-los como becos sem saída.
• Estudo de Ablação: Remover o estágio de geração de BRT multifacetada ou o estágio de diagnóstico fundamentado em tempo de execução reduziu o desempenho em 8,0–10,0 pontos percentuais, confirmando que ambos os componentes são essenciais.
• Estabilidade: O SWE-Doctor demonstrou menor variância entre execuções repetidas em comparação aos baselines.
• Generalização entre Linguagens: Avaliado em problemas de Go do SWE-bench Pro, o SWE-Doctor alcançou uma taxa de resolução de 36,0%, superando os baselines (32,0% e 30,0%), sugerindo que a abordagem se generaliza além do Python.

Significância

O artigo argumenta que o valor dos Testes de Reprodução de Bug em agentes de engenharia de software depende não meramente de sua capacidade de reproduzir um bug, mas de como suas execuções são utilizadas. O SWE-Doctor demonstra que, ao tratar os BRTs como fontes de evidência diagnóstica de tempo de execução em vez de simples alvos de passar/falhar, os agentes podem superar as limitações de patches parciais e sinais de teste enganosos. O trabalho sugere uma mudança no design de agentes: de depender de resultados de testes para aproveitar a rica informação contida nas execuções de testes (rastreios de pilha, estados de tempo de execução) para guiar os processos de raciocínio e tomada de decisão de agentes baseados em LLM.