Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection

Resumo Técnico: Prompting Heterogêneo e Feedback de Execução para Geração e Seleção de Testes de Problemas de Engenharia de Software (SWE)

Definição do Problema
Problemas de Engenharia de Software (SWE), que descrevem bugs ou funcionalidades ausentes, são frequentemente acompanhados por descrições informais que carecem de testes de reprodução automatizados. A ausência de tais testes dificulta a verificação de problemas e a aceitação de patches de código. O desafio específico abordado neste artigo é a geração automática de testes de reprodução "falha-para-passar" ($F \to P$) diretamente de descrições de problemas e da base de código existente (pré-patch) ($c_{old}$), sem acesso ao patch de código de resolução ($c_{new}$). Um teste $F \to P$ válido deve falhar quando executado em $c_{old}$ (reproduzindo o problema) e passar quando executado em $c_{new}$ (confirmando a correção). Esta tarefa é difícil porque as descrições de problemas são informais e o código alvo para o qual o teste deve passar ainda não existe.

Metodologia: e-Otter++
Os autores introduzem o e-Otter++, um sistema que estende o framework anterior, Otter++. O sistema opera através de três componentes primários: um gerador de testes, um gerador de patch de código e um seletor de testes.

1. Geração de Testes com Prompting Heterogêneo:
   Em vez de depender apenas do aumento das temperaturas de decodificação do LLM para gerar candidatos diversos (uma prática comum que frequentemente carece de diversidade), o e-Otter++ emprega prompting heterogêneo. Isso envolve duas variações sistemáticas:

   • Morphs de Descrição de Problemas: Um LLM reescreve a descrição original do problema de cinco maneiras distintas antes da geração do teste: standard (formatação), simple (simplificação de jargões), dropCode (remoção de trechos de código potencialmente enganosos), initTest (incorporação de um teste inicial) e initPatch (incorporação de uma proposta de patch inicial).
   • Máscaras de Contexto: O prompt de geração de teste é modificado para incluir ou excluir contextos de localização específicos (ex: saídas de planejadores, localização de testes, localização de patch), criando cinco variações distintas de prompt.
     Ao combinar esses elementos, o sistema gera um conjunto diversificado de 10 testes candidatos por problema.

2. Reparo de Teste Aumentado por Execução:
   Os testes candidatos gerados são executados em $c_{old}$. Embora esperados para falhar, eles podem falhar por razões incorretas (ex: erros de sintaxe ou exceções não relacionadas) em vez de reproduzir o problema específico descrito. O e-Otter++ introduz um mecanismo de crítico:

   • Um LLM analisa a descrição do problema e o log de execução para determinar se o teste falhou pelo "motivo correto".
   • Se a falha for incorreta, o crítico identifica o contexto necessário (ex: linhas bugadas específicas, trechos de código relevantes ou assinaturas de funções) e aumenta o prompt de reparo.
   • O sistema repara iterativamente o teste (até 10 tentativas) usando este contexto enriquecido até que o teste falhe pelo motivo correto ou o limite de iteração seja atingido.

3. Seleção de Teste via Patches Substitutos (Surrogates):
   Como $c_{new}$ não está disponível, o e-Otter++ não pode verificar diretamente se um teste passa na correção real. Para resolver isso, o sistema utiliza o Agentless para gerar 40 patches de código candidatos (substitutos para $c_{new}$) e os filtra para os 5 mais frequentes.

   • O seletor de testes executa os testes candidatos nestes patches substitutos.
   • Testes que são $F \to P$ nos patches substitutos são priorizados.
   • Um seletor baseado em regras classifica falhas (falhas de asserção vs. erros) e usa cobertura de código (a proporção de linhas adicionadas/removidas pelo patch que o teste cobre) como critério de desempate para selecionar o teste final único.

Principais Contribuições
O artigo apresenta três contribuições originais:

1. Reparo de Teste Aumentado por Execução: Um método para aumentar a correção dos testes usando feedback de execução para recuperar código relacionado e aumentar o prompt de reparo, garantindo que os testes falhem pelos motivos especificados no problema.
2. Prompting Heterogêneo para Diversidade: Aumento da diversidade dos candidatos a teste através de morphs de descrição de problemas e máscaras de contexto, em vez de depender apenas de amostragem de alta temperatura.
3. Seleção Baseada em Patch Substituto: Uma técnica para selecionar o teste final usando feedback de execução de patches de código imperfeitos, gerados como um proxy para a correção real (ground-truth).

Resultos
O sistema foi avaliado no TDD-Bench Verified (449 amostras) e no SWT-bench Lite (276 amostras), ambos derivados do SWE-bench.

• Desempenho: O e-Otter++ alcançou uma taxa de Falha-para-Passar ($F \to P$) de estado da arte de 63,0% no TDD-Bench Verified e 52,5% no SWT-bench Lite (utilizando o modelo Claude-3.7-Sonnet). Isso supera significativamente os melhores resultados publicados anteriormente (Otter++ com 37,0% e 29,0%, respectivamente).
• Eficácia dos Componentes:
  • O reparo aumentado por execução melhorou as taxas de $F \to P$ em 11,1% a 74,3% em diferentes configurações.
  • O prompting heterogêneo (morphs + máscaras) aumentou o $F \to P@N$ (taxa de pelo menos um teste bem-sucedido entre $N$ candidatos) em mais de 13% comparado ao uso apenas de máscaras.
  • O uso de patches de código gerados como um pré-filtro para seleção de testes proporcionou um aumento significativo de desempenho (ex: um aumento de 32,9% em $F \to P$ no TDD-Bench Verified).
• Generalização: A abordagem foi validada no SWE-rebench, um benchmark livre de contaminação, onde melhorou a taxa de $F \to P$ em um valor relativo de 75% sobre o sistema base Otter, demonstrando robustez contra contaminação de dados.
• Utilidade de Validação: Demonstrou-se que os testes gerados validam efetivamente patches de código de outros agentes de SWE, melhorando significamente a precisão das soluções propostas pelos principais sistemas do leaderboard.

Significância e Alegações
Os autores alegam que o e-Otter++ representa um salto substancial no estado da arte para a geração de testes de reprodução a partir de problemas de SWE. O artigo argumenta que a combinação de prompting heterogêneo e feedback de execução — especificamente o uso inovador de patches substitutos para seleção e o reparo com aumento de contexto — supera as limitações de métodos anteriores que lutavam com a diversidade de testes e a falta de um codebase alvo para verificação.

O trabalho visa consolidar a prática do Desenvolvimento Orientado a Testes (TDD) ao automatizar a criação tediosa de testes de reprodução, auxiliando tanto engenheiros humanos quanto agentes de SWE automatizados na resolução de problemas e garantia de qualidade a longo prazo. Os autores mantêm a modéstia quanto ao escopo, observando que o sistema atualmente lida com arquivos de teste únicos e é avaliado principalmente em Python, mas enfatizam que as melhorias relativas sugerem que as técnicas são eficazes mesmo em conjuntos de dados diversos e não contaminados.