Can Old Tests Do New Tricks for Resolving SWE Issues?

Título: Testes Antigos Podem Realizar Novos Truques para Resolver Problemas de SWE?
Autores: Yang Chen, Toufique Ahmed, Reyhaneh Jabbarvand e Martin Hirzel
Evento: Proc. ACM Softw. Eng. 3, FSE (julho de 2026)

1. Declaração do Problema

Projetos de software do mundo real possuem grandes suites de testes de regressão com alta cobertura de código, no entanto, essas suites frequentemente falham em detectar todos os bugs, deixando muitos problemas sem resolução em rastreadores de código aberto. Embora os testes de regressão sejam tradicionalmente utilizados para garantir compatibilidade com versões anteriores, eles também podem desempenhar um papel complementar na depuração de versões atuais, guiando a reprodução de problemas relatados e validando correções candidatas. Contudo, alavancar essas suites para depuração automatizada apresenta desafios significativos:

• Escala e Ruído: Suites de testes completas são frequentemente grandes demais e ruidosas para serem úteis em sua totalidade, especialmente dentro de pipelines de Modelos de Linguagem Grandes (LLM) agênticos, onde limites de contexto, custos de inferência e precisão de raciocínio degradam-se com entradas excessivas.
• A Lacuna de Minimização: Técnicas existentes de minimização de suites de testes focam em manter a cobertura ou as capacidades de detecção de bugs da suite existente. Elas não abordam o desafio específico da minimização de testes baseada em problemas: selecionar um subconjunto mínimo de testes relevantes para um problema recém-relatado onde a correção que o resolve é desconhecida.
• O Desafio Central: O conjunto de métodos que eventualmente serão modificados para corrigir um problema é latente e não observável no momento da seleção de testes. O sistema deve prever esses métodos "suspeitos" baseando-se apenas na descrição do problema e selecionar testes que os cubram, sem conhecer a correção final.

2. Metodologia: TestPrune

O artigo propõe o TestPrune, uma técnica totalmente automatizada projetada para extrair um subconjunto pequeno e altamente relevante de testes de regressão para auxiliar fluxos de trabalho de depuração baseados em LLM. A abordagem consiste em três etapas principais:

A. Localização de Funções Suspeitas
Em vez de tentar uma localização precisa ao nível de linha (o que corre o risco de perder testes relevantes), o TestPrune utiliza um LLM para identificar uma lista de "funções suspeitas" com base na descrição do problema no GitHub e na estrutura do repositório. Isso serve como uma aproximação do conjunto latente de métodos que serão modificados.

B. Recuperação de Arquivos de Teste e Geração de Cobertura

• Recuperação: O LLM é instruído a selecionar os top $k$ (definido como 10 nos experimentos) arquivos de teste candidatos do repositório. O prompt inclui a descrição do problema, as funções suspeitas e as dependências dos arquivos de teste para fornecer contexto semântico.
• Cobertura: O TestPrune executa os métodos de teste aprovados desses arquivos candidatos para gerar mapeamentos de cobertura ao nível de linha em relação às funções suspeitas. Se nenhuma cobertura for encontrada, o processo itera solicitando arquivos de teste adicionais.

C. Algoritmos de Minimização Gananciosa
Uma vez que os dados de cobertura são coletados, o TestPrune aplica um algoritmo ganancioso para minimizar o conjunto de testes. Ele formula o problema como um problema de conjunto de cobertura mínimo ponderado (NP-difícil) e oferece duas variantes heurísticas:

1. Ganancioso-Adicional: Seleciona iterativamente testes que cobrem o máximo de linhas atualmente não cobertas nas funções suspeitas. Ele recalcula a cobertura a cada etapa.
2. Ganancioso-Total: Classifica os testes com base em sua cobertura total de todas as linhas suspeitas, independentemente de seleções anteriores, e adiciona iterativamente os testes de maior classificação até que nenhuma melhoria significativa seja observada.

• Quebra de Empate: Quando múltiplos testes oferecem cobertura igual, o sistema seleciona diretamente até três testes; se houver mais, um LLM é invocado para quebrar o empate.

Integração a Montante
A suite de testes minimizada é integrada a dois tipos de clientes a montante:

1. Geração de Testes de Reprodução: Fornecendo contexto focado (por exemplo, para o framework Otter) para ajudar LLMs a gerar testes de reprodução "de falha para aprovação" (fail-to-pass).
2. Seleção e Validação de Correções:
   • Sistemas Agênticos (por exemplo, SWE-agent, Trae Agent): Fornecendo feedback de testes de regressão durante o loop iterativo do agente para guiar o refinamento da correção e prevenir regressões.
   • Sistemas Não Agênticos (por exemplo, Agentless): Utilizando a suite minimizada para classificar e validar correções candidatas, filtrando aquelas que quebram funcionalidades existentes.

3. Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza o problema de minimização de testes baseado em problemas, definindo métricas de sucesso (precisão e recall de cobertura) para selecionar testes relevantes para uma correção desconhecida.
2. Técnica TestPrune: A primeira abordagem para localizar automaticamente um conjunto minimizado e relevante de testes de regressão de um repositório com base em uma descrição de problema, aproveitando LLMs para localização e análise de cobertura para seleção.
3. Avaliação Abrangente: Uma avaliação rigorosa demonstrando que o TestPrune melhora tanto as taxas de reprodução de problemas quanto as taxas de resolução de problemas em múltiplos benchmarks e frameworks de agentes.

4. Resultados Experimentais

Os autores avaliaram o TestPrune no SWE-Bench Lite e no SWE-Bench Verified usando modelos como GPT-4o e Claude-3.7-Sonnet.

• Eficiência (RQ1): O TestPrune reduz o tamanho da suite de testes em mais de 1.000× em comparação com a suite completa (média de ~9–11 testes por instância versus milhares). Isso resulta em uma redução de 27× no tempo de execução (de ~24 minutos para ~52 segundos por instância).
• Qualidade (RQ2): Os testes minimizados alcançam alta relevância:
  • Precisão: 0,63 (TestPrune-Adicional), significando que 63% dos testes selecionados cobrem as funções com bugs da verdade fundamental (ground-truth).
  • Recall de Cobertura: 0,71, indicando que os testes selecionados cobrem 71% das linhas cobertas pela suite completa de regressão "dourada" (golden).
• Reprodução de Problemas (RQ3): Integrar o TestPrune no Otter aumentou a taxa de reprodução "de falha para aprovação" (F→P) em 6,2% a 9,0% em relação à linha de base.
• Resolução de Problemas (RQ4):
  • Não Agêntico (Agentless): Substituir os testes de regressão padrão por testes selecionados pelo TestPrune, combinado com testes de reprodução gerados pelo Otter, melhorou a taxa de resolução de problemas em 9,4% a 12,9%.
  • Agêntico (SWE-agent, Trae Agent): Integrar o TestPrune melhorou as taxas de resolução em 8,0% a 9,4%.
  • Eficiência de Custos: A abordagem reduziu o custo médio por instância em 8,0% a 23,0% para sistemas agênticos. A sobrecarga do próprio TestPrune é mínima, custando aproximadamente $0,02 (GPT-4o) a $0,05 (Claude-3.7-Sonnet) por instância.

5. Significado e Alegações

O artigo afirma que "testes antigos" podem de fato realizar "novos truques" se forem estrategicamente selecionados. O significado deste trabalho reside em:

• Preenchendo a Lacuna: Demonstra que testes de regressão, frequentemente vistos como guardas estáticos, podem ser reutilizados dinamicamente para guiar ativamente a depuração de novos problemas.
• Habilitando Fluxos de Trabalho Agênticos: Ao resolver os problemas de limite de contexto e ruído inerentes a grandes suites de testes, o TestPrune torna os pipelines de depuração baseados em LLM mais eficientes, confiáveis e econômicos.
• Generalização: As melhorias são observadas em diversos frameworks (Otter, Agentless, SWE-agent, Trae) e modelos, sugerindo que a estratégia de minimização de testes baseada em problemas é um aprimoramento generalizável para engenharia de software automatizada.
• Custo-Benefício: Os autores enfatizam que os ganhos de desempenho são alcançados com custos adicionais de API negligenciáveis, tornando a técnica prática para implantação no mundo real.

O artigo conclui que o TestPrune fornece uma solução escalável e eficaz para o problema de minimização de testes baseada em problemas, aprimorando significativamente as capacidades dos atuais agentes de engenharia de software automatizada.