Resumo Técnico: TAM-Eval

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado uma promessa significativa em tarefas de engenharia de software, como geração de código e criação de testes isolados, sua aplicação para a manutenção de testes unitários permanece subexplorada. A pesquisa atual foca amplamente na geração de funções de teste únicas ou na previsão de oráculos, negligenciando o ciclo de vida complexo e iterativo de manutenção de suítes de testes inteiras conforme o código de produção evolui. Na prática, a falha em manter os testes leva a suítes desatualizadas, pipelines quebrados e regressões não detectadas. Os benchmarks de avaliação existentes frequentemente carecem de contexto ao nível de repositório, dependem de granularidade ao nível de função ou falham em simular fluxos de trabalho de manutenção realistas que envolvem criação, reparo e atualização de arquivos de teste.

Metodologia

Os autores introduzem o TAM-Eval (Test Automated Maintenance Evaluation), um framework e benchmark projetado para avaliar o desempenho de LLMs através de três cenários principais de manutenção de testes: criação, reparo e atualização.

Construção do Benchmark

O conjunto de dados compreende 1.539 cenários validados derivados de repositórios de código aberto em Python, Java e Go. O processo de construção envolveu um rigoroso pipeline de filtragem de quatro estágios para garantir alta qualidade e minimizar a contaminação de dados:

1. Seleção de Repositório: Filtrado por atualizações recentes (pós-2020/2025), licenças permissivas e atividade de contribuidores.
2. Filtragem Baseada em Execução: Garantiu que os projetos fossem compiláveis e executáveis dentro de 30 segundos. Os testes foram executados duas vezes para eliminar testes instáveis (flaky tests), e pares foram retidos apenas se a suíte original alcançasse >40% de cobertura de linhas.
3. Filtragem Baseada em Conteúdo: Excluiu amostras com funções triviais, comentários excessivos (>70%), código gerado automaticamente ou contagem insuficiente de casos de teste. A amostragem balanceada foi aplicada para evitar a sobre-representação de grandes repositórios.
4. Criação de Tarefas:
   • Criação de Teste: Simulada pela limpeza de arquivos de teste, adição de cobertura a código parcialmente testado ou recuperação de casos de teste removidos.
   • Reparo de Teste: Introduziu defeitos sintéticos (erros de sintaxe, falhas direcionadas à execução, quebras direcionadas à cobertura e quebras direcionadas à eficiência) usando heurísticas de tree-sitter e prompting de LLM.
   • Atualização de Teste: Simulada pelo retorno de arquivos de teste a commits anteriores enquanto o código de produção permanece atual, criando um descompasso que requer adaptação.

Framework de Avaliação

O TAM-Eval emprega um pipeline de avaliação sem referência e totalmente automatizado rodando em ambientes Docker isolados (sandboxed). Ele não depende de código de teste de referência (ground-truth) para pontuação, mas utiliza métricas baseadas em execução:

• Taxa de Aprovação (Pass Rate): A razão entre execuções de teste bem-sucedidas e o total de tentativas.
• $\Delta$TestCov: A melhoria relativa na cobertura de linhas de código.
• $\Delta$MutCov: A melhoria relativa na pontuação de mutação (a capacidade dos testes de "matar" mutantes injetados).

O framework suporta recuperação iterativa, permitindo que os modelos realizem até três tentativas com feedback (ex: erros de compilador, stack traces) para refinar seus resultados.

Principais Contribuições

1. Cenários de Manutenção Holísticos: Diferente de trabalhos anteriores limitados à geração ao nível de função, o TAM- aval opera ao nível de arquivo de teste, abordando o ciclo completo de geração, reparo e atualização dentro de um contexto unificado.
2. Dataset Curado do Mundo Real: Um conjunto de dados de alta qualidade com 1.539 amostras de repositórios mantidos ativamente, filtrados para garantir compilabilidade, estabilidade e relevância.
3. Avaliação Unificada e Consciente de Feedback: Um protocolo agnóstico ao sistema usando um único template de prompt e feedback de execução iterativo para simular fluxos de trabalho práticos de desenvolvedores.
4. Suíte Open-Source Extensível: Um framework modular que suporta múltiplas linguagens (Python, Java, Go) e ferramentas (ex: coverage.py, JaCoCo, mutpy, PIT), lançado para facilitar a reprodutibilidade.
5. Análise Empírica: Uma avaliação abrangente de modelos SOTA (Estado da Arte), revelando lacunas de desempenho e modos de falha específicos.

Resultados Experimentais

Os autores avaliaram diversos modelos SOTA, incluindo GPT-5, GPT-OSS-120B, Qwen3 Coder 480B A35B, entre outros.

• Desempenho Geral: Mesmo os modelos com melhor desempenho exibem capacidades limitadas em manutenção de testes realista. O GPT-5 alcançou a maior Taxa de Aprovação (42,37%) e os maiores ganhos em cobertura ($\Delta$TestCov: +20,8%, $\Delta$MutCov: +11,7%). No entanto, a maioria dos modelos mostrou melhorias marginais em cobertura de mutação, raramente excedendo 12 pontos percentuais.
• Melhoria Iterativa: O desempenho geralmente melhorou com múltiplas tentativas e feedback, destacando a importância de sinais de verificadores automatizados (compiladores, executores de teste). No entanto, tentativas iniciais sem feedback frequentemente resultaram em baixas taxas de aprovação.
• Variância de Linguagem: Go emergiu como a linguagem mais adequada para os LLMs atuais, provavelmente devido à sua sintaxe concisa e tipagem estrita, gerando as maiores Taxas de Aprovação e ganhos de cobertura. Java mostrou menores melhorias de cobertura, apesar de taxas de aprovação razoáveis, sugerindo que a executabilidade do teste nem sempre se traduz em cobertura significativa em linguagens verbosas e estaticamente tipadas.
• Dificuldade da Tarefa: As tarefas de Atualização provaram ser as mais desafiadoras, com redução nos ganhos de cobertura de mutação em comparação com as tarefas de criação e reparo.
• Modos de Falha: O modo de falha dominante em todos os modelos foi o de erros de execução (falhas de tempo de execução/compilação), representando mais de 60% das saídas inválidas. Erros de sintaxe foram relativamente raros, indicando que os modelos dominaram a formatação superficial, mas lutam com a correção semântica e integração ao ambiente.

Significância e Alegações

O artigo afirma que o TAM-Eval fornece o primeiro benchmark automatizado abrangente para avaliar LLMs no contexto de manutenção de testes unitários, em vez de apenas geração. Os autores enfatem que, embora os LLMs mostrem potencial, os modelos de estado da arte atuais ainda não são confiáveis para manutenção autônoma de testes, particularmente em cenários de atualização complexos.

O trabalho destaca uma necessidade crítica para:

• Desenvolver métodos mais conscientes de contexto que compreendam melhor as dependências ao nível de repositório.
• Destilar supervisão de verificadores, como compiladores, testes de mutação e sinais de cobertura, para guiar o treinamento de modelos.
• Ir além da geração de testes isolados para abordar o ciclo de vida completo da evolução da suíte de testes.

Os autores lançam o TAM-Eval como um framework de código aberto para apoiar pesquisas futuras em engenharia de software automatizada, observando sua utilidade como um conjunto de validação para o treinamento de modelos de recompensa em tarefas subsequentes.