Evaluating LLM-Based Test Generation Under Software Evolution

1. O Problema

O uso de Modelos de Linguagem de Grande Escala (LLMs) para a geração automática de testes unitários tem crescido rapidamente. No entanto, existe uma lacuna crítica no conhecimento atual: não está claro se esses modelos realizam um raciocínio genuíno sobre o comportamento do programa ou se apenas replicam padrões superficiais aprendidos durante o treinamento.

O problema central é que a maioria dos estudos foca na geração de testes para código estático e original. Pouco se sabe sobre como os LLMs se comportam quando o código evolui (sofre mudanças). Se os modelos dependem excessivamente de memorização de padrões de treinamento, eles podem falhar em:

• Adaptar-se a mudanças semânticas (alterações na lógica funcional).
• Manter a estabilidade frente a mudanças preservadoras de semântica (refatorações que não alteram o comportamento).
• Detectar regressões ou falhas introduzidas por evoluções do código.

2. Metodologia

Os autores propõem um framework de avaliação automatizado e orientado por mutação para analisar o comportamento dos LLMs sob evolução de software. O estudo foi conduzido em escala massiva, envolvendo:

• Dados: 22.374 variantes de programas derivados do dataset Project CodeNet, focando em Java e Python.
• Modelos: 8 LLMs de última geração (incluindo GPT-5, GPT-5.2, Claude 4.5/4.6, Gemini 2.5/3.1 e modelos open-source como Nemotron e GPT-OSS).
• Fase de Linha de Base: Geração de testes para o código original, filtrando estritamente apenas os casos onde o modelo gerou suites de testes com 100% de aprovação e compilação.
• Injeção de Mudanças: O código filtrado foi submetido a dois tipos de mutações:
  1. Mudanças que Alteram a Semântica (SACs - Semantic-Altering Changes): Alterações funcionais reais, como mudar limites de loops (range(n) para range(n-1)), trocar operadores lógicos ou aritméticos, e reordenar argumentos.
  2. Mudanças que Preservam a Semântica (SPCs - Semantic-Preserving Changes): Refatorações que não alteram o comportamento, como inserir blocos else: pass redundantes, renomear variáveis, alterar comentários ou reescrever comparações logicamente equivalentes.
• Análise de Falhas: Para os testes que falharam nas versões mutadas, os autores executaram esses mesmos testes no código original para verificar se eles passariam lá. Isso identifica o fenômeno de "Alinhamento Residual" (o modelo gera testes baseados na lógica antiga, ignorando a nova).

3. Principais Contribuições

• Framework de Avaliação de Evolução: Introdução de uma metodologia sistemática para avaliar a robustez de LLMs não apenas em código estático, mas sob mutações semânticas e estruturais.
• Distinção entre Raciocínio e Memorização: O estudo demonstra que a alta cobertura em benchmarks estáticos não garante compreensão semântica. A metodologia isola a dependência de padrões superficiais (lexical/sintático) do verdadeiro raciocínio lógico.
• Análise de "Alinhamento Residual": Evidência empírica de que, quando falham, os testes gerados por LLMs frequentemente passam no código original, provando que o modelo está "alinhado" com o comportamento antigo e não com a nova especificação.
• Descoberta de Sensibilidade Sintática: Revelação de que os LLMs são mais sensíveis a mudanças sintáticas grandes (que não alteram a semântica) do que a mudanças semânticas pequenas (que alteram a lógica).

4. Resultados Chave

Desempenho na Linha de Base

• Nos programas originais, os LLMs alcançaram desempenho sólido: 79% de cobertura de linhas e 76% de cobertura de ramificações com suites de testes totalmente aprovadas.

Impacto das Mudanças que Alteram a Semântica (SACs)

• Degradação Severa: A taxa de aprovação dos testes caiu de 100% para 66,5%, e a cobertura de ramificações caiu para 60,6%.
• Alinhamento Residual: Mais de 99% dos testes que falharam no código mutado passaram no código original ao executar a região modificada. Isso indica que o modelo não entendeu a mudança funcional e continuou gerando testes baseados na lógica antiga.
• Estratégia "Scattershot": Ao enfrentar lógica alterada, os modelos tendem a gerar mais testes (aumento de volume) para tentar cobrir o código, mas esses testes são superficiais e não exploram corretamente os novos caminhos de controle.

Impacto das Mudanças que Preservam a Semântica (SPCs)

• Fragilidade Estrutural: Apesar de a funcionalidade permanecer idêntica, a taxa de aprovação caiu para 79% e a cobertura de ramificações para 69%.
• Sensibilidade Sintática: Mudanças puramente estruturais (como inserir um bloco else vazio ou renomear variáveis) causaram maior instabilidade do que algumas mudanças semânticas. Os modelos geraram 1,2x mais novos testes e descartaram muitos testes válidos da base, indicando que eles reagiram à "ruído" sintático em vez de entender que o comportamento era o mesmo.
• Efeito de Distração: Mudanças estruturais maiores (mesmo sem impacto semântico) confundiram os modelos, levando a suites de testes truncadas e incompletas.

Comparação entre Modelos

• Modelos maiores e mais avançados (como GPT-5 Mini e Claude 4.6 Sonnet) mostraram maior resiliência, mas nenhum foi imune à degradação.
• Modelos menores (como Nemotron-3-Nano) sofreram colapsos severos de desempenho sob qualquer tipo de mudança.
• O Python apresentou desafios maiores que o Java na geração de testes iniciais, possivelmente devido à tipagem dinâmica, exigindo mais tentativas para obter suites válidas.

5. Significado e Conclusão

O estudo conclui que a geração de testes baseada em LLMs atuais depende excessivamente de pistas de nível superficial (padrões lexicais e sintáticos) e memorização de estruturas de treinamento, em vez de raciocínio semântico profundo.

• Implicação Prática: Os LLMs atuais não são confiáveis para ambientes de integração contínua (CI) onde o código evolui constantemente. Eles falham em manter a "consciência de regressão" (regression awareness), descartando testes válidos e falhando em adaptar testes a novas lógicas.
• Direção Futura: Para melhorar, futuros sistemas devem incorporar mecanismos que ajudem os LLMs a raciocinar sobre a magnitude e a natureza das mudanças de código, possivelmente através de pré-processamento de diffs de código, análise estática de fluxo de controle ou resumos de mudanças semânticas, em vez de apenas fornecer o código bruto.

Em suma, embora os LLMs sejam eficazes para gerar testes iniciais, sua capacidade de manter a qualidade e a relevância dos testes durante a evolução do software é atualmente limitada e enganosa.