Automated Test Suite Enhancement Using Large Language Models with Few-shot Prompting

Título: Aprimoramento de Suite de Testes Automatizada Usando Grandes Modelos de Linguagem com Few-shot Prompting

1. Problema e Motivação

A escrita manual de testes unitários é intensiva em mão de obra e tempo. As abordagens tradicionais de geração de testes, como o Search-Based Software Testing (SBST), embora capazes de gerar cobertura razoável, frequentemente produzem testes com baixa legibilidade, naturalidade e usabilidade prática, dificultando sua adoção por desenvolvedores.

Com o advento dos Grandes Modelos de Linguagem (LLMs), houve um avanço na geração de código. No entanto, a maioria dos estudos foca no zero-shot prompting (sem exemplos). O potencial do few-shot prompting (aprendizado com poucos exemplos) para a geração de testes unitários permanece subexplorado. Além disso, os repositórios de software modernos são híbridos, contendo testes escritos por humanos, gerados por SBST e gerados por LLMs.

O problema central é: Como a origem dos exemplos de demonstração (humanos, SBST ou LLMs) e a técnica de seleção desses exemplos afetam a qualidade, a cobertura e a capacidade de aprimoramento de suites de testes existentes quando geradas por LLMs?

2. Metodologia

Configuração Experimental

• Modelo: GPT-4o (integrado ao GitHub Copilot).
• Datasets:
  • HumanEval: Exercícios de codificação isolados.
  • ClassEval: Tarefas com referências entre arquivos, exigindo testes de nível de classe.
• Fontes de Exemplos (Few-shot):
  1. Humanos: Testes escritos manualmente (convertidos para pytest).
  2. SBST: Testes gerados pela ferramenta Pynguin.
  3. LLM: Testes gerados por GPT-4o com zero-shot prompting.
• Técnicas de Seleção de Exemplos:
  • Seleção Aleatória (de toda a suite ou apenas da classe sob teste).
  • Seleção Baseada em Similaridade (usando TF-IDF e similaridade de cosseno):
    • Similaridade da Definição do Problema (texto).
    • Similaridade do Código Fonte.
    • Similaridade Combinada (Problema + Código).

Pipeline de Avaliação

O estudo segue um pipeline inspirado no Assured LLM-based Software Engineering:

1. Construção do Prompt: Uso de System Prompt (Persona de especialista em Python) e User Prompt (classe sob teste + exemplos selecionados).
2. Geração: O LLM gera novos testes.
3. Validação e Reparo:
   • Verificação de correção sintática (AST), compilação e execução.
   • Aplicação de 9 regras de reparo automatizado para corrigir falhas comuns (ex: imports faltantes, argumentos self em funções standalone, erros de sintaxe).
4. Otimização: Os testes gerados são avaliados quanto ao seu impacto na cobertura da suite inicial. Testes redundantes são descartados; os que aumentam a cobertura são mantidos.

Métricas de Qualidade

• Correção Funcional: Sintaxe, compilação e taxa de aprovação (pass rate).
• Cobertura: Cobertura de Linhas e de Ramificações (Branches).
• Qualidade do Código: Complexidade Ciclomática, Complexidade Cognitiva, Odores de Teste (Test Smells) e Dívida Técnica.

3. Contribuições Principais

1. Análise Comparativa de Fontes: Avaliação empírica de como exemplos de diferentes origens (Humano, SBST, LLM) influenciam a geração de testes via few-shot prompting.
2. Avaliação de Seleção Automatizada: Comparação entre seleção aleatória e seleção baseada em similaridade de contexto para escolher exemplos de few-shot.
3. Pipeline de Aprimoramento: Proposta de uma abordagem para melhorar suites de testes existentes (e não apenas gerar suites do zero), focando em preencher lacunas de cobertura sem duplicar esforços.
4. Validação em Cenários Híbridos: Investigação de como LLMs se comportam em repositórios que misturam testes humanos e automáticos.

4. Resultados Chave

Efeito das Fontes de Exemplos (RQ1)

• Correção: Após reparos baseados em regras, todas as fontes atingiram altas taxas de aprovação (>76% para HumanEval, >82% para ClassEval).
• Cobertura: Exemplos escritos por humanos produziram consistentemente a maior cobertura e correção pós-reparo.
• Qualidade: Testes baseados em exemplos humanos tendem a ter maior complexidade cognitiva (mais lógica complexa), mas mantêm boa legibilidade.

Efeito das Técnicas de Seleção (RQ2)

• A seleção baseada em Similaridade Combinada (Problema + Código) foi a técnica mais promissora, gerando consistentemente testes com alta cobertura de ramificações.
• A seleção aleatória da classe sob teste (Random from Class) performou consistentemente mal, sugerindo que fornecer apenas exemplos da mesma classe pode enviesar o modelo e reduzir a diversidade dos testes.

Aprimoramento de Suites Existentes (RQ3 & RQ4)

• Impacto na Cobertura: O uso de few-shot prompting melhorou significativamente a cobertura de suites iniciais.
  • Em HumanEval, todas as fontes atingiram cobertura próxima a 100% após otimização.
  • Em ClassEval, exemplos baseados em SBST (Pynguin) trouxeram o maior ganho percentual de melhoria (devido à baixa cobertura inicial da suite SBST), enquanto exemplos humanos trouxeram o menor ganho (pois a cobertura inicial já era alta).
• Qualidade: O aprimoramento resultou em um aumento significativo na complexidade ciclomática (especialmente com exemplos SBST), mas a dívida técnica e os odores de código permaneceram controlados.

5. Significado e Implicações

• Para Pesquisadores: O estudo demonstra que a qualidade da geração de testes não depende apenas do modelo LLM, mas criticamente da proveniência e seleção dos exemplos de few-shot. Métricas de qualidade de código (como complexidade cognitiva) são tão importantes quanto a cobertura para avaliar a utilidade prática.
• Para Praticantes:
  • LLMs são mais eficazes como mecanismos de augmentação (complemento) para suites existentes do que como geradores de suites completas do zero.
  • A correção de testes gerados por LLMs pode ser feita de forma leve e automatizada (regras simples), tornando a adoção viável sem infraestrutura complexa.
  • A estratégia de seleção de exemplos baseada em similaridade de "Problema + Código" é a mais recomendada para maximizar a cobertura.
  • Testes gerados por SBST podem ser superiores aos humanos para melhorar suites com baixa cobertura inicial, desafiando a suposição de que exemplos humanos são sempre a melhor escolha para few-shot.

Conclusão

O artigo conclui que o few-shot prompting com LLMs é uma ferramenta poderosa para aprimorar suites de testes, especialmente quando combinado com técnicas de seleção de exemplos baseadas em similaridade e um pipeline de reparo automatizado. Embora exemplos humanos gerem a melhor qualidade geral, exemplos gerados por SBST são altamente eficazes para cobrir lacunas em sistemas com testes iniciais pobres, oferecendo uma abordagem prática para desenvolvimento híbrido (Humano-AI).