Improving LLM-Driven Test Generation by Learning from Mocking Information

1. Problema

A geração automática de testes de unidade é uma área crítica para garantir a correção do software, mas escrever testes de alta qualidade manualmente é intensivo em mão de obra. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial promissor na geração de testes, abordagens existentes geralmente se baseiam apenas no código da classe sob teste (CUT) e em documentação ou comentários.

O artigo identifica uma lacuna: os LLMs não estão explorando ativamente as informações de "mocking" (test doubles) já presentes em suites de testes existentes. Mocks são amplamente utilizados na indústria e em software de código aberto para isolar dependências, definindo comportamentos esperados (stubbings) e verificações de interação (verify operations). Essas informações codificam implicitamente como os componentes dependentes devem ser usados, mas esse recurso rico permanece subutilizado para guiar a geração de novos testes.

2. Metodologia: MOCKMILL

Os autores propõem o MOCKMILL, uma técnica e ferramenta baseada em LLM que gera casos de teste explorando automaticamente informações de mocking extraídas de testes escritos por desenvolvedores. O processo é dividido em quatro fases:

1. Análise do Projeto:
   • O sistema analisa o código de teste existente (usando AST - Abstract Syntax Tree) para identificar componentes que foram substituídos por test doubles (mocks) e que utilizam operações de stubbing ou verify.
   • Filtra-se para focar apenas em classes definidas no projeto (excluindo bibliotecas de terceiros).
2. Extração de Mock (Mock Extraction):
   • Esta é a fase inovadora. O sistema extrai informações estruturadas específicas sobre os componentes mockados, incluindo:
     • Quais métodos dos componentes dependentes são invocados.
     • Quais argumentos são passados.
     • Quais valores de retorno ou exceções são configurados.
   • Essas informações são estruturadas em um formato JSON intermediário para evitar sobrecarregar o contexto do LLM com arquivos de teste completos.
3. Geração de Testes:
   • Um prompt estruturado é construído para o LLM, contendo: (i) instruções de geração, (ii) o código-fonte completo da classe alvo (CUT) e (iii) os dados de mocking extraídos.
   • O prompt instrui o LLM a criar testes que instanciem objetos reais da CUT (em vez de mocká-los novamente) e que sigam os padrões de uso e comportamentos implícitos nas informações de mock extraídas.
   • Utiliza-se uma estratégia few-shot com exemplos genéricos para guiar o modelo.
4. Reparo Pós-Geração:
   • Um loop iterativo de compilação e execução é aplicado. Se o teste gerado falhar na compilação ou em tempo de execução, as mensagens de erro são enviadas de volta ao LLM com instruções de reparo até que o teste seja executável ou o limite de tentativas seja atingido.

3. Contribuições Principais

• MOCKMILL: A primeira abordagem baseada em LLM que utiliza explicitamente informações de mocking existentes (stubbings e verificações) para guiar a geração de novos testes.
• Mecanismo de Extração Estruturada: Desenvolvimento de uma técnica para extrair e estruturar dados de interação de mocks sem poluir o contexto do LLM com o código de teste completo.
• Evidência Empírica: Demonstração de que o uso de informações de mocking complementa e melhora significativamente a eficácia dos testes gerados por LLMs, cobrindo linhas de código e matando mutantes que outras abordagens perdem.

4. Resultados da Avaliação

O MOCKMILL foi avaliado em 10 classes de 6 projetos Java open-source (usando JUnit 5 e Mockito) com quatro LLMs diferentes (GPT-4o Mini, GPT-5 Mini, GPT-5 e Claude Sonnet 4.5).

• Eficácia (RQ1):
  • O MOCKMILL gerou testes compiláveis e executáveis com alta confiabilidade (até 100% de compilação eventual).
  • Os modelos GPT-5 Mini e Claude Sonnet 4.5 apresentaram os melhores resultados, com pontuações medianas de mutação de 84% e 89%, respectivamente, e cobertura de linhas superior a 90%.
  • O GPT-5 Mini destacou-se como o modelo mais prático, equilibrando alto desempenho, confiabilidade e custo.
• Complementaridade (RQ2):
  • Os testes gerados pelo MOCKMILL foram complementares aos testes existentes, aos testes gerados por uma abordagem LLM "vanilla" (sem mocks) e ao gerador aleatório RANDOOP.
  • O MOCKMILL matou mutações exclusivas que outras ferramentas não detectaram (ex: 24,56% em um caso, 25,64% em outro), provando que as informações de mock ajudam a identificar falhas sutis e comportamentos específicos.
  • A cobertura de linhas exclusivas foi menor, mas mensurável, indicando que o MOCKMILL alcança caminhos de código negligenciados.
• Custo (RQ3):
  • O uso de informações de mock aumentou o custo de geração em apenas 5% a 15% (devido ao aumento no tamanho do prompt), um overhead considerado aceitável dado o ganho significativo na qualidade dos testes e na detecção de falhas.

5. Significado e Conclusão

O estudo fornece evidências preliminares sólidas de que aproveitar informações de mocking é uma maneira eficaz e complementar de aprimorar a geração de testes baseada em LLM.

• Valor Prático: O MOCKMILL não substitui os testes existentes ou as abordagens tradicionais, mas atua como um complemento valioso dentro de um framework de teste holístico. Ele permite que os LLMs "aprendam" com o comportamento já validado pelos desenvolvedores, gerando testes mais realistas e abrangentes.
• Futuro: O trabalho abre caminho para pesquisas futuras sobre a combinação de prompts com e sem informações de mock, a extração automática de exemplos few-shot específicos do projeto e a aplicação da técnica em outras linguagens e frameworks de teste.

Em resumo, o artigo demonstra que o conhecimento implícito contido nos mocks de testes existentes é um recurso subutilizado que, quando corretamente extraído e fornecido aos LLMs, resulta em suites de testes de maior qualidade e maior capacidade de detecção de defeitos.