Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation

1. Problema e Motivação

A adoção crescente de automação baseada em prompts (instruções) para geração de testes de software levanta questões críticas sobre a sustentabilidade computacional e ambiental. Embora estudos anteriores tenham focado no impacto de Grandes Modelos de Linguagem (LLMs), a influência das estratégias de engenharia de prompts em Modelos de Linguagem Pequenos (SLMs) permanece pouco explorada.

O problema central é que o design do prompt afeta diretamente o comportamento de inferência, o custo de execução e a utilização de recursos, mesmo quando o tamanho do modelo é fixo. Existe uma lacuna na literatura que analisa conjuntamente estratégias de prompt, métricas de sustentabilidade (energia, carbono) e a qualidade dos testes gerados (cobertura de código).

2. Metodologia

Os autores propõem um framework sistemático para avaliar a sustentabilidade de estratégias de prompt na geração automática de testes unitários.

• Modelos Utilizados: Três SLMs de código aberto com quantização de 4 bits (para refletir cenários de recursos limitados):
  • Meta-Llama-3-8B-Instruct
  • DeepSeek-Coder-7B-Instruct-v1.5
  • Mistral-7B-Instruct-v0.3
• Estratégias de Prompt Analisadas: Sete estratégias foram comparadas:
  1. Zero-shot
  2. Few-shot
  3. Chain-of-Thought (CoT)
  4. Least-to-Most (LtM)
  5. Program-of-Thought (PoT)
  6. Self-Consistency (SC_CoT)
  7. ReAct
• Dataset: O conjunto de dados MBPP (Mostly Basic Python Problems), contendo tarefas de programação Python para iniciantes.
• Ambiente Experimental: Executado no Google Colab com GPU NVIDIA A100.
• Métricas Coletadas:
  • Primárias: Tempo de execução, consumo de energia (CPU, GPU, RAM), emissões de carbono (medido via CodeCarbon), contagem de tokens e cobertura de código (via coverage.py).
  • Derivadas: Eficiência por 1.000 tokens (tempo, carbono, energia) e eficiência de qualidade de cobertura (cobertura por kWh, por kg de CO2).
  • Métrica Composta (SQScore): Um score de trade-off que integra cobertura, energia, emissões e tempo, ponderado por diferentes prioridades (foco ecológico, equilibrado ou foco em qualidade).

3. Principais Contribuições

1. Framework de Avaliação: Apresentação do primeiro framework de avaliação de sustentabilidade focado em prompts para geração de testes usando SLMs, integrando métricas ambientais e de qualidade.
2. Avaliação Controlada: Realização de um experimento controlado comparando sete estratégias de prompt em três modelos SLMs quantizados, permitindo uma comparação direta dos trade-offs entre sustentabilidade e qualidade.
3. Análise de Impacto: Demonstração de que a escolha da estratégia de prompt tem um impacto substancial e independente nos resultados de sustentabilidade, muitas vezes superando a influência da escolha do modelo em si.

4. Resultados Chave

• Impacto da Complexidade do Raciocínio: Estratégias que exigem raciocínio intensivo, como Chain-of-Thought (CoT) e Self-Consistency (SC_CoT), alcançam coberturas ligeiramente melhores ou comparáveis, mas incorrem em custos significativamente maiores em tempo de execução, energia e emissões de carbono.
  • Exemplo: O SC_CoT aumentou o tempo de execução para 23-27 horas (vs. 6-10 horas de estratégias leves) e consumiu até 3x mais energia, sem um ganho proporcional na cobertura.
• Eficiência de Estratégias Leves: Estratégias mais simples ou estruturadas, como Few-shot, Least-to-Most (LtM) e ReAct, oferecem uma qualidade de cobertura competitiva com um custo ambiental drasticamente menor.
  • O Few-shot frequentemente obteve o melhor equilíbrio (maior SQScore), especialmente nos modelos Llama e DeepSeek.
  • O LtM destacou-se no modelo Mistral.
• Retornos Decrescentes: Aumentar a profundidade do raciocínio além de um certo ponto (como no SC_CoT) resulta em retornos decrescentes para a qualidade do teste, enquanto os custos ambientais e computacionais aumentam desproporcionalmente.
• Independência do Modelo: Os padrões de sustentabilidade foram consistentes entre os três modelos diferentes, indicando que a estratégia de prompt é um fator determinante mais forte do que a arquitetura específica do modelo para esses cenários.

5. Significado e Conclusão

O estudo conclui que a engenharia de prompts é um mecanismo prático e acionável para controlar a pegada ambiental de pipelines de teste automatizado.

• Para a Indústria: Desenvolvedores e equipes de QA podem reduzir significativamente o custo energético e as emissões de carbono de seus processos de teste simplesmente escolhendo estratégias de prompt mais eficientes (como Few-shot ou LtM) em vez de recorrer a métodos de raciocínio complexo e custosos (como Self-Consistency), a menos que haja uma necessidade crítica de cobertura marginalmente superior.
• Para a Pesquisa: O trabalho estabelece que a sustentabilidade deve ser uma dimensão de avaliação de primeira classe no desenvolvimento de software assistido por IA, e que a otimização de prompts é tão crucial quanto a seleção do modelo ou a otimização de hardware.

Em suma, o artigo demonstra que não existe uma estratégia única que otimize todas as dimensões simultaneamente, mas que estratégias leves e estruturadas oferecem o melhor equilíbrio entre qualidade de teste e sustentabilidade ambiental.