Behaviour Driven Development Scenario Generation with Large Language Models

Este artigo avalia o desempenho de três modelos de linguagem (GPT-4, Claude 3 e Gemini) na geração automática de cenários de Desenvolvimento Orientado a Comportamento (BDD) a partir de um conjunto de dados de 500 histórias de usuário, revelando que, embora o GPT-4 apresente maior similaridade textual, o Claude 3 produz cenários de maior qualidade segundo especialistas humanos e avaliadores de IA, além de identificar que a qualidade da entrada, técnicas de *prompting* específicas e configurações de temperatura zero são determinantes para o sucesso da geração.

O essencial

Imagine que você está construindo uma casa muito complexa. No mundo do desenvolvimento de software, essa "casa" é o aplicativo ou sistema que as pessoas usam todos os dias. Para garantir que a casa não desabe e que todas as portas abram corretamente, você precisa de um manual de instruções de teste muito detalhado.

No passado, escrever esse manual era como tentar desenhar um mapa do tesouro à mão, sem GPS. Era lento, cansativo e dependia totalmente da experiência do desenhista. Se ele esquecesse um detalhe (como "a porta só abre se a chave for girada duas vezes"), a casa poderia ter um defeito grave.

Este artigo é sobre como a Inteligência Artificial (IA) pode ajudar a escrever esses manuais de teste automaticamente, de forma rápida e precisa.

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: O "Chef" Cansado

No desenvolvimento de software, existe uma técnica chamada BDD (Desenvolvimento Orientado a Comportamento). Pense nela como uma conversa entre o cliente (que quer a casa), o arquiteto e o pedreiro para definir exatamente como a casa deve funcionar.

O problema é que transformar essa conversa em um "manual de teste" (chamado de cenário BDD) é trabalhoso.

• O cenário antigo: Uma pessoa (o "Chef") pega uma ideia vaga ("Quero uma porta que abre com a voz") e tenta escrever 20 regras diferentes para testar se isso funciona. Isso demora horas e, às vezes, o Chef esquece de testar o que acontece se a voz estiver rouca ou se houver barulho de fundo.

2. A Solução: Três "Assistentes de IA"

Os pesquisadores pegaram três super-IA famosas (GPT-4, Claude 3 e Gemini) e perguntaram: "Vocês conseguem escrever esses manuais de teste sozinhos?"

Eles deram para as IAs 500 pedidos reais de clientes (chamados de "histórias de usuário") e viram o que elas produziam.

3. Quem foi o Vencedor? (O Resultado Surpreendente)

Aqui está a parte mais interessante, que quebra alguns mitos:

• O "Copista" Perfeito (GPT-4): Se você mede apenas por "quantas palavras parecidas" a IA escreveu em relação ao manual original, o GPT-4 ganha. Ele é ótimo em copiar o estilo e a estrutura.
• O "Especialista Humano" (Claude 3): Mas, quando especialistas reais (pessoas de verdade com anos de experiência) leram os manuais, eles disseram: "O do Claude 3 é o melhor!". Ele entendeu a intenção por trás do pedido melhor do que os outros.
• O "Aprendiz" (Gemini): O Gemini precisou de mais ajuda para se sair bem.

A Lição: Às vezes, quem parece mais parecido com o original (GPT-4) não é necessariamente quem entende melhor o problema (Claude 3).

4. O Segredo do Chef: Como Dar as Instruções (Prompting)

Não basta apenas pedir para a IA. Você precisa saber como pedir. O estudo descobriu que cada IA gosta de um tipo diferente de instrução, como cozinheiros diferentes:

• GPT-4: Gosta de instruções diretas. Você diz: "Faça o teste para a porta de voz" e ele faz. Não precisa de exemplos. É o "mestre que não precisa de receitas".
• Claude 3: Gosta de pensar passo a passo. Você deve pedir: "Primeiro pense nos problemas, depois nos passos, depois escreva o teste". Isso melhora muito o resultado.
• Gemini: Gosta de ver exemplos. Você precisa mostrar: "Aqui está um exemplo de um teste de porta. Agora faça um para a janela". Ele aprende copiando o modelo.

5. O Ingrediente Principal: A Qualidade da Receita

Este é talvez o ponto mais importante do estudo. A qualidade do manual de teste gerado pela IA depende 100% da qualidade do que você dá a ela para ler.

• Cenário Ruim: Você dá apenas uma frase vaga: "Quero uma porta que abre com a voz".
  • Resultado: A IA gera um manual fraco, cheio de falhas. É como tentar cozinhar um banquete com apenas um ovo.
• Cenário Bom: Você dá detalhes técnicos: "A porta deve abrir com a voz, mas se a pessoa estiver com gripe, deve pedir um PIN. Se o microfone estiver desligado, deve avisar. O tempo limite é de 5 segundos."
  • Resultado: Mesmo que você dê apenas esses detalhes técnicos (sem a frase inicial), a IA gera um manual de teste excelente.

Conclusão: A IA não é mágica; ela é um espelho. Se você der informações ruins, ela devolve resultados ruins. Se você der detalhes ricos, ela brilha.

6. O "Botão de Aleatoriedade"

As IAs têm um botão chamado "Temperatura".

• Temperatura Alta: A IA fica criativa e inventa coisas novas (mas pode errar).
• Temperatura Zero: A IA fica focada e faz exatamente o que é pedido, sem surpresas.

O estudo descobriu que, para escrever manuais de teste, o botão deve estar sempre em Zero. Você quer precisão, não criatividade. Quer que a porta abra exatamente como foi planejado, não que a IA invente que a porta voa.

Resumo Final para Leigos

Imagine que você quer contratar um estagiário superinteligente para escrever regras de segurança para sua empresa.

1. Escolha o estagierto certo: O Claude 3 parece ser o mais sensato e entende melhor o negócio.
2. Dê as instruções certas: Se for o GPT-4, seja direto. Se for o Claude, peça para ele pensar antes de agir. Se for o Gemini, mostre exemplos.
3. Forneça os dados: Não espere que a IA adivinhe os detalhes. Escreva os requisitos técnicos com clareza. Se você der apenas uma ideia vaga, o resultado será ruim.
4. Use o modo "Foco Total": Desligue a criatividade da IA (temperatura zero) para garantir que as regras sejam consistentes e seguras.

Este estudo nos diz que a IA já está pronta para ajudar os testadores de software, mas precisamos saber como usá-la: com bons dados, as instruções certas e o modelo adequado.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Behaviour Driven Development Scenario Generation with Large Language Models", traduzido e estruturado em português:

Título: Geração de Cenários de Desenvolvimento Orientado a Comportamento (BDD) com Modelos de Linguagem de Grande Escala (LLMs)

1. Problema e Motivação

O desenvolvimento de software moderno enfrenta desafios de escalabilidade na garantia de qualidade. O Desenvolvimento Orientado a Comportamento (BDD) é uma metodologia ágil que utiliza cenários em linguagem natural (formato Gherkin: Given/When/Then) para alinhar requisitos de negócio com implementação técnica. No entanto, a criação manual desses cenários é:

• Intensiva em tempo: Cria gargalos em ciclos de desenvolvimento ágeis.
• Inconsistente: A qualidade varia conforme a experiência do autor.
• Limitada em cobertura: Tendência a focar em "caminhos felizes" (happy paths), negligenciando casos de borda e erros.

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado potencial na geração de texto e código, não havia estudos sistemáticos avaliando sua eficácia na geração de cenários BDD, nem um consenso sobre como avaliar a qualidade desses cenários ou quais configurações de prompt e modelo são ideais.

2. Metodologia

Os autores conduziram um estudo empírico abrangente utilizando uma abordagem multidimensional:

• Construção de Dataset (Contribuição Primária):

  • Criaram o primeiro dataset público contendo 500 histórias de usuário e descrições de requisitos extraídas de quatro produtos de software corporativos reais (da empresa IntelligenceBank).
  • Cada item inclui a história de usuário, a descrição detalhada do requisito e o cenário BDD correspondente (ground truth) criado por especialistas humanos.
  • Os dados foram curados para remover metadados de ferramentas (Jira/Confluence) e padronizar o formato.

• Modelos Avaliados:

  • Três LLMs de ponta: GPT-4 (OpenAI), Claude 3 Opus (Anthropic) e Gemini 1.5 Flash (Google).

• Variáveis Experimentais (Perguntas de Pesquisa):

  • RQ1 (Eficácia): Comparação da qualidade dos cenários gerados.
  • RQ2 (Técnicas de Prompt): Avaliação de Zero-shot, Few-shot e Chain-of-Thought (CoT).
  • RQ3 (Tipos de Entrada): Impacto de fornecer apenas "História de Usuário", apenas "Descrição do Requisito" ou ambos.
  • RQ4 (Configurações do Modelo): Impacto dos parâmetros Temperature e top_p.

• Métricas de Avaliação:

  • Automatizadas: Similaridade de Texto (BLEU, METEOR, ROUGE-L) e Similaridade Semântica (BERTScore, SBCS, SBED, USECS).
  • Baseada em LLM: Uso de LLMs (incluindo DeepSeek) como avaliadores.
  • Humana: Avaliação por 6 especialistas sênior em QA (escala de 1 a 5).

3. Principais Resultados

• Desempenho dos Modelos (RQ1):

  • GPT-4 obteve as melhores pontuações em métricas de similaridade de texto e semântica.
  • Claude 3 foi classificado como o melhor modelo tanto pela avaliação humana quanto pela avaliação baseada em LLM, superando o GPT-4 na qualidade percebida pelos especialistas.
  • Gemini teve o desempenho geral mais baixo entre os três.

• Correlação com Avaliação Humana (RQ1):

  • Métricas tradicionais de similaridade de texto (BLEU, ROUGE) mostraram correlação fraca com a avaliação humana.
  • DeepSeek (usado como avaliador LLM) apresentou a maior correlação positiva com o julgamento humano (ρ = 0.72 para Claude), sugerindo que LLMs especializados podem substituir avaliações humanas em larga escala.

• Impacto das Técnicas de Prompt (RQ2):

  • O desempenho varia significativamente dependendo do modelo:
    • GPT-4: Melhor com Zero-shot (sem exemplos).
    • Claude 3: Beneficiou-se marginalmente do Chain-of-Thought (raciocínio passo a passo).
    • Gemini: Obteve resultados ótimos com Few-shot (com exemplos).
  • A melhor configuração global foi o GPT-4 com Zero-shot.

• Qualidade da Entrada (RQ3):

  • A qualidade da entrada é determinante.
  • Descrições de Requisitos Detalhadas (sozinhas ou combinadas) geram cenários de alta qualidade.
  • Apenas Histórias de Usuário resultam em cenários de baixa qualidade (queda de ~25-28% na pontuação), pois faltam critérios de aceitação técnicos e detalhes de borda.

• Configurações do Modelo (RQ4):

  • A configuração Temperature = 0 e top_p = 1.0 produziu consistentemente os cenários de maior qualidade para todos os modelos.
  • Isso indica que a determinação (reprodutibilidade) é superior à aleatoriedade criativa para a tarefa de gerar cenários BDD estruturados.

4. Contribuições Chave

1. Dataset Público: Disponibilização do primeiro dataset de 500 histórias de usuário e cenários BDD reais de produtos industriais.
2. Avaliação Abrangente: Primeiro estudo a comparar múltiplos LLMs em BDD usando uma estrutura de avaliação multidimensional (humana + automática + LLM).
3. Diretrizes Práticas: Recomendações específicas sobre quais modelos usar, quais técnicas de prompt aplicar e como estruturar a documentação de requisitos para maximizar a eficácia.
4. Validação de Avaliação Automatizada: Evidência de que avaliadores baseados em LLM (especificamente DeepSeek) são mais confiáveis do que métricas de similaridade de texto tradicionais para esta tarefa.

5. Significado e Implicações

• Para a Indústria: A geração de cenários BDD via LLM é viável e pode acelerar significativamente os ciclos de teste, desde que os requisitos de entrada sejam detalhados. As organizações devem investir na qualidade das descrições de requisitos, não apenas nas histórias de usuário.
• Fluxo de Trabalho Híbrido: A abordagem ideal não é substituir humanos, mas usar LLMs para gerar rascunhos iniciais (com Temperature=0) que são então refinados por especialistas, mantendo a colaboração e a responsabilidade humana.
• Futuro da Pesquisa: Sugere-se o desenvolvimento de avaliadores especializados em BDD e a exploração de geração de suites de testes completas (incluindo casos de borda) com controle de aleatoriedade para diversidade de cenários.

Em resumo, o estudo demonstra que os LLMs são ferramentas poderosas para automatizar o BDD, mas seu sucesso depende criticamente da qualidade dos dados de entrada e da configuração específica do modelo, com o Claude 3 emergindo como o modelo mais robusto para a qualidade final dos cenários e o DeepSeek como o melhor avaliador automatizado.