Resumo Técnico: LLMCFG-TGen

Declaração do Problema

O teste de software é um componente crítico do ciclo de vida de desenvolvimento, com a geração de casos de teste consumindo frequentemente de 40% a 70% do esforço total de teste. Embora a Geração de Testes Baseada em Requisitos (RBTG) ofereça um caminho para automatizar esse processo ao derivar testes de requisitos em Linguagem Natural (NL), as abordagens existentes enfrentam limitações significativas. As estratégias tradicionais baseadas em modelos (por exemplo, usando UML ou Máquinas de Estados Finitos) são frequentemente complexas e dispendiosas demais para a adoção industrial. Por outro lado, as recentes abordagens de Grandes Modelos de Linguagem (LLM) que geram casos de teste diretamente de requisitos em NL sofrem com problemas de completude, redundância e "alucinações". Esses métodos de geração direta frequentemente falham em capturar lógicas condicionais complexas, resultando em suítes de teste fragmentadas ou incompletas que não cobrem adequadamente o espaço comportamental do sistema.

Metodologia

Os autores propõem o LLMCFG-TGen, uma abordagem de ponta a ponta que preenche a lacuna entre descrições de casos de uso em NL e a geração sistemática de testes ao introduzir uma representação intermediária estruturada: o Grafo de Fluxo de Controle (CFG). A metodologia opera em três etapas distintas e automatizadas:

1. Geração do CFG:

   • Um LLM é instruído a transformar uma descrição bruta de caso de uso em NL em um CFG estruturado baseado em JSON.
   • O prompt inclui um algoritmo específico (Algoritmo 1) e instruções para extrair nós (representando fluxos principais, alternativos e de exceção) e arestas (representando transições de controle e condições).
   • Verificação: Uma etapa de validação pós-geração verifica o CFG quanto à validade estrutural, garantindo que não haja nós isolados, nós inacessíveis ou referências órfãs. Se o CFG for inválido, o LLM é solicitado novamente para regenerá-lo até que uma estrutura válida seja alcançada.

2. Extração de Caminhos de Teste:

   • Uma vez obtido um CFG verificado, o sistema percorre o grafo para extrair um conjunto finito de caminhos de execução.
   • Um algoritmo de Busca em Profundidade (DFS) é empregado, utilizando a poda de ciclos para evitar loops infinitos. Se um nó for revisitado dentro de um caminho, a travessia termina nesse ponto, capturando o comportamento de loop sem expansão redundante.
   • Os caminhos resultantes ao nível de instrução são traduzidos de volta para sequências de declarações em linguagem natural, preservando etapas condicionais como elementos explícitos.

3. Criação de Casos de Teste:

   • Os caminhos extraídos ao nível de instrução são passados para o LLM (guiado por um segundo prompt) para gerar casos de teste detalhados e estruturados.
   • Cada caso de teste inclui um título, pré-condições e uma sequência ordenada de etapas com entradas e resultados esperados.
   • O sistema impõe uma formatação de saída estrita (JSON) para garantir que os artefatos gerados sejam legíveis por máquina e consistentes.

A abordagem é agnóstica a modelos e foi implementada como um protótipo baseado na web, não exigindo templates predefinidos para os casos de uso de entrada.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

• Framework LLMCFG-TGen: Uma abordagem inovadora guiada por CFG que gera casos de teste a partir de casos de uso em NL através de modelagem de fluxo de controle estruturado e extração baseada em caminhos, eliminando a necessidade de construção de modelo manual ou templates de entrada rígidos.
• Avaliação de Alinhamento Comportamental: Um método de avaliação baseado em LLM para casos de teste abstratos que quantifica o alinhamento entre os casos de teste gerados e os caminhos de execução de referência através de múltiplas dimensões comportamentais (ex: cobertura, ruído, redundância).
• Estudo Empírico: Uma avaliação abrangente envolvendo seis conjuntos de dados diversos (60 casos de uso) cobrindo saúde, jogos, logística e registros médicos. O estudo inclui análise quantitativa, avaliação de especialistas com testes de significância estatística e análise de custo-benefício em quatro LLMs diferentes.
• Reprodutibilidade: O lançamento de um protótipo baseado na web e acesso público a conjuntos de dados, arquivos de configuração e scripts de avaliação.

Resultados Experimentais

A abordagem foi avaliada contra dois baselines: LLM (Direto) (gerando casos de teste diretamente de NL) e AGORA (um pipeline de LLM de dois passos estruturados).

• Precisão do CFG (RQ1): Os CFGs gerados pelo LLM demonstraram alta similaridade estrutural com as verdades fundamentais (ground truths) construídas manualmente. Modelos como GPT-5.4 e Claude Opus 4.6 alcançaram F1-scores de nível de nó acima de 0,9 e F1-scores de nível de aresta acima de 0,8, com valores de Distância de Edição de Grafo Normalizada (nGED) geralmente abaixo de 0,2.
• Efetividade dos Casos de Teste (RQ2): O LLMCFG-TGen produziu suítes de teste com tamanhos mais próximos das contagens de caminhos da verdade fundamental, mostrando as menores taxas de discrepância e desvios absolutos médios. Alcançou Cobertura de Etapas (SC) e Cobertura de Caminho (PC) superiores, reduzindo significativamente o Ruído e a Redundância em comparação aos baselines. Notavelmente, gerou casos de teste mais compactos (menor Média de Contribuidores por Caminho), evitando a fragmentação vista na geração direta por LLM.
• Avaliação Humana (RQ3): Em um estudo com seis profissionais da indústria, o LLMCFG-TGen recebeu pontuações estatisticamente superiores em Fidelidade, Completude e Correção em comparação a ambos os baselines. Embora as pontuações de Clareza tenham sido ligeiramente inferiores às da abordagem direta de LLM (devido à natureza estruturada da saída), os especialistas avaliaram o LLMCFG-TGen como mais confiável e melhor alinhado com cenários de negócio.
• Custo-Efetividade (RQ4): O LLMCFG-TGen incorreu em maior consumo de tokens e tempo de execução do que a geração direta devido ao seu raciocínio de múltiplos passos e loops de validação. No entanto, os autores argumentam que esse overhead é justificado pelos ganhos substanciais em precisão estrutural e qualidade do teste. Entre os modelos testados, o Qwen 3.5 Plus demonstrou a maior custo-efetividade.

Significância e Alegações

O artigo alega que o acoplamento do raciocínio semântico baseado em LLM com a modelagem estruturada (CFGs) preenche efetivamente a lacavra entre requisitos em NL não estruturados e a geração sistemática de testes. Ao usar o CFG como uma representação intermediária verificável, a abordagem mitiga as alucinações e a redundância comuns na geração direta por LLM. Os achados sugerem que este método produz casos de teste mais abrangentes, logicamente coerentes e menos redundantes, reduzindo o esforço manual enquanto melhora o alinhamento entre os requisitos e os artefatos de teste. Os autores posicionam isso como um passo em direção à geração de testes automatizada e escalável que mantém o rigor do teste baseado em modelos sem os custos de modelagem manual associados.