Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs

Resumo Técnico: Geração Automatizada de Casos de Teste para Aplicações Web

1. O Problema

As aplicações web são fundamentais para o ecossistema de software moderno, mas garantir sua confiabilidade é desafiador devido à complexidade e natureza dinâmica das interfaces.

• Limitações dos Métodos Tradicionais: Abordagens baseadas em análise estática/dinâmica e ferramentas como o Selenium dependem frequentemente de casos de teste gerados manualmente. Esse processo é demorado, propenso a erros e não escala bem para grandes aplicações interativas.
• Desafios Atuais com IA: Embora modelos de linguagem grandes (LLMs) tenham avançado na automação de tarefas, eles ainda enfrentam dificuldades em:
  • Modelar fluxos de navegação dinâmicos complexos.
  • Lidar com interações de formulários condicionais (campos que aparecem ou mudam com base em entradas anteriores).
  • A falta de um fluxo de trabalho unificado que integre a modelagem de navegação e a validação de formulários.

2. Metodologia Proposta

O artigo apresenta um sistema automatizado que gera casos de teste de ponta a ponta para duas áreas críticas: navegação do site e preenchimento de formulários. O sistema combina estruturas de grafos com LLMs.

A. Geração de Testes de Navegação (Site-Navigation)

• Grafo de Transição de Tela (Screen Transition Graph): O sistema realiza crawling (varredura) no site usando o Selenium para construir um grafo onde:
  • Nós: Representam páginas da web (com metadados como URL e HTML).
  • Arestas: Representam caminhos de navegação (links, botões).
• Processo:
  1. Identificação de Caminho: Utiliza o algoritmo de Dijkstra para encontrar o caminho mais curto entre uma página inicial e um destino.
  2. Geração de Ações: Um LLM analisa as arestas do caminho e gera descrições detalhadas das ações do usuário (ex: "clicar no botão X") necessárias para transitar entre as páginas.
  3. Construção do Cenário: As ações são agregadas para criar um caso de teste executável e estruturado.

B. Geração de Testes de Formulários (Form-Filling)

• Grafo de Estados (State Graph): Para lidar com formulários complexos (especialmente os dinâmicos), o sistema modela o formulário como um grafo de estados.
  • Nós: Representam estados distintos do formulário (configurações de campos visíveis).
  • Arestas: Representam interações do usuário que alteram o estado.
• Exploração de Estados: O sistema utiliza um algoritmo recursivo para:
  1. Identificar campos condicionais.
  2. Interagir com elementos e capturar mudanças no HTML.
  3. Salvar novos estados e explorar recursivamente as novas configurações.
  4. Backtracking: Como o Selenium não suporta backtracking nativo, o sistema mantém uma lista de interações para reexecutá-las e retornar ao estado anterior, garantindo a cobertura de todas as configurações possíveis.
• Geração de Código: Nos nós folha do grafo de estados, um LLM gera scripts Selenium específicos para preencher o formulário naquela configuração.

3. Contribuições Principais

1. Integração de Grafos e LLMs para Navegação: Uma abordagem novel que usa grafos de transição de tela para modelar fluxos e LLMs para traduzir esses caminhos em cenários de teste legíveis e acionáveis.
2. Abordagem Baseada em Grafos de Estados para Formulários: Um método robusto para lidar com formulários condicionais complexos, explorando sistematicamente todas as combinações de estados e gerando scripts de teste correspondentes.
3. Conjunto de Dados (Benchmark) Abrangente: Desenvolvimento de um dataset para avaliação de testes de interação com formulários, contendo:
   • 2.000 formulários sintéticos (1.000 simples, 1.000 dinâmicos) gerados por regras.
   • 133 formulários reais coletados de diversos domínios (e-commerce, CMS, redes sociais).

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando tanto LLMs comerciais (GPT-4o) quanto open-source (DeepSeek, Qwen, Llama).

• Testes de Navegação:
  • O GPT-4o-mini obteve o melhor desempenho geral, destacando-se em clareza, precisão e completude.
  • Modelos maiores (como Llama-70B) geralmente superaram modelos menores, mas todos os modelos ainda apresentaram desafios na robustez (lidar com erros inesperados de navegação).
• Testes de Preenchimento de Formulários:
  • O GPT-4o superou significativamente os modelos open-source em todos os cenários (simples, dinâmicos e reais), alcançando alta precisão (Micro e Macro) e cobertura.
  • Modelos menores (ex: Qwen-7B, Llama-7B) tiveram desempenho moderado em formulários simples, mas sofreram drasticamente em formulários dinâmicos, com quedas significativas na precisão e cobertura.
  • Análise de Falhas: O sistema teve dificuldades consistentes com campos do tipo "hidden" (ocultos) e "file" (arquivos), além de erros de validação em formulários reais complexos. No entanto, performou bem em campos comuns (texto, data, checkbox).

5. Significado e Conclusão

Este trabalho avança o estado da arte em testes de aplicações web ao oferecer um framework unificado que integra a modelagem de navegação e a validação de formulários.

• Escalabilidade: A automação da geração de scripts Selenium reduz a dependência de esforço manual e permite testes mais abrangentes.
• Robustez: A abordagem baseada em grafos garante que fluxos de navegação e estados de formulários complexos sejam explorados sistematicamente, não apenas aleatoriamente.
• Futuro: Embora existam desafios remanescentes na validação de campos especializados e na robustez de modelos menores, a integração de LLMs com estruturas de grafos demonstra um caminho promissor para soluções de teste mais inteligentes e adaptativas.

Em suma, o sistema proposto demonstra ser uma solução eficiente e escalável para superar as limitações das ferramentas de teste tradicionais e das abordagens puramente baseadas em IA, elevando a confiabilidade das aplicações web modernas.