Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs

Resumen Técnico: Generación Automatizada de Casos de Prueba para Aplicaciones Web con LLMs y Grafos de Transición de Pantalla

1. Planteamiento del Problema

Las aplicaciones web son fundamentales en el ecosistema de software moderno, pero garantizar su fiabilidad es cada vez más difícil debido a la complejidad y naturaleza dinámica de sus interfaces.

• Limitaciones de los métodos tradicionales: Las técnicas de análisis estático y dinámico, así como las herramientas automatizadas existentes (como Selenium), suelen requerir la generación manual de casos de prueba. Este proceso es lento, propenso a errores y no escala bien en entornos web dinámicos.
• Brechas en la IA generativa: Aunque los Modelos de Lenguaje Grande (LLMs) han mostrado potencial para automatizar tareas complejas, las soluciones actuales enfrentan desafíos críticos:
  • Dificultad para modelar flujos de navegación dinámicos, lo que resulta en una cobertura incompleta de las rutas de usuario.
  • Incapacidad para manejar interacciones complejas en formularios, como campos condicionales que aparecen según entradas previas o lógica de validación estricta.
  • Falta de un flujo de trabajo unificado que integre la modelización de navegación y la validación de formularios.

2. Metodología

El sistema propuesto es un enfoque automatizado que genera casos de prueba para dos áreas clave: navegación del sitio y relleno de formularios. Utiliza una arquitectura basada en grafos combinada con LLMs.

• Generación de Pruebas de Navegación (Site-Navigation):

  • Grafo de Transición de Pantalla (Screen Transition Graph): Se construye mediante crawling web basado en Selenium. Los nodos representan páginas web (con metadatos como URL y HTML) y las aristas representan los caminos de navegación (enlaces, botones).
  • Proceso:
    1. Identificación de Ruta: Se utiliza el algoritmo de Dijkstra para encontrar la ruta más corta entre una página de inicio y un destino.
    2. Generación de Acciones: Un LLM analiza cada arista del camino y genera descripciones detalladas de las interacciones necesarias (clics, seguimientos de enlaces).
    3. Construcción de Escenarios: Las acciones se agregan para formar un caso de prueba ejecutable y estructurado.

• Generación de Pruebas de Relleno de Formularios (Form-Filling):

  • Grafo de Estados (State Graph): Se utiliza para modelar formularios dinámicos donde los campos cambian según las interacciones del usuario.
  • Exploración de Estados: Se emplea un algoritmo recursivo (ver Algoritmo 1 en el paper) que interactúa con cada elemento del formulario, captura el estado del HTML antes y después de la interacción, y detecta cambios. Si el HTML cambia, se guarda un nuevo estado y se explora recursivamente.
  • Manejo de Retroceso (Backtracking): Dado que Selenium no soporta retroceso nativo, el sistema mantiene una lista de interacciones para reproducir la secuencia y volver al estado anterior antes de explorar otras ramas.
  • Generación de Código: En los nodos hoja del grafo de estados, un LLM genera scripts de Selenium automatizados para probar cada configuración posible del formulario.

3. Contribuciones Clave

1. Integración Novel de Grafos y LLMs: Un enfoque que combina grafos de transición de pantalla con LLMs para generar escenarios de navegación automatizados y precisos.
2. Metodología basada en Grafos de Estados: Una técnica novedosa para modelar cambios de estado en formularios condicionales complejos, permitiendo la generación de casos de prueba Selenium de alta calidad para todas las configuraciones posibles.
3. Conjunto de Datos Integral (Benchmark): Desarrollo de un dataset extenso para evaluar pruebas de interacción con formularios, que incluye:
   • 2,000 formularios sintéticos (1,000 simples y 1,000 dinámicos) generados mediante reglas.
   • 133 formularios recolectados de sitios web reales (e-commerce, CMS, redes sociales).

4. Resultados Experimentales

Los experimentos evaluaron tanto modelos comerciales (GPT-4o) como de código abierto (DeepSeek Distill, Qwen, Llama) en el benchmark creado.

• Pruebas de Navegación:
  • GPT-4o-mini obtuvo el mejor rendimiento general, destacando en claridad, precisión y completitud.
  • Los modelos más grandes (como Llama-70B) mostraron un rendimiento superior en comparación con modelos más pequeños, aunque la robustez ante errores de navegación inesperados sigue siendo un desafío para todos los modelos.
• Pruebas de Relleno de Formularios:
  • GPT-4o logró la mayor precisión en todos los escenarios (95.17% en formularios simples, 91.37% en reales), demostrando una capacidad superior para manejar tanto estructuras estáticas como dinámicas.
  • Los modelos de código abierto (Qwen2.5, Llama3.1) mostraron un rendimiento aceptable en formularios simples pero sufrieron una caída significativa en precisión y cobertura en formularios dinámicos.
  • Análisis de Fallos: Se observó que los campos ocultos (hidden) y de archivo (file) tienen tasas de fallo consistentemente altas, así como errores en la validación de formularios dinámicos. Sin embargo, el sistema es muy fiable para campos comunes (texto, fecha, casillas de verificación).

5. Significado e Impacto

Este trabajo representa un avance significativo en la automatización de pruebas de aplicaciones web al:

• Unificar procesos: Integrar la modelización de navegación y la validación de formularios en un solo flujo de trabajo coherente, superando la fragmentación de enfoques anteriores.
• Mejorar la cobertura: La combinación de grafos de estados y LLMs permite explorar exhaustivamente las rutas de navegación y las configuraciones de formularios que los métodos manuales o herramientas tradicionales suelen pasar por alto.
• Escalabilidad: Ofrece una solución escalable que reduce la intervención humana y el tiempo de desarrollo de pruebas, adaptándose a la naturaleza cambiante de las aplicaciones web modernas.
• Establecimiento de un estándar: La creación de un benchmark público con formularios sintéticos y reales facilita la evaluación objetiva y la comparación futura de sistemas de prueba automatizados.

En conclusión, el sistema demuestra que la integración de estructuras de grafos para la representación del estado del sistema con la capacidad generativa de los LLMs es una vía prometedora para crear marcos de prueba web más inteligentes, adaptables y robustos.