Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs

1. 문제 정의 (Problem)

현대 소프트웨어 생태계에서 웹 애플리케이션은 핵심적인 역할을 하지만, 인터페이스의 복잡성과 동적 특성으로 인해 신뢰성을 보장하는 것이 어렵습니다. 기존 테스트 방법론은 다음과 같은 한계를 가지고 있습니다:

• 수동 테스트의 병목 현상: 대규모 및 상호작용이 복잡한 웹 애플리케이션에 대한 수동 테스트는 시간 소모가 크고 확장성이 부족합니다.
• 기존 자동화 도구의 한계: Selenium 과 같은 도구는 웹 요소와의 프로그래밍적 상호작용을 가능하게 하지만, 테스트 케이스를 수동으로 생성해야 하므로 오류가 발생하기 쉽고 동적인 환경에 적합하지 않습니다.
• 동적 흐름 및 복잡한 폼 처리의 부재: 기존 생성형 AI 기반 접근법들은 동적인 네비게이션 흐름 (Navigation Flows) 을 효과적으로 모델링하지 못하거나, 이전 입력에 따라 조건부로 나타나는 필드 (Conditional Fields) 와 같은 복잡한 폼 상호작용을 처리하는 데 어려움을 겪습니다. 또한, 네비게이션 모델링과 폼 검증을 통합된 워크플로우로 다루지 못하는 경우가 많습니다.

2. 제안 방법론 (Methodology)

이 논문은 화면 전환 그래프 (Screen Transition Graphs) 와 상태 그래프 (State Graphs) 를 대규모 언어 모델 (LLMs) 과 통합하여 사이트 네비게이션 및 폼 채우기 테스트 케이스를 자동 생성하는 시스템을 제안합니다.

A. 전체 아키텍처

시스템은 Selenium 기반 웹 크롤링을 통해 웹사이트를 분석하고, 두 가지 그래프 구조를 생성하여 테스트 시나리오를 도출합니다.

1. 화면 전환 그래프 (Screen Transition Graph): 웹 페이지 간의 네비게이션 경로를 모델링합니다. 노드는 웹 페이지 (URL, HTML 등 메타데이터 포함) 를, 엣지는 링크나 버튼을 통한 이동 경로를 나타냅니다.
2. 상태 그래프 (State Graph): 폼 내의 상호작용과 조건부 필드 변화를 모델링합니다. 노드는 폼의 고유한 상태 (State) 를, 엣지는 사용자 상호작용에 따른 상태 전이를 나타냅니다.

B. 핵심 구성 요소

1. 사이트 네비게이션 테스트 생성 (Site-navigation Test Generation):

   • 경로 식별: Dijkstra 알고리즘을 사용하여 시작 페이지에서 목적지 페이지까지의 최단 경로를 그래프에서 찾습니다.
   • 액션 생성: LLM 을 사용하여 각 경로 (엣지) 를 따라 이동하기 위해 필요한 구체적인 사용자 행동 (버튼 클릭, 링크 선택 등) 을 상세히 생성합니다.
   • 시나리오 구성: 생성된 액션들을 통합하여 실행 가능한 테스트 시나리오를 작성합니다.

2. 폼 상호작용 테스트 생성 (Form-filling Test Generation):

   • 폼 분류: 정적 구조의 '단순 폼 (Simple Forms)'과 조건에 따라 필드가 변하는 '동적 폼 (Dynamic Forms)'으로 분류합니다.
   • 상태 탐색 (State Exploration): 재귀 알고리즘을 사용하여 폼 내의 모든 상호작용 가능한 요소를 탐지합니다. 각 요소와 상호작용 후 HTML 이 변경되면 새로운 상태를 저장하고, 해당 상태에서 다시 재귀적으로 탐색을 진행합니다.
   • 백트래킹 (Backtracking) 해결: Selenium 드라이버는 직접적인 상태 복원이 어렵기 때문에, 현재 상태에 도달하기까지의 상호작용 이력을 기록해 두었다가 재귀 호출 종료 시 이를 재생성하여 이전 상태로 되돌리는 방식을 사용합니다.
   • 스크립트 생성: 탐색된 모든 상태 (Leaf nodes) 에 대해 LLM 이 Selenium 스크립트를 자동 생성합니다.

3. 주요 기여 (Key Contributions)

1. 그래프 구조와 LLM 의 혁신적 통합: 사이트 네비게이션 테스트를 위해 화면 전환 그래프와 LLM 을 결합하여 자동화된 테스트 시나리오 생성을 가능하게 했습니다.
2. 상태 그래프 기반의 복잡한 폼 자동화: 조건부 필드가 포함된 동적 폼의 상태 변화를 모델링하는 상태 그래프를 도입하고, 이를 LLM 과 결합하여 고품질의 Selenium 테스트 케이스를 생성하는 방법론을 제시했습니다.
3. 포괄적인 벤치마크 데이터셋 구축: 합성 데이터 (규칙 기반의 단순/동적 폼 2,000 개) 와 실제 웹사이트에서 수집된 데이터 (133 개) 를 포함한 종합적인 폼 상호작용 테스트 평가 데이터셋을 개발했습니다.

4. 실험 결과 (Results)

연구진은 제안된 시스템을 다양한 LLM (GPT-4o, DeepSeek, Qwen, Llama 등) 을 사용하여 평가했습니다.

• 네비게이션 테스트:
  • GPT-4o-mini가 명확성, 정확성, 완전성 측면에서 가장 높은 성능을 보였습니다.
  • 모델 크기가 클수록 (예: Llama-70B) 더 구조화되고 정확한 테스트 케이스를 생성했으나, 모든 모델에서 '예상치 못한 입력 처리 (Robustness)' 측면에서는 개선의 여지가 있었습니다.
• 폼 채우기 테스트:
  • GPT-4o가 단순 폼, 동적 폼, 실제 폼 모든 환경에서 가장 높은 정확도 (Micro/Macro Accuracy) 와 커버리지를 기록했습니다.
  • 동적 폼의 어려움: 대부분의 모델이 동적 폼 (조건부 필드) 에서 성능이 저하되는 경향을 보였으며, 특히 숨겨진 필드 (hidden) 와 파일 업로드 (file) 필드에서 실패율이 높았습니다.
  • 커버리지: 작은 모델 (Llama-7B 등) 은 커버리지는 높게 유지했으나 정확도가 낮았으며, GPT-4o 는 높은 정확도와 적절한 커버리지를 동시에 달성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 웹 애플리케이션 테스트 분야에서 다음과 같은 의의를 가집니다:

• 통합된 프레임워크: 네비게이션 모델링과 폼 검증을 분리된 과정이 아닌, 그래프 기반의 통합 워크플로우로 연결하여 테스트의 포괄성을 높였습니다.
• 확장성과 효율성: 수동 테스트의 의존성을 줄이고, 동적이고 복잡한 웹 환경에서도 확장 가능한 자동화 솔루션을 제공합니다.
• 미래 지향성: LLM 의 발전과 결합하여 더 지능적이고 적응형인 웹 테스트 솔루션의 기반을 마련했습니다.

결론적으로, 이 논문은 웹 애플리케이션의 복잡성을 해결하기 위해 그래프 기반 구조와 생성형 AI 를 융합한 새로운 패러다임을 제시하며, 테스트 커버리지와 견고성을 크게 향상시킬 수 있음을 실험을 통해 입증했습니다.