WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 의 등장으로 'Vibe Coding' (자연어 지시만으로 소프트웨어 개발) 이 가능해지면서, 웹 애플리케이션 생성 속도가 비약적으로 향상되었습니다. 그러나 생성된 웹 애플리케이션의 품질과 신뢰성을 자동으로 검증하는 자동화된 웹 테스트 (Automated Web Testing) 분야는 여전히 심각한 한계에 직면해 있습니다.

기존 연구 및 방법론의 주요 문제점은 다음과 같습니다:

• 정적 시각 유사성 의존: 기존 벤치마크들은 UI 스크린샷의 시각적 유사성이나 사전 정의된 인터랙션 컴포넌트만 평가하여, 동적인 기능적 결함을 놓칩니다.
• 수동 체크리스트의 한계: 대부분의 자동화 테스트는 인간이 미리 작성한 엄격한 체크리스트에 의존합니다. 이는 개방형 (Open-ended) 개발 환경에서 비전문가 사용자의 요구사항을 포괄적으로 검증하는 데 한계가 있습니다.
• 잠재적 논리적 제약 (Latent Logical Constraints) 의 간과: 기존 연구는 기능적 정확성만 중시할 뿐, "중복 예약 방지"와 같은 소프트웨어의 핵심 논리적 제약 조건을 테스트하는 데 소홀했습니다.
• 컴퓨터 사용 에이전트 (CUA) 의 신뢰성 부족: 복잡한 웹 환경에서 CUA 가 장기간의 상호작용 (Long-horizon interaction) 을 수행할 때 발생하는 신뢰성 문제가 평가되지 않았습니다.

2. 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 WebTestBench와 WebTester 프레임워크를 제안했습니다.

A. WebTestBench (벤치마크 데이터셋)

• 데이터 구성: 7 가지 카테고리 (Presentation, Search, Tool, Commerce, Data Management, Workflow, UGC) 에 속하는 100 개의 웹 애플리케이션을 생성했습니다.
  • 생성 과정: 개발자 커뮤니티의 아이디어를 수집하여 GPT-5.1 로 표준화된 개발 지시문 (Instruction) 을 작성하고, AI 기반 웹 개발 플랫폼 (Lovable.dev) 을 사용하여 실제 웹 애플리케이션을 합성했습니다.
  • 결함 주입: 초기 생성된 앱은 결함이 적으므로, 인간 어노테이터가 지시문을 수정하거나 기능을 추가하는 방식으로 반복적 정제 (Iterative Refinement) 를 통해 자연스러운 결함 (Defects) 을 포함하도록 만들었습니다.
• 평가 차원 (4 가지):
  1. 기능성 (Functionality): 핵심 업무 흐름의 성공 여부.
  2. 제약 (Constraint): 입력 유효성 검사, 중복 방지 등 논리적 규칙 준수 여부 (기존 연구에서 간과된 핵심 요소).
  3. 상호작용 (Interaction): 클릭, 토글 등 사용자 행동에 대한 동적 피드백.
  4. 콘텐츠 (Content): 표시된 텍스트, 이미지, 데이터가 지시문과 의미적으로 일치하는지.
• 골드 체크리스트: 인간 어노테이터가 위 4 가지 차원에 따라 테스트 항목 (Checklist) 과 Pass/Fail 판정, 버그 리포트를 작성했습니다.

B. WebTester (평가 프레임워크)

기존의 단일 에이전트 방식이 아닌, 두 단계로 나뉜 캐스케이드 (Cascaded) 프레임워크를 제안했습니다.

1. 체크리스트 생성 에이전트 (Checklist Generation Agent): 사용자의 개발 지시문을 분석하여 검증 가능한 테스트 항목 집합 (T_pred) 을 자동으로 생성합니다.
2. 결함 탐지 에이전트 (Defect Detection Agent): 생성된 체크리스트를 기반으로 웹 환경에서 인간과 유사한 상호작용 (클릭, 입력 등) 을 시뮬레이션하여 각 항목의 실행 상태 (Pass/Fail) 를 판별하고 버그를 보고합니다.

• 평가 지표: 생성된 체크리스트의 **커버리지 (Coverage)**와 결함 탐지의 정밀도 (Precision), 재현율 (Recall), F1 점수를 계산합니다.

3. 주요 기여 (Key Contributions)

1. WebTestBench 도입: 인간이 작성한 테스트 케이스에 의존하지 않고, AI 기반 웹 개발 시나리오를 시뮬레이션하는 엔드 - 투 - 엔드 자동화 웹 테스트 벤치마크를 최초로 제안했습니다. 특히 잠재적 논리적 제약을 평가에 포함시킨 점이 특징입니다.
2. WebTester 프레임워크 개발: 체크리스트 생성과 결함 탐지를 분리하여 평가하는 기준 프레임워크를 설계했습니다.
3. 포괄적인 LLM 평가: 다양한 최신 LLM(Open-source 및 Closed-source) 을 대상으로 성능을 평가하여, 현재 컴퓨터 사용 에이전트의 능력과 산업 수준의 배포 요구사항 사이의 큰 격차를 규명했습니다.

4. 실험 결과 (Results)

WebTester를 사용하여 여러 주요 LLM 을 평가한 결과는 다음과 같습니다:

• 전반적인 낮은 성능: 평가된 모든 모델의 F1 점수가 30% 미만으로 나타났습니다. (최고 성능 모델인 GPT-5.1 의 F1 점수는 26.4% 에 불과함). 이는 현재 에이전트 기술이 산업 수준의 웹 테스트를 수행하기에 아직 부족함을 시사합니다.
• 테스트 불완전성 (Insufficient Test Completeness): 모든 모델이 생성한 체크리스트의 커버리지가 70% 미만으로, 중요한 테스트 항목이 누락되어 결함을 놓치는 경우가 많았습니다. 특히 암시적 요구사항을 테스트 항목으로 변환하는 데 어려움을 겪었습니다.
• 결함 탐지 병목 (Detection Bottleneck):
  • 높은 오탐 (False Positive): UI 렌더링 지연 등을 실제 결함으로 오인하는 경우가 많았습니다.
  • 낮은 재현율 (Low Recall): 실제 존재하는 결함을 발견하지 못하는 경우가 많았습니다.
  • 전략적 편향: 모델에 따라 재현율을 높이기 위해 정밀도를 희생하거나 (GPT-5.1), 정밀도를 유지하려다 실제 결함을 놓치는 (MiMo-V2-Flash) 등 상반된 전략을 취했습니다.
• 장기 상호작용의 불안정성: 테스트 완료까지 수십 번의 상호작용과 수백만 토큰이 소요되며, 대화 기록이 길어질수록 모델이 이전 상태를 잊거나 불필요한 작업을 반복하는 등 신뢰성이 떨어졌습니다.
• 카테고리별 차이: 데이터 관리 (Data Management) 와 같은 명확한 상태 전이가 있는 작업은 상대적으로 성능이 좋았으나, 검색 (Search) 이나 사용자 생성 콘텐츠 (UGC) 와 같은 **의미적 검증 (Semantic Verification)**이 필요한 영역에서는 성능이 극도로 저하되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 "Vibe Coding" 시대에 필수적인 자동화된 웹 테스트의 현재 한계를 명확히 드러냈습니다.

• 현실적 격차 규명: 최신 LLM 이 코드를 생성하는 능력은 뛰어나지만, 생성된 코드의 품질을 검증하는 (테스팅) 능력은 여전히 초기 단계임을 증명했습니다.
• 새로운 평가 기준 제시: 단순한 기능 확인을 넘어, 논리적 제약 (Constraint) 과 의미적 일관성 (Content) 을 포함한 종합적인 평가 기준을 제시함으로써 향후 연구 방향을 제시했습니다.
• 미래 연구 방향: 향후 컴퓨터 사용 에이전트 (CUA) 는 더 나은 테스트 커버리지, 장기 상호작용 안정성, 그리고 복잡한 논리적 추론 능력을 갖추어야 산업 현장에 적용될 수 있음을 강조합니다.

결론적으로, WebTestBench 는 AI 기반 웹 개발의 품질 보증을 위한 중요한 벤치마크이자, 더 신뢰할 수 있는 테스트 에이전트 개발을 위한 기초 자료로 활용될 것입니다.