WebForge: 브라우저 에이전트 벤치마크의 '현실성-재현성-확장성' 삼중고 해결

이 논문은 기존 브라우저 에이전트 벤치마크가 직면한 근본적인 한계인 **현실성 **(Realism)을 동시에 해결하기 위해 제안된 WebForge라는 자동화 프레임워크를 소개합니다.

1. 문제 정의: 벤치마크의 삼중고 (The Benchmark Trilemma)

기존의 브라우저 에이전트 평가 방식은 다음 세 가지 속성 중 하나 이상을 희생해야 하는 딜레마에 직면해 있습니다.

• **실제 웹사이트 벤치마크 **(예: WebVoyager, Mind2Web) 높은 현실성을 제공하지만, 웹사이트 콘텐츠의 변경 (Content Drift) 으로 인해 과제가 빠르게 유효성을 잃고 재현성이 떨어집니다. (Mind2Web 의 경우 2 년 만에 약 절반의 과제가 구식이 됨)
• **제어된 환경 벤치마크 **(예: WebArena) 재현성을 보장하지만, 팝업, 쿠키 동의 창, 네트워크 지연 등 실제 웹의 '노이즈'가 결여되어 비현실적으로 '청결 (Clean)'한 환경을 제공합니다. 또한 수동으로 환경을 구축해야 하므로 확장성이 낮고 비용이 많이 듭니다.
• 자동화된 생성: 확장성은 높일 수 있으나, 기존 자동화 도구들은 비인터랙티브 작업에 국한되거나 복잡한 상호작용이 포함된 완전한 웹 환경을 생성하지 못했습니다.

이러한 모순을 해결하기 위해 WebForge는 현실성, 재현성, 확장성을 모두 갖춘 최초의 완전 자동화 프레임워크를 제시합니다.

2. 방법론: 4 에이전트 파이프라인 및 7 차원 난이도 제어

WebForge 는 인간 개입 없이 end-to-end 로 상호작용 가능한 웹 환경을 생성하는 4 단계 에이전트 파이프라인을 사용합니다.

2.1 4 단계 자동화 파이프라인

1. **Plan Agent **(계획 에이전트)

   • 목표 도메인과 난이도 수준을 입력받아 구조화된 작업 청사진 (Blueprint) 을 생성합니다.
   • 이중 단계 LLM 프로세스: 고온 (High-temperature) 샘플링으로 창의적인 아이디어를 도출한 후, 저온 (Low-temperature) 샘플링으로 논리적 검증 및 품질을 정제합니다.
   • 7 차원 난이도 벡터: 각 과제는 7 가지 차원 (내비게이션 깊이, 폭, 페이지 상호작용, 시각적 복잡성, 정보 복잡성, 추론/계산, 위험 요소) 에 대해 1~3 단계의 난이도로 구성됩니다.

2. **Generation Agent **(생성 에이전트)

   • 계획된 청사진을 바탕으로 실제 데이터 (이미지, 제품 정보 등) 를 수집하고 웹 사이트를 구축합니다.
   • 실제 데이터 기반: 실제 웹사이트를 참조하여 디자인과 콘텐츠를 생성하며, localStorage 를 활용한 상태 관리 (장바구니, 폼 제출 등) 를 통해 정적 페이지에서도 동적인 상호작용을 구현합니다.
   • **보안 및 반사기 **(Anti-cheating) 정답이 소스 코드에 노출되지 않도록 Base64 암호화 및 오답 유도 코드 (Deceptive codes) 를 적용합니다.

3. **Refinement Agent **(정제 에이전트)

   • 생성된 웹 환경을 검사하고 품질을 향상시킵니다.
   • 실제 웹 노이즈 주입: 팝업 광고, 쿠키 동의 창, 네트워크 지연 시뮬레이션 등을 추가하여 '살균된' 가상 환경과 실제 웹의 차이를 줄입니다.
   • 품질 규칙 준수: 기능적 완전성, 시각적 정확성, 상태 결정론 등을 검증하고 결함을 수정합니다.

4. **Validation Agent **(검증 에이전트)

   • 최종 품질 관문으로, 실제 브라우저 엔진 (Chromium) 에서 에이전트가 해결 경로를 재현하여 과제가 해결 가능한지 확인합니다.
   • 렌더링 의존성 문제나 자바스크립트 실행 오류를 감지하여 실패한 과제를 필터링합니다.

2.2 WebForge-Bench

• 규모: 7 개 도메인 (소비자 거래, 콘텐츠 관리, 엔터프라이즈 프로세스 등) × 3 단계 난이도 = 총 934 개의 과제로 구성됨 (생성된 1,260 개 중 74.1% 가 검증 통과).
• 평가 방식: 최종 상태 (Final-state) 평가 패러다임을 사용하여 에이전트의 최종 출력만 정답과 비교하며, 중간 단계의 경로를 제한하지 않습니다.

3. 주요 실험 결과

14 개의 모델 (클로즈드 소스 및 오픈 소스 멀티모달, 텍스트 전용) 을 대상으로 한 실험 결과는 다음과 같습니다.

• 난이도 계층화의 효과:
  • Level 1(쉬움) 에서는 대부분의 모델이 73% 이상의 정확도를 보였으나, Level 3(어려움) 에서는 성능 격차가 극명하게 나타났습니다 (최고 모델 58.0% vs 최저 모델 2.4%). 이는 7 차원 난이도 제어가 모델 능력을 효과적으로 구분함을 보여줍니다.
• 도메인별 편향 발견:
  • **정보 검색 **(D4) 정보 검색 및 분석 도메인은 현재 LLM 의 강점 (구조화된 데이터 추출) 을 반영해 가장 높은 성능을 보였습니다.
  • **소비자 거래 **(D1) 복잡한 상태 유지 (Stateful) 와 다단계 워크플로우, 정책 기반 판단이 필요한 도메인에서는 모든 모델의 성능이 크게 저하되었습니다. 이는 단일 점수만으로는 드러나지 않는 모델의 취약점을 보여줍니다.
• 시각 입력의 중요성:
  • 스크린샷 (이미지) 입력을 제거하고 DOM 만 제공하는 경우, 멀티모달 모델들의 정확도가 평균 14~17% 포인트 하락했습니다. 이는 WebForge 과제가 진정한 시각적 이해를 요구함을 입증합니다.
• 비용 효율성:
  • 난이도가 높아질수록 토큰 사용량과 실행 시간이 비선형적으로 증가하는 경향을 보였습니다.

4. 기여 및 의의

1. 삼중고 해결: WebForge 는 현실성, 재현성, 확장성을 동시에 달성한 최초의 자동화 벤치마크 생성 프레임워크입니다.
2. 다차원 평가 체계: 단일 점수가 아닌 7 차원 난이도 벡터를 통해 에이전트의 구체적인 능력 프로파일 (예: 시각적 추론은 강하지만 복잡한 계산은 약함) 을 진단할 수 있게 했습니다.
3. 고품질 데이터 생산: 자동화된 파이프라인을 통해 인간 주석 없이 고품질의 인터랙티브 웹 환경과 과제를 대량으로 생성할 수 있어, 향후 에이전트 학습 데이터 생산에도 활용 가능성이 큽니다.
4. 현실적 평가 환경: 실제 웹의 노이즈 (팝업, 쿠키 등) 를 포함하고 반사기 메커니즘을 도입하여, 에이전트의 실제 배포 환경에서의 능력을 더 정확하게 평가할 수 있는 기반을 마련했습니다.

결론

WebForge 는 브라우저 에이전트 연구의 발전 속도를 벤치마크의 한계가 따라가지 못하는 문제를 해결합니다. 이 프레임워크는 모델의 능력을 다각도로 분석하고, 실제 웹 환경에서의 견고성을 검증할 수 있는 표준을 제시함으로써, 자율 웹 에이전트 기술의 지속적인 진보를 위한 필수적인 인프라가 될 것으로 기대됩니다.