WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

본 논문은 복잡한 GUI 서브태스크에 대한 멀티모달 AI 에이전트를 평가하기 위해 웹 아카이브 파일을 활용한 새로운 벤치마크인 WARC-Bench 를 소개하며, 최첨단 모델들은 어려움을 겪는 반면 오픈소스 모델들은 검증 가능한 보상을 활용한 감독 미세조정과 강화학습을 통해 경쟁력 있는 성능을 달성함으로써 크게 개선됨을 보여줍니다.

핵심

로봇에게 컴퓨터 사용법을 가르친다고 상상해 보세요. 대부분의 이전 테스트는 로봇에게 두 가지 중 하나를 수행하도록 요청했습니다: 화면의 단일 버튼을 가리키기 ("빨간 버튼을 클릭하세요") 또는 거대하고 복잡한 여정을 계획하기 ("항공권, 호텔, 렌터카를 포함해 4 인 가족의 휴가를 2,000 달러 이하로 예약하세요").

이 논문의 저자들은 그 사이에 거대한 공백이 있음을 깨달았습니다. 로봇이 그 휴가를 예약하기 전에, 그 사이에 있는 작고 까다로운 단계들을 마스터해야 한다는 사실을 발견한 것입니다: 특정 날짜를 찾기 위해 목록을 스크롤하거나, 예산을 조정하기 위해 슬라이더를 드래그하거나, 이미 입력된 텍스트를 실수로 삭제하지 않고 양식을 작성하는 것. 이들을 **"GUI 하위 작업"**이라고 부릅니다.

이들의 작업, WARC-Bench에 대한 간단한 개요는 다음과 같습니다:

1. 문제: "빠진 중간 단계"

복잡한 웹 작업을 케이크 굽기와 비교해 보세요.

• 시각적 그라운딩 (Visual Grounding): "달걀을 집으세요." (너무 단순함).
• 장기 내비게이션 (Long-Horizon Navigation): "케이크를 굽고, 아이싱을 바르고, 파티에 배달하세요." (너무 복잡하고 변수가 너무 많음).
• 빠진 중간 단계: "달걀 껍질이 들어가지 않도록 달걀을 그릇에 깨뜨리거나," "반죽이 매끄러워질 때까지 휘젓는 것."

저자들은 현재의 AI 로봇들이 이러한 "중간 단계"에서 실패하고 있다고 주장합니다. 로봇들은 케이크가 무엇인지는 알 수 있지만, 주방 도구의 구체적이고 까다로운 기계적 조작에는 어려움을 겪습니다.

2. 해결책: "시간 여행" 테스트 주방

이러한 로봇들을 테스트하기 위해 팀은 WARC-Bench를 구축했습니다.

보통 실인터넷에서 로봇을 테스트하는 것은 혼란스럽습니다. 웹사이트는 변경되고, 팝업이 나타나며, 서버가 충돌합니다. 이를 해결하기 위해 팀은 **WARC 파일 (웹 아카이브)**을 사용했습니다.

• 유사성: 특정 시점에 웹사이트를 완벽하게 얼린 스냅샷을 찍는다고 상상해 보세요. 모든 버튼, 스크립트, 이미지가 포함됩니다. 이 스냅샷을 "시간 캡슐"에 넣는 것입니다.
• 작동 원리: 로봇을 테스트할 때, 팀은 이를 실시간 인터넷으로 보내지 않습니다. 대신 이 "시간 캡슐"로 보냅니다. 로봇은 이 웹사이트의 얼어붙은 완벽한 복사본과 상호작용합니다. 이는 웹 브라우저를 위한 비행 시뮬레이터와 같습니다: 안전하고, 반복 가능하며, 매번 정확히 동일합니다.

이 시뮬레이터에서 "달력에서 3 월 21 일 선택"이나 "가격을 찾기 위해 아래로 스크롤"과 같은 438 개의 다양한 "미니 챌린지"를 만들었습니다.

3. 결과: 가장 "똑똑한" 로봇조차도 고군분투함

팀은 이러한 미니 챌린지들에서 세계 최고의 AI 모델들 (Claude 4.0 및 GPT-5 등) 을 테스트했습니다.

• 현실 확인: 가장 똑똑한 로봇들조차도 이러한 간단한 작업의 약 **65%**만 올바르게 수행했습니다.
• 유사성: 이는 똑똑한 인간에게 특정 매듭을 묶거나 세무서를 작성하는 테스트를 주는 것과 같습니다. 지시사항이 까다롭거나 인터페이스가 혼란스러우면 똑똑한 사람들도 실수를 합니다. 로봇들은 웹사이트의 "분위기"를 읽는 데 실패하고 있습니다.

4. 해결책: "비디오 게임"으로 훈련하기

저자들은 오픈 소스 로봇들 (보통 더 약함) 을 더 잘 가르칠 수 있는지 확인하고자 했습니다. 그들은 두 가지 훈련 방법을 사용했습니다:

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 학생들이 해결된 수학 문제를 보는 것처럼, 로봇에게 인간이 이러한 작업을 성공적으로 수행하는 수천 개의 예시를 보여주는 것.
2. 검증 가능한 보상을 통한 강화 학습 (Reinforcement Learning with Verifiable Rewards, RLVR): 이는 비디오 게임과 같습니다. 로봇이 작업을 시도하게 합니다. 성공하면 "점수" (보상) 를 얻고, 실패하면 0 점을 얻습니다. 로봇은 수천 번의 게임을 플레이하며 "아, 지난번에는 잘못된 버튼을 클릭했구나, 다시는 그렇게 하지 말아야겠다"라고 깨닫습니다.

결과:
합성 (가짜이지만 현실적인) 웹사이트에서 이 "비디오 게임" 훈련 방법을 사용하여, 그들의 오픈 소스 모델은 낮은 점수에서 **52.3%**로 급상승했습니다. 이는 이러한 특정 작업에서 많은 비싸고 폐쇄적인 "슈퍼 브레인"들을 능가했기 때문에 인상적입니다.

5. 왜 이것이 중요한가

이 논문은 로봇이 휴가 예약과 같은 크고 복잡한 일을 잘 수행하려면, 먼저 올바른 날짜를 클릭하는 것과 같은 작고 지루한 일을 잘 수행하도록 해야 한다고 결론지었습니다.

그들은 로봇이 이러한 작고 구체적인 하위 작업을 처리하는 능력이, 로봇이 크고 복잡한 작업을 얼마나 잘 처리할지에 대한 매우 강력한 예측 지표임을 발견했습니다. 로봇이 드롭다운 메뉴를 탐색할 수 없다면, 아마도 여행을 계획할 수도 없을 것입니다.

간단히 말해: 저자들은 로봇이 웹사이트 사용의 작고 까다로운 세부 사항을 얼마나 잘 처리하는지 테스트하기 위해 안전하고 시간이 얼어붙은 놀이터를 구축했습니다. 그들은 최고의 로봇들조차 이러한 세부 사항에 서툴다는 것을 발견했지만, 올바르게 수행할 때 점수를 얻는 "비디오 게임"을 통해 훈련하면 훨씬 더 나아질 수 있음을 발견했습니다.

기술 요약

기술 요약: WARC-Bench

문제 정의

이 논문은 자율 웹 에이전트 평가에서 중요한 간극을 지적합니다. 기존 벤치마크는 일반적으로 두 가지 극단, 즉 단일 단계 시각적 그라운딩 (텍스트를 픽셀 좌표로 매핑) 이나 복잡한 장기 웹 탐색 작업 (예: 아마존에서 항목 구매) 에 초점을 맞춥니다. 중간 수준의 복잡성, 즉 GUI 서브태스크는 여전히 대부분 다루어지지 않았습니다. 이러한 서브태스크는 더 큰 브라우징 세션 내의 단일 기능 지시를 구성하는 여러 기본 UI 동작 (예: 날짜 선택기에서 특정 날짜 선택, 컨테이너 스크롤하여 데이터 추출, 드롭다운과 상호작용 등) 으로 이루어진 단기 워크플로우입니다.

저자들은 이러한 서브태스크를 숙달하는 것이 견고한 웹 계획 및 탐색에 필수적이라고 주장하지만, 현재 벤치마크는 이 능력을 효과적으로 평가하지 못합니다. 또한 기존 장기 벤치마크는 특정 상호작용 구성 요소에서의 실패를 격리하고 진단하는 데 필요한 다양성과 스트레스 테스트 기능이 종종 부족합니다.

방법론

WARC-Bench 구축

저자들은 서브태스크 실행에 대한 멀티모달 AI 에이전트 평가를 위해 설계된 새로운 벤치마크인 WARC-Bench(Web Archive Benchmark) 를 소개합니다.

• 환경: 이 벤치마크는 Web ARChive(WARC) 파일을 활용하여 샌드박스화된 상호작용 웹 환경을 생성합니다. 이러한 파일은 웹사이트 (HTML, CSS, JavaScript, 이미지, HTTP 헤더) 의 완전한 상태를 캡처하여 Chromium 기반 브라우저 (Playwright 를 통해) 내에서 고정밀 재생을 가능하게 합니다. 이 접근 방식은 작업 격리를 보장하고, 실제 세계 쓰기 작업을 방지하며, 빠르고 확장 가능한 평가를 가능하게 합니다.
• 데이터셋 구성: 벤치마크는 다음과 같이 나뉜 438 개 작업으로 구성됩니다.
  • 테스트 세트: GitHub, Zoho Desk, Kaiser Permanente 등 실제 웹사이트에서 exclusively 파생된 200 개 작업.
  • 개발 세트: 238 개 작업 (실제 60 개, 합성 178 개).
  • 학습 세트: 다양한 UI 위젯과 작업 목표를 생성하기 위해 LLM 기반 파이프라인을 통해 생성된 1,059 개의 합성 작업.
• 작업 범주: 작업은 날짜 선택기, 양식 작성, 테이블 조작, 드래그 앤 드롭, 데이터 추출 등 15 개 범주를 포함합니다.
• 평가: 각 작업은 에이전트의 특정 궤적과 독립적으로 작업 완료를 검증하기 위한 결정론적 프로그래밍 보상 함수 (JS, URL, 문자열 또는 JSON 매처) 를 포함합니다.

에이전트 설계 및 학습

저자들은 접근성 트리나 HTML DOM 에 의존하지 않고 오직 스크린샷에만 의존하여 관찰하는 일반 에이전트 설계인 서브태스크 비전 에이전트 (SVA) 를 제안합니다. 이는 중복되거나 컨텍스트 한계를 초과할 수 있는 요소를 피합니다.

• 작동 공간: 에이전트는 클릭, 완료, 드래그 앤 릴리스, 호버, 키 입력, 스크롤, 입력, 대기 등 8 가지 동작의 최소 API 에서 작동합니다.
• 학습 전략: 오픈소스 모델 (특히 Qwen2.5-VL 계열) 을 개선하기 위해 저자들은 2 단계 학습 파이프라인을 사용합니다.
  1. 지도 미세 조정 (SFT): ~12,000 개의 고유 궤적 데이터셋에서 강력한 "교사" 모델 (최첨단 모델 포함) 이 생성한 궤적에서 증류.
  2. 검증 가능한 보상을 통한 강화 학습 (RLVR): 합성 WARC-Bench 학습 세트를 사용하여 SFT 체크포인트 위에 Proximal Policy Optimization(PPO) 을 적용합니다. 에이전트는 성공적인 궤적에 대해 10 의 보상을, 실패나 시간 초과에 대해서는 0 의 보상을 받습니다.

주요 결과

벤치마크 성능

WARC-Bench 는 최첨단 모델에게조차 도전적입니다.

• Anthropic 의 Claude-4.0-Sonnet은 평가된 모델 중 테스트 세트에서 **64.8%**의 가장 높은 성공률을 달성했습니다.
• OpenAI 의 GPT-5는 **51.3%**를 달성했습니다.
• 오픈소스 모델(예: Qwen2.5-VL-72B) 은 초기에 **37.3%**로 현저히 뒤처졌습니다.

학습 기법의 영향

제안된 학습 파이프라인은 오픈소스와 클로즈드소스 모델 간의 격차를 크게 좁혔습니다.

• SFT: Qwen2.5-VL-72B 모델을 37.3% 에서 **48.3%**로 개선했습니다.
• RLVR: Qwen2.5-VL-72B 모델을 **52.3%**로 추가로 개선하여 많은 최첨단 클로즈드소스 모델을 능가하고 이 벤치마크에서 오픈소스 에이전트의 새로운 최첨단 성능을 확립했습니다.
• 효율성: RLVR 학습 모델은 SFT 전용 베이스라인에 비해 탐색 개선 (스크롤 증가), 불필요한 클릭 감소, 궤적 길이 단축 (작업당 약 0.94 단계 감소) 을 보여주었습니다.

비교 분석

• 장기 작업과의 상관관계: ScreenSpot V2 나 MiniWoB++ 와 같은 벤치마크와 달리, WARC-Bench 의 성능은 WebArena 에서 측정된 장기 탐색 능력과 더 강하게 상관관계가 있습니다.
• 계층적 에이전트: 이 논문은 플래너 (예: Claude-4.0-Sonnet) 와 실행기 (예: 학습된 Qwen2.5-VL-72B-RLVR) 를 사용하여 장기 작업을 서브태스크로 분해하는 것이 WebArena-Lite 에서의 성능을 크게 향상시킨다는 것을 보여줍니다 (Qwen 기반 에이전트의 경우 16.17% 에서 24.63% 로 향상), 이는 전문화된 서브태스크 모델의 유용성을 검증합니다.

중요성과 주장

이 논문은 WARC-Bench 가 단기 서브태스크 평가를 위한 고정밀, 확장 가능, 샌드박스 환경을 제공함으로써 GUI 에이전트 연구의 지형에서 중요한 간극을 메운다고 주장합니다. 저자들은 다음과 같이 주장합니다.

1. 서브태스크 숙달은 전제 조건입니다: 성공적으로 서브태스크를 실행하는 것은 견고한 장기 웹 탐색에 필요한 기본 능력이며, 기존 벤치마크는 이 능력을 광범위하게 평가하지 못했습니다.
2. 학습 효과성: 합성 데이터와 SFT 및 RLVR 의 결합은 오픈소스 모델이 현실적인 웹 상호작용에서 최첨단 클로즈드소스 모델과 경쟁력 있거나 경우에 따라 더 우수한 성능을 달성할 수 있게 합니다.
3. 진단 가치: 이 벤치마크는 종종 더 큰 시스템에서 실패를 유발하는 복잡한 위젯에 대한 시각적 그라운딩, 날짜 선택기와 같은 동적 UI 처리 등 특정 에이전트 능력을 위한 스트레스 테스트 역할을 합니다.

이 연구는 WARC-Bench 가 중간 서브태스크 실행 계층을 체계적으로 개선함으로써 범용 컴퓨터 사용 에이전트를 발전시키는 고유한 경로를 제공한다고 결론지었습니다.