WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

이 논문은 실제 웹사이트 기반의 대규모 작업 환경 'WebGym'과 효율적인 병렬 롤아웃 시스템을 통해 강화학습을 수행함으로써, 기존 독점 모델들을 능가하는 성능을 보이는 시각적 웹 에이전트를 개발한 연구 결과를 제시합니다.

핵심

웹짐 (WebGym): 웹 에이전트를 위한 거대한 운동장

이 논문은 **"WebGym"**이라는 새로운 시스템을 소개합니다. 쉽게 말해, 이는 인공지능 (AI) 이 웹사이트를 스스로 돌아다니며 일을 처리하도록 가르치는 **거대한 '운동장'이자 '훈련 프로그램'**입니다.

기존의 AI 는 웹사이트를 볼 때 마치 안경을 쓰지 않고 어지러운 방을 보는 것처럼 헷갈려 하거나, 간단한 일만 할 수 있었습니다. 하지만 이 연구팀은 AI 가 실제 인간처럼 웹사이트를 보고 복잡한 일을 해결할 수 있도록 돕기 위해 다음과 같은 혁신적인 방법을 개발했습니다.

---

1. 왜 새로운 운동장이 필요했을까요? (문제점)

기존의 AI 훈련 방식은 마치 **"유치원생에게만 적합한 놀이터"**에서 훈련을 시키는 것과 비슷했습니다.

• 단순한 미로만 있었음: AI 가 연습할 수 있는 웹사이트는 너무 단순하거나, 실제와 다른 가짜 사이트들이 대부분이었습니다.
• 실전 감각 부족: 실제 웹사이트는 매일 모양이 바뀌고 (신발 가게에 가면 매일 신발이 달라지듯), 복잡한 구조를 가지고 있습니다. 기존 훈련장에서는 이런 '실전'을 경험할 수 없었습니다.
• 결과: 훈련받은 AI 는 가짜 미로에서는 잘 뛰지만, 실제 복잡한 웹사이트에 가면 길을 잃거나 같은 행동을 반복하며 멈춰버립니다.

2. WebGym 이란 무엇인가요? (해결책)

연구팀은 WebGym이라는 거대한 훈련 환경을 만들었습니다. 이는 다음과 같은 특징을 가집니다.

• 30 만 개의 미션 (과제): 기존 훈련장의 3 배나 되는 거대한 양의 과제 (약 30 만 개) 가 준비되어 있습니다.
• 다양한 난이도: 아주 쉬운 '초보 미션'부터, 여러 단계를 거쳐야 해결되는 '고수 미션'까지 다양한 수준이 있습니다.
• 실제 웹사이트 12 만 개: 가짜 사이트가 아니라, 실제 존재하는 12 만 개 이상의 웹사이트에서 훈련합니다.
• 정교한 채점 시스템: AI 가 일을 잘했는지 단순히 "맞았다/틀렸다"가 아니라, **"어떤 부분에서 실수했는지"**를 세세하게 분석하는 '채점 기준표 (Rubric)'를 사용합니다. 마치 시험지 채점할 때 정답만 보는 게 아니라, 풀이 과정까지 꼼꼼히 확인하는 것과 같습니다.

3. 어떻게 훈련 속도를 5 배나 빠르게 했나요? (기술적 혁신)

웹 에이전트를 훈련할 때 가장 큰 병목 현상은 **'데이터 수집 속도'**였습니다.

• 기존 방식 (동기식): 마치 한 줄로 서서 줄을 서는 학생들처럼, 모든 AI 가 동시에 한 단계씩만 진행했습니다. 한 명이 느리면 전체가 멈추는 비효율적인 방식이었습니다.
• WebGym 방식 (비동기식): 연구팀은 고속도로의 여러 차선처럼 시스템을 설계했습니다.
  • CPU(브라우저를 조작하는 역할) 와 GPU(AI 가 생각하는 역할) 가 서로 기다리지 않고, 각자 할 일을 계속 처리합니다.
  • 마치 조리실과 주방이 따로 움직이면서 주문이 들어오자마자 바로 요리를 만들어 내는 것처럼, 데이터 수집 속도가 기존보다 4~5 배 빨라졌습니다.

4. 훈련 결과: 어떻게 변했나요?

이 거대한 운동장에서 훈련을 받은 AI 는 놀라운 성장을 했습니다.

• 기존 AI (GPT-4o 등): 복잡한 웹사이트에서 과제를 성공할 확률이 약 **27~29%**였습니다.
• WebGym 훈련 AI (오픈소스 모델): 같은 과제를 성공할 확률이 **42.9%**로 크게 향상되었습니다.
• 핵심 비결:
  1. 기억력 강화: AI 가 이전 단계에서 본 정보를 잊지 않고 기억하도록 '메모리' 기능을 추가했습니다. (예: 첫 번째 상품을 본 가격을 두 번째 상품을 볼 때 기억하는 것)
  2. 실수 방지: 같은 화면에서 같은 행동을 반복하는 '고정관념'을 깨는 벌칙을 적용했습니다.
  3. 균형 잡힌 훈련: 쉬운 문제만 풀지 않고, 어렵고 쉬운 문제를 적절히 섞어 훈련했습니다.

5. 한 줄 요약

이 논문은 **"AI 가 웹사이트를 다룰 수 있게 하려면, 단순한 놀이터가 아니라 실제와 똑같은 거대한 운동장에서, 다양한 난이도의 과제를 빠르게 반복하며 훈련시켜야 한다"**는 것을 증명했습니다.

WebGym 은 AI 가 이제 유치원을 졸업하고, 실제 사회 (웹) 에서 인간처럼 복잡한 일을 처리할 수 있는 능력을 갖출 수 있는 발판을 마련해 주었습니다.

기술 요약

WebGym: 시각적 웹 에이전트 훈련을 위한 확장 가능한 훈련 환경

이 논문은 WebGym을 소개하며, 이는 시각적 웹 에이전트 (Visual Web Agents) 를 훈련하기 위해 현재까지 공개된 가장 대규모의 오픈소스 훈련 환경입니다. 저자들은 현실적인 웹 작업에서 에이전트의 성능을 획기적으로 향상시키기 위해 대규모 태스크 세트와 고효율의 비동기 롤아웃 (rollout) 시스템을 결합한 새로운 접근법을 제시합니다.

1. 문제 정의 (Problem)

시각적 웹 에이전트는 웹 브라우저의 스크린샷과 메타데이터를 입력받아 인간처럼 마우스 클릭, 타이핑 등의 행동을 수행하여 작업을 해결합니다. 그러나 기존 연구들은 다음과 같은 한계로 인해 에이전트의 일반화 능력과 확장성에 어려움을 겪었습니다.

• 비정형적이고 동적인 웹 환경: 실제 웹사이트는 비정상적 (non-stationary) 이며 매번 다른 콘텐츠를 보여줍니다. 기존 훈련 환경은 인공적이거나 소규모 태스크 세트를 사용하여, 에이전트가 훈련 데이터와 다른 (Out-of-Distribution, OOD) 실제 웹사이트에서는 성능이 급격히 저하되는 문제가 있었습니다.
• RL 훈련의 비효율성: 텍스트 기반 에이전트와 달리, 시각적 웹 에이전트의 훈련은 브라우저 시뮬레이션에 따른 높은 계산 오버헤드로 인해 롤아웃 (데이터 수집) 속도가 매우 느립니다. 이는 강화학습 (RL) 의 확장성을 제한하는 주요 병목 현상입니다.
• 태스크의 다양성 부족: 기존 벤치마크는 태스크의 난이도, 도메인, 웹사이트 다양성이 부족하여 에이전트가 복잡한 장기 계획 (long-horizon) 과 다양한 시나리오를 학습하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

WebGym 은 두 가지 핵심 구성 요소를 통해 위 문제들을 해결합니다.

2.1 대규모 태스크 세트 구성 (Task Set Construction)

WebGym 은 기존 10 개의 벤치마크 (InSTA-v3, PAE-WebVoyager, BrowseComp 등) 에서 태스크를 수집하여 **약 30 만 개 (292,092 개)**의 태스크로 확장했습니다.

• 루브릭 기반 평가 (Rubric-based Evaluation): 각 태스크에 대해 LLM(GPT-4o) 을 사용하여 평가 기준 (Fact Groups) 을 생성합니다. 태스크를 여러 사실 그룹으로 분해하고, 각 그룹의 사실 수를 기반으로 난이도를 정의합니다.
• 태스크 분해 (Decomposition): 복잡한 태스크를 하위 태스크로 분해하여 더 쉬운 난이도의 태스크를 생성합니다. 이는 커리큘럼 학습 (Curriculum Learning) 을 가능하게 하여 에이전트가 기본 스킬부터 점진적으로 학습하도록 돕습니다.
• 엄격한 OOD 테스트 세트: 훈련 세트와 완전히 다른 1,167 개의 웹사이트에서 추출한 1,167 개의 태스크로 구성된 테스트 세트를 구축하여, 에이전트의 진정한 일반화 능력을 평가합니다.

2.2 고효율 비동기 롤아웃 시스템 (Asynchronous Rollout System)

웹 에이전트 훈련의 병목 현상인 데이터 수집 속도를 해결하기 위해 전용 시스템을 개발했습니다.

• 비동기 아키텍처: 기존의 동기식 (Synchronous) 배치 처리 방식은 느린 브라우저 세션이 전체 파이프라인을 지연시키는 '버스트-유휴 (burst-idle)' 현상을 유발합니다. WebGym 은 서버/클라이언트 구조를 도입하여 CPU(브라우저 시뮬레이션) 와 GPU(모델 추론) 를 독립적으로 운영하며, 작업이 완료되는 대로 즉시 다음 단계를 처리합니다.
• 작업별 로컬 큐 (Operation-specific Local Queue): 네비게이션, 스크린샷 캡처, 액션 실행 등 각 작업 유형별로 별도의 큐를 두어 CPU 및 GPU 리소스 활용도를 극대화하고 병목 현상을 방지합니다.
• 성능: 이 시스템은 기존 동기식 구현 대비 4~5 배의 롤아웃 속도 향상을 달성하며, 128 개 CPU 와 24 개 H100 GPU 를 사용하여 30 분당 1,800 개의 궤적을 수집할 수 있습니다.

2.3 훈련 전략 (Training Strategy)

• 모델: Qwen3-VL-8B-Instruct 를 베이스 모델로 사용합니다.
• 알고리즘: 간단한 REINFORCE 알고리즘을 사용하며, 성공한 궤적 (Success Trajectories) 에만 양의 그라디언트를 적용합니다.
• 핵심 설계 결정:
  • 메모리 프롬프트: 장기 작업에서 정보 손실을 방지하기 위해 각 단계에서 메모리를 업데이트하고 유지하도록 프롬프트를 설계했습니다.
  • 반복 행동 패널티: 에이전트가 같은 스크린샷에서 같은 행동을 반복하는 것을 방지하기 위해, 다음 단계에서 스크린샷이 동일할 경우 해당 단계를 필터링하거나 패널티를 부여합니다.
  • 훈련 시간 제한 (Horizon Control): 불필요한 탐색을 줄이고 효율적인 학습을 위해 훈련 시 단계 수를 제한하여 정책이 더 결정적인 행동을 하도록 유도합니다.

3. 주요 결과 (Key Results)

WebGym 에서 훈련된 에이전트는 기존 최첨단 모델들을 압도하는 성능을 보였습니다.

• 성능 향상: Qwen3-VL-8B-Instruct 모델을 WebGym 으로 훈련한 결과, OOD 테스트 세트에서의 성공률이 26.2% 에서 42.9% 로 크게 향상되었습니다.
• 상용 모델 대비 우위: 훈련된 오픈소스 모델은 **GPT-4o (27.1%)**와 **GPT-5-Thinking (29.8%)**을 포함한 상용 모델들보다 훨씬 높은 성능을 기록했습니다.
• 확장성 분석:
  • 도메인 다양성 (Breadth): 다양한 도메인을 포함할수록 OOD 일반화 성능이 향상됨을 확인했습니다.
  • 난이도 구성 (Depth): 쉬운 태스크만 훈련하는 것보다 난이도가 균일하게 분포된 태스크 (Uniform Sampling) 를 훈련할 때 성능이 가장 좋았습니다.
  • 훈련 시간 제한: 훈련 시 단계 수를 줄이면 (Shorten Horizon) 샘플 효율성과 최종 성능이 모두 향상되었습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 최대 규모 오픈소스 환경: 시각적 웹 에이전트 훈련을 위한 30 만 개 규모의 태스크 세트와 12 만 개 이상의 웹사이트를 포함하는 가장 큰 오픈소스 환경인 WebGym 을 공개했습니다.
2. 확장 가능한 RL 인프라: 웹 에이전트 훈련의 핵심 병목인 데이터 수집 속도를 획기적으로 개선한 비동기 롤아웃 시스템을 제안하여, 대규모 RL 훈련을 현실적으로 가능하게 했습니다.
3. 일반화 능력 입증: 단순한 REINFORCE 알고리즘과 잘 설계된 훈련 환경만으로도, 소규모 오픈소스 모델이 상용 대형 모델들을 능가하는 일반화 능력을 획득할 수 있음을 증명했습니다.
4. 실용적 통찰: 메모리 메커니즘, 반복 행동 방지, 훈련 시간 제한 등 에이전트 훈련에 필수적인 설계 결정 (Design Choices) 에 대한 실증적 통찰을 제공했습니다.

이 연구는 웹 에이전트 분야에서 데이터의 양과 질, 그리고 훈련 인프라의 효율성이 모델 성능을 결정하는 핵심 요소임을 보여주며, 향후 더 복잡하고 현실적인 웹 작업 수행을 위한 에이전트 개발의 새로운 기준을 제시합니다.