기술 요약: WEBLICA - 시각적 웹 에이전트를 위한 확장 가능하고 재현 가능한 학습 환경

문제 제기

자율적 시각적 웹 에이전트 개발은 학습 데이터와 환경을 확장하면서도 재현성을 유지할 수 없다는 치명적인 병목 현상에 직면해 있습니다. 웹은 본질적으로 복잡하고, 개방적이며, 끊임없이 진화합니다. 기존 접근 방식은 다음과 같은 중대한 한계를 겪고 있습니다:

• 오프라인 궤적: 오프라인 인간 또는 모델 생성 궤적을 이용한 지도 미세 조정 (SFT) 에 의존하는 방법들은 웹의 확률적 특성을 처리하는 데 필요한 상호작용성을 결여하고 있습니다.
• 시뮬레이션 환경: 현재 시뮬레이션 환경 (예: WebArena) 은 소수의 수동 정의된 도메인만을 다루어, 실제 웹의 다양성으로의 일반화를 제한합니다.
• 실시간 웹 학습: 타임아웃, 봇 감지, 그리고 시간이 지남에 따라 웹사이트 변경으로 인한 통제된 제거 실험 수행 불가 및 재현 가능한 학습 조건 보장의 어려움으로 인해 실시간 웹사이트에서 직접 학습하는 것은 불안정합니다.

핵심적인 과제는 엄격한 학습과 평가에 필요한 재현성을 희생하지 않으면서 웹의 다양성을 포착할 수 있도록 상호작용형 웹 환경을 확장하는 방법입니다.

방법론

저자들은 시각적 웹 에이전트 학습을 위한 재현 가능하고 확장 가능한 웹 환경을 구축하도록 설계된 WEBLICA(Web Replica) 프레임워크를 제안합니다. 이 프레임워크는 다양한 오프라인 학습 환경을 생성하기 위해 두 가지 상호 보완적인 메커니즘을 작동시킵니다:

1. HTTP 레벨 캐싱 (Weblica-Cache)

이 메커니즘은 높은 충실도로 실제 웹사이트 상호작용을 포착하고 재생합니다.

• 녹화: Playwright 를 사용하여 시스템이 모든 HTTP 요청과 응답을 포착하는 브라우징 세션을 녹화합니다.
• 휘발성 파라미터 처리: 재생 중 캐시 미스를 유발하는 휘발성 파라미터 (예: 타임스탬프, 세션 토큰) 의 자동 식별 및 정규화가 핵심 혁신입니다. 시스템은 URL, 헤더, POST 본문에서 이러한 파라미터를 필터링하기 위해 규칙 기반 정규화 파이프라인을 사용합니다.
• 재생: 휘발성 파라미터를 제거함으로써, 시스템은 완전한 네트워크 격리 하에서 복잡하고 동적인 웹 상호작용의 결정론적 재생을 가능하게 합니다.
• 확장성: InstaV3 데이터셋을 활용하여 저자들은 작업을 캐시된 환경에 매칭하여 15,600 개의 검증된 캐시된 환경과 작업을 유지했습니다.

2. LLM 기반 환경 합성 (Weblica-Synth)

캐싱의 한계 (안정적인 녹화가 존재하는 도메인으로 제한됨) 를 해결하고 구체적인 상호작용 능력을 생성하기 위해, 저자들은 자동화 합성 파이프라인을 사용합니다.

• 능력 추출: 시스템은 Qwen3-VL-32B 에이전트의 성공 및 실패 궤적을 분석하여 19,721 개의 세분화된 웹 상호작용 능력을 추출하고, 이를 144 개의 상위 수준 능력 그룹 (예: 양식 제출, 인증, 동적 필터링) 으로 집계합니다.
• 생성: 코딩 에이전트 (Claude Code) 를 사용하여 시스템은 외부 프레임워크 의존성 없이 독립적인 정적 웹 환경 (HTML, CSS, JavaScript) 을 생성합니다.
  • 파라미터: 생성은 목표 능력 그룹, 웹사이트 카테고리 (은행, 여행 등 1,160 개 도메인에서 샘플링), 그리고 시각적 스타일 (961 개 옵션에서 샘플링) 을 기반으로 조건부 설정됩니다.
  • 자산: 시각적 자산 (이미지, 배너) 은 Z-Image-Turbo 를 사용하여 생성됩니다.
  • 상태 관리: 환경이 정적이므로, 장바구니와 같은 상태가 있는 상호작용은 JavaScript 의 localStorage 를 통해 관리됩니다.
• 검증: 생성된 사이트는 Playwright 스크린샷을 통한 반복적 자체 검증을 거쳐 기능성과 CSS 문제 부재를 보장합니다.
• 확장성: 이 파이프라인은 학습용 (Weblica-train) 44,227 개의 작업을 포괄하는 2,500 개의 합성 사이트를 생성했으며, 검증용 (Weblica-val) 으로 250 개의 사이트를 생성했습니다.

에이전트 구성 및 학습

• 관측 및 행동: 에이전트는 시각적 입력 (1280x720 스크린샷 + URL) 만으로 작동하며, 일반화를 해칠 수 있는 DOM 구조나 "set-of-marks" 오버레이에 의존하지 않고 좌표 기반 행동 (클릭, 호버) 을 예측합니다.
• 정책: 정책은 비전 - 언어 모델 (VLM) 이 행동을 선택하기 전에 추론 흔적을 생성하는 ReAct 스타일 프레임워크를 따릅니다.
• 학습 파이프라인:
  1. SFT 웜스타트: 기본 모델 (Qwen3-VL-Instruct) 은 51,700 개의 검증된 성공 궤적으로 미세 조정됩니다.
  2. RL 학습: 모델은 Dr. GRPO(Group Relative Policy Optimization) 를 사용하여 강화 학습을 거칩니다.
  3. 보상 메커니즘: LLM-as-Judge(GPT-4o) 는 작업 설명, 행동 순서, 결과 스크린샷을 기반으로 작업 성공을 평가하여 프로그래밍적 검증이 없는 개방형 작업에 대한 학습을 가능하게 합니다.

주요 결과

저자들은 여러 벤치마크에서 오픈 가중치 베이스라인 및 API 기반 에이전트와 비교하여 최선 모델인 WEBLICA-8B를 평가했습니다.

• 실시간 벤치마크 성능: Online-Mind2Web 벤치마크에서 WEBLICA-8B 는 30 단계 만에 39.2% pass@1을 달성했습니다. 이는 유사한 크기의 오픈 가중치 베이스라인 (예: 100 단계 이상에서 35.3% 인 MolmoWeb-8B) 보다 우수하며, 훨씬 적은 추론 단계를 사용합니다.
• 테스트 시간 확장: 모델은 추가 컴퓨팅에 따라 유리하게 확장됩니다. 총 240 단계 (pass@8) 에서 WEBLICA-8B 는 68.9% 정확도에 도달하여 100 단계에서 60.8% 를 기록한 Gemini CUA 와 같은 API 기반 모델의 성능에 근접했습니다.
• 베이스라인 비교:
  • WEBLICA-8B(30 단계) 는 실시간 벤치마크 전반에서 기본 Qwen3-VL-8B 보다 평균 10.8 퍼센트 포인트 더 높은 성능을 보였습니다.
  • 이는 총 단계 수를 40% 적게 (60 대 ≥100) 사용하여 최상의 오픈 가중치 베이스라인 (MolmoWeb-8B) 을 능가했습니다.
• 그라운딩 보존: 명시적 그라운딩 감독이 없는 데이터로 학습했음에도 불구하고, WEBLICA-8B 는 기본 모델에 비해 UI 그라운딩 벤치마크 (MMBench-GUI, ScreenSpot-v2, ScreenSpot-Pro) 에서 성능을 유지하거나 약간 향상시켜, 성취가 저하된 시각적 그라운딩이 아닌 개선된 탐색 행동에서 비롯되었음을 시사합니다.
• 제거 실험 연구:
  • 환경 구성: 합성 환경은 Online-Mind2Web 및 WebTailBench 와 같은 복잡한 벤치마크에서 캐시 전용 환경보다 일반적으로 더 나은 성능을 보였습니다.
  • 학습 단계: SFT 와 RL 의 조합이 모든 모델 크기 (2B, 4B, 8B) 에서 최상의 결과를 제공했으며, RL 은 SFT 단독보다 상당한 향상을 제공했습니다.

중요성 및 주장

이 논문은 WEBLICA 가 실시간 웹 학습에 대한 확장 가능하고 재현 가능한 대안을 제공하여, 실제 웹의 다양성과 대규모 강화 학습에 필요한 안정성 사이의 간극을 효과적으로 메운다고 주장합니다.

• 확장성: HTTP 캐싱과 LLM 기반 합성을 결합함으로써, 이 프레임워크는 수천 개의 다양한 환경을 생성하여 이전 시뮬레이션 환경의 도메인 제한을 극복합니다.
• 재현성: 이 프레임워크는 네트워크 지연, 타임아웃, 봇 감지 문제를 제거하여 통제된 결정론적 학습과 평가를 가능하게 합니다.
• 효율성: 이 접근법은 대규모 인간 시연이나 비싼 API 모델에 의존하지 않고도 고성능 시각적 웹 에이전트를 학습할 수 있음을 보여주며, 훨씬 적은 추론 단계로 경쟁력 있는 결과를 달성합니다.
• 일반화: 핵심 탐색 기술을 포착하면서도 시각적 그라운딩을 유지하는 합성 환경에서 학습할 수 있는 능력은 범용 컴퓨터 사용 에이전트로의 실현 가능한 경로를 시사합니다.

저자들은 한계를 인정하며, 캐시된 환경은 정적 스냅샷이며 합성 환경은 동적 실제 응용 프로그램의 복잡성을 완전히 포착하지 못할 수 있음 (시뮬레이션 - 실제 간극) 을 지적합니다. 또한 현재는 단일 턴 작업에 초점을 맞추고 있으나, 실제 사용은 종종 다중 턴 세션과 인간 개입 상호작용을 수반한다고 언급합니다.