AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

"AutoSurfer – Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 기반 웹 에이전트는 웹사이트에서 복잡한 작업을 자동화하는 것을 목표로 합니다. 그러나 그 정확도는 고품질 웹 궤적 (trajectory) 학습 데이터의 부족으로 인해 심각하게 제한됩니다. 기존 자동 데이터 생성 방법은 다음과 같은 세 가지 주요 결함을 안고 있습니다:

• 불완전한 커버리지: 홈페이지 기반 작업 제안 (예: Explorer) 이나 무작위 탐색 (예: OS-Genesis, SynthAgent) 에 의존하는 방법들은 다단계 메뉴나 동적 콘텐츠와 같은 깊고 숨겨진 기능들을 발견하지 못합니다.
• 할루시네이션과 모호성: 작업 합성은 종종 고립된 페이지 콘텐츠나 무작위 행동에 의존하여, 실제 탐색 경로나 사용자 의도와 일치하지 않는 할루시네이션된 작업을 초래합니다.
• 약한 궤적 기반 (Grounding): 생성된 궤적은 웹사이트의 실제 상태 공간에 대한 체계적인 탐색에 기반하지 않기 때문에 일관성이 부족하며, 이는 웹사이트 전용 LLM(wLLM) 을 위한 신뢰할 수 없는 학습 데이터로 이어집니다.

2. 방법론: AutoSurfer

AutoSurfer 는 체계적 탐색, 궤적 기반 작업 합성, 그리고 궤적 유도 정제라는 세 단계 파이프라인을 통해 이러한 한계를 해결하도록 설계된 종합적인 웹 궤적 생성기입니다.

A. 체계적 너비 우선 탐색

무작위 탐색과 달리, AutoSurfer 는 웹사이트의 행동 공간을 종합적으로 매핑하기 위해 너비 우선 탐색 (BFS) 전략을 사용합니다:

• 큐 기반 탐색: 발견된 페이지와 해당 행동 흔적 (action traces) 의 큐를 유지합니다. 이전 페이지에서 후속 페이지로 지식을 전파하여 중복된 탐색을 방지합니다.
• 재귀적 GUI 확장: 정적 요소와 동적 요소를 다르게 처리합니다:
  • 정적 요소: 탐색 바와 같은 고정된 기능을 체계적으로 탐색합니다.
  • 동적 요소: 중복을 피하면서 기능을 포착하기 위해 동적 콘텐츠 (예: 목록 항목) 의 대표 하위 집합을 샘플링합니다.
  • 메뉴/드롭다운 처리: 메뉴와 드롭다운을 재귀적으로 확장합니다. 특정 행동 (예: 프로필 이름 클릭) 이 새로운 요소를 드러낼 경우, AutoSurfer 는 이러한 새로운 요소를 계층 구조로 식별하고 전체 행동 접두사와 함께 리프 작업을 재구성합니다 (예: "프로필 클릭" $\rightarrow$ "설정 클릭").
• 작업 필터링: 인증 (로그인/회원가입), 결제, 광고, 팝업과 관련된 작업을 제외하고, 실행 가능하고 상태를 변경하는 상호작용에 집중합니다.

B. 탐색 궤적을 통한 작업 합성

AutoSurfer 는 탐색 중에 발견된 논리적으로 연결된 단순 작업을 결합하여 복잡한 작업을 합성합니다:

• 행동 중심 작업: 최소 세 가지 이상의 GUI 행동을 거치는 단순 작업의 시퀀스를 식별합니다. LLM 추론을 사용하여 완전성을 평가하고 고품질 튜플만 유지합니다.
• 정보 추구 작업: 해당 상태에 도달하기 위해 취해진 특정 탐색 경로를 기반으로 페이지 콘텐츠에 대해 사용자가 질문할 수 있는 질문들을 생성합니다.
• 주요 혁신: 고립된 페이지 콘텐츠에서 작업을 합성하는 이전 방법들과 달리, AutoSurfer 는 전체 탐색 궤적에 작업을 기반합니다. 이는 작업 설명이 실제 탐색 맥락을 반영하도록 하여 할루시네이션을 줄입니다.

C. 궤적 유도 정제

초기 탐색 데이터에는 종종 중복된 단계나 비최적 경로 (예: 스크롤 행동 누락) 가 포함되어 있습니다. AutoSurfer 는 탐색 궤적을 힌트로 활용하여 강화된 웹 에이전트 (SynthAgent) 를 사용하여 이를 정제합니다:

• 에이전트는 탐색 경로를 "진실 (ground truth)" 가이드로 사용하여 작업 설명을 수정하고 깔끔하고 효율적인 궤적을 생성합니다.
• 이 단계는 실패한 시도를 필터링하고 행동 시퀀스를 최적화하여, 최종 데이터가 감독 미세 조정 (SFT) 에 적합하도록 보장합니다.

D. 모델 학습 (wLLM)

정제된 작업 - 궤적 쌍은 ShareGPT 형식의 SFT 데이터셋으로 변환됩니다. 데이터셋에는 작업 설명, 페이지 스크린샷, 접근성 트리, 행동 기록이 포함됩니다. 이 데이터는 멀티모달 LLM(특히 Qwen2.5-VL 및 Qwen3-VL) 을 미세 조정하여 웹사이트 전용 LLM(wLLM) 을 만드는 데 사용됩니다.

3. 주요 기여

1. 체계적 탐색 전략: 메뉴를 재귀적으로 확장하고, 정적 및 동적 요소를 구분하며, 페이지 간 지식을 전파하여 거의 완전한 웹사이트 커버리지를 달성하는 새로운 BFS 접근법.
2. 궤적 기반 합성: 고립된 페이지 콘텐츠나 무작위 탐색에 의존하는 방법들에 비해 할루시네이션을 현저히 줄이기 위해 전체 탐색 경로를 사용하여 작업을 합성하는 방법.
3. 탐색 힌트를 통한 정제: 웹 에이전트를 올바른 실행 경로로 유도하여 데이터 품질을 개선하기 위해 탐색 궤적을 제약 조건으로 사용하는 정제 메커니즘.
4. 최초의 wLLM 학습 프레임워크: wLLM 학습을 위한 데이터 생성을 명시적으로 설계된 첫 번째 작업으로, 고품질 사이트 전용 에이전트를 위해서는 종합적인 웹사이트 커버리가 필수적임을 입증합니다.

4. 실험 결과

저자들은 WebArena 벤치마크(CMS, Gitlab, Reddit, 쇼핑 환경 사용) 에서 Qwen2.5-VL-7B-Instruct를 미세 조정하여 AutoSurfer 를 평가했습니다.

• 성능: AutoSurfer 는 최신 방법들 (Explorer, OS-Genesis, SynthAgent) 보다 현저히 우수한 성과를 거두었습니다.
  • 전체 정확도: AutoSurfer 는 **24.23%**의 전체 작업 완료 정확도를 달성한 반면, 가장 우수한 이전 방법 (SynthAgent) 은 **19.59%**를 기록했습니다.
  • 웹사이트별 향상: 모든 테스트된 웹사이트에서 일관된 개선을 보였으며, Reddit 에서 특히 두드러진 향상 (SynthAgent 의 19.64% 대비 34.62%) 을 보였습니다.
• 작업 다양성: AutoSurfer 는 OS-Genesis 와 SynthAgent(0.7459) 에 비해 더 다양한 작업 세트를 생성했습니다 (다양성 점수: 0.7774), 이는 웹사이트의 행동 공간에 대한 더 넓은 커버리지를 나타냅니다.
• 정제 영향: 제거 실험 (ablation studies) 결과, 탐색 데이터만으로 학습된 모델은 **11.54%**의 정확도를 보인 반면, 정제된 데이터로 학습된 모델은 **34.62%**의 정확도를 보였습니다. 이는 노이즈를 제거하고 궤적을 최적화하는 정제 단계의 결정적 중요성을 강조합니다.
• 일반화: 이 접근법은 다른 모델 (Qwen3) 에서도 검증되어 일관된 성능 개선을 보였으며, 데이터 품질이 모델에 무관함을 시사합니다.

5. 의의

• 모델 크기보다 데이터 품질: 이 논문은 고품질이고 종합적인 학습 데이터가 7B-8B 파라미터 규모의 작고 효율적인 모델의 성능을 크게 향상시킬 수 있음을 보여주며, 웹 자동화를 위한 거대하고 비싼 모델의 필요성을 줄일 수 있음을 시사합니다.
• 개인정보 보호와 효율성: 고품질 wLLM 학습을 가능하게 함으로써 AutoSurfer 는 디바이스 내 에이전트 배포를 지원하여 사용자 개인정보 보호를 강화하고 지연 시간을 줄입니다.
• 패러다임 전환: 이 연구는 "무작위 탐색"이나 "튜토리얼 기반 합성"에서 "체계적이고 인간과 유사한 탐색"으로 분야를 이동시켜, 신뢰할 수 있고 범용적인 웹 에이전트 구축을 위한 강력한 프레임워크를 제공합니다.

결론적으로, AutoSurfer 는 종합적이고 체계적인 탐색과 궤적 유도 정제의 결합이 정확하고 신뢰할 수 있는 웹 에이전트 학습에 필수적임을 입증함으로써 웹 궤적 생성의 새로운 기준을 수립합니다.