WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces

이 논문은 웹 에이전트 연구를 가속화하기 위해 시각, 구조, 행동 데이터의 삼중 정렬을 포함한 대규모 인간 주석 웹 상호작용 데이터셋 'WebChain'을 소개하고, 이를 활용한 듀얼 미드-트레이닝 기법으로 웹 에이전트의 성능을 획기적으로 개선했음을 보고합니다.

핵심

이 논문은 **"웹 브라우저라는 거대한 미로를 헤쳐 나가는 인공지능 **(웹 에이전트)입니다.

기존의 인공지능들은 웹을 다룰 때 종종 길을 잃거나, 버튼을 잘못 누르거나, 복잡한 작업을 중간에 포기하곤 했습니다. 이 논문은 그 이유를 "잘못된 지도"와 "연습 부족"에서 찾았으며, 이를 해결하기 위해 WebChain이라는 새로운 도구를 소개합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: 왜 AI 는 웹을 못 할까? (지도가 없거나 엉터리야)

지금까지 AI 를 훈련시킬 때 사용된 데이터들은 두 가지 큰 문제가 있었습니다.

• **가짜 지도 **(Synthetic Data) 컴퓨터가 자동으로 만들어낸 데이터입니다. 마치 "가상 현실 게임"에서 연습하는 것과 비슷해요. 게임 속에는 도깨비가 없으니 AI 가 잘하지만, 실제 세상 (실제 웹사이트) 에 가보면 보안 검사 (CAPTCHA) 나 로그인 같은 진짜 장벽에 부딪혀서 당황해합니다.
• **너무 작은 지도 **(Small Datasets) 사람이 직접 기록한 데이터는 있지만, 양이 너무 적어서 AI 가 다양한 상황을 경험해보기엔 부족했습니다.

비유: 마치 "유튜브로 요리법을 보고만" 실제 부엌에 들어간 요리사처럼, 이론은 알지만 실제 재료가 다르고 불 조절이 어려우면 실패하기 마련입니다.

2. 해결책: WebChain (진짜 세상에서 찍은 3D 지도)

저자들은 WebChain이라는 거대한 데이터셋을 만들었습니다. 이는 31,725 개의 실제 웹사이트 작업 기록을 사람이 직접 수행하고 기록한 것입니다.

이 데이터의 핵심은 **'트리플 얼라인먼트 **(Triple Alignment)라는 세 가지 정보를 완벽하게 맞춰준다는 점입니다.

1. **눈 **(Visual) 화면이 어떻게 보이는지 (스크린샷).
2. **뼈대 **(Structural) 웹페이지의 HTML 구조와 접근성 정보 (무엇이 버튼이고 무엇인지).
3. **손 **(Action) 사람이 정확히 어디를 클릭하고 무엇을 입력했는지 (좌표).

비유:
기존 AI 는 "저기 빨간 버튼이 있어"라고만 봤다면, WebChain 은 "저기 빨간 버튼이 있고, 그 버튼은 HTML 코드상 '구매하기'이며, 사람의 손가락이 정확히 (x, y) 좌표에 닿았어"라고 3 차원적으로 완벽하게 가르쳐 줍니다.

3. 훈련 방법: 두 단계로 나누어 가르치기 (Dual Mid-Training)

이제 이 데이터를 어떻게 가르쳐야 할까요? 저자들은 "눈으로 보는 능력"과 "계획하는 능력"을 따로따로 훈련시키는 새로운 방법을 발견했습니다.

• **1 단계: 눈 훈련 **(Spatial Grounding)
  • AI 가 화면을 보고 "이게 버튼이야, 저게 입력창이야"라고 정확히 식별하게 합니다.
  • 비유: 요리사가 "이건 소금통이고, 저건 후추통이야"라고 재료를 구별하는 법을 먼저 배우는 단계입니다.
• **2 단계: 계획 훈련 **(Long-horizon Planning)
  • 재료를 구별하는 법을 배운 AI 에게 "이제 이 소금으로 국을 끓여"라는 복잡한 목표를 줍니다.
  • 비유: 재료를 다 구별했으니, 이제 "국 끓이는 순서"를 계획하고 실행하는 단계입니다.

이렇게 **눈 **(인식)을 분리해서 훈련시키니, AI 가 훨씬 똑똑해졌습니다.

4. 결과: 새로운 챔피언 탄생 (WebChainBench)

이 새로운 방법 (WebChain 데이터 + 두 단계 훈련법) 으로 만든 AI 는 기존에 없던 성능을 보여줍니다.

• 복잡한 작업도 가능: "미국에서 300 달러 이하의 TCL TV 를 찾아서, 2023 년 모델로 필터링하고, 인기순으로 정렬해" 같은 복잡한 작업을 척척 해냅니다.
• 다른 곳에서도 잘함: 웹뿐만 아니라 모바일 앱이나 데스크톱 프로그램에서도 잘 작동합니다.
• 기록 경신: 기존에 없던 최고 성능 (State-of-the-Art) 을 달성했습니다.

5. 결론: 왜 이것이 중요한가?

이 논문은 "진짜 데이터를 공개하고, 올바른 훈련법을 찾았다"는 점에서 의미가 큽니다.

• 공개성: 이제 누구나 이 데이터를 무료로 쓸 수 있어, AI 연구가 더 투명해지고 빨라집니다.
• 미래: 앞으로 AI 가 은행 계좌에 로그인해서 송금하거나, 항공권 예매를 대신 해주는 등, 우리가 매일 하는 복잡한 웹 작업을 대신할 수 있는 기반이 마련되었습니다.

한 줄 요약:

**"AI 가 웹을 다룰 때 길을 잃지 않게, 사람이 직접 그린 '진짜 지도' **(WebChain)

이제 AI 는 더 이상 가상의 게임 속에서만 연습하는 것이 아니라, 실제 세상의 복잡한 웹을 헤쳐 나가는 전문가로 거듭났습니다!

기술 요약

1. 문제 정의 (Problem)

웹 에이전트 (Web Agents) 의 발전은 고품질의 대규모 학습 데이터 부족과 기존 데이터셋의 한계에 의해 제한받고 있습니다.

• 기존 데이터의 한계: 오픈소스 인간 주석 데이터셋 (Mind2Web 등) 은 규모가 작고 복잡성이 부족하여 모델의 확장성 (Scaling) 효과를 검증하기 어렵습니다.
• 합성 데이터의 제약: 자동화 도구나 합성 방법 (Synthetic methods) 은 보안 장치 (CAPTCHA, 인증 로그인 등) 로 인해 실제 사용자의 고가치 업무 흐름 (예: 은행 거래, 쇼핑 결제) 을 포착하지 못합니다.
• 복제 불가능성: 많은 최신 연구가 독점 데이터셋에 의존하여 결과의 재현성과 커뮤니티 합의 형성을 방해합니다.
• 기술적 과제: 웹 환경은 동적이고 복잡하며, 에이전트는 정밀한 공간적 위치 파악 (Spatial Grounding) 과 장거리 계획 (Long-horizon Planning) 을 동시에 수행해야 합니다.

2. 방법론 (Methodology)

2.1. WebChain 데이터셋 구축 파이프라인

저자들은 실제 웹사이트에서 인간이 수행한 상호작용을 기반으로 한 대규모 오픈소스 데이터셋 WebChain을 제안합니다.

• 데이터 규모: 31,725 개의 인간 검증 궤적 (Trajectories), 318,000 개의 단계 (Steps), 428 개의 다양한 도메인 포함.
• Triple Alignment (3 중 정렬): 시각적, 구조적, 행동 데이터를 동기화하여 풍부한 멀티모달 학습 신호를 제공합니다.
  1. 시각적 컨텍스트: 뷰포트 및 전체 페이지 스크린샷.
  2. 구조적 컨텍스트: 접근성 (AX) 트리 및 HTML 구조.
  3. 행동 정렬: 정밀한 픽셀 좌표, 바운딩 박스, CSS 선택자.
• 구축 단계:
  1. 제약 기반 작업 생성: 웹사이트 기능 스키마를 분석하여 합성된 작업이 실행 가능하도록 보장합니다.
  2. Human-in-the-Loop 수집: 실제 annotator 가 작업을 수행하며 WebChain Builder 도구를 통해 DOM 스냅샷, 액션, 좌표 등을 기록합니다.
  3. 후처리 컨텍스트 강화:
     • 시각적 위치 파악 밀도화 (Visual Grounding Densification): 상호작용된 요소뿐만 아니라 화면의 모든 인터랙티브 요소에 대한 바운딩 박스를 추출하여 학습 데이터를 풍부하게 만듭니다.
     • 합성 추론 생성 (CoT): 강력한 VLM 을 사용하여 각 행동에 대한 사고 과정 (Chain-of-Thought) 을 생성하여 에이전트의 계획 능력을 강화합니다.

2.2. 학습 전략: Dual Mid-Training

기존의 단순한 지도 학습 (SFT) 이나 강화 학습 (RL) 의 한계를 극복하기 위해 Dual Mid-Training 방식을 제안합니다.

• 개념: 공간적 위치 파악 (Spatial Grounding) 과 시간적 계획 (Temporal Planning) 을 분리하여 학습합니다.
• 프로세스:
  1. Mid-Training (중간 학습): 고품질의 WebChain 데이터를 사용하여 모델이 정밀한 공간 인식 (SGRL) 과 논리적 추론 (CoT-SFT) 능력을 먼저 습득하도록 합니다.
  2. LCRL Post-Training (후속 강화 학습): Mid-Training 으로 튜닝된 모델을 기반으로 장거리 계획 (Long-horizon planning) 과 보상 최적화를 수행합니다.
• 효과: 공간적 착시 (Hallucination) 를 줄이고, 복잡한 다단계 작업에서의 성공률을 극대화합니다.

2.3. 평가 벤치마크: WebChainBench

• 공간적 위치 파악 (WCB-S) 과 장거리 계획 (WCB-L) 능력을 측정하기 위해 구축된 새로운 벤치마크입니다.
• 짧은 (<6 단계), 중간 (6-10 단계), 긴 (>10 단계) 궤적로 균형을 맞추어 평가합니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 인간 주석 웹 궤적 데이터셋: 실제 웹사이트에서 수집된 31,000 개 이상의 궤적과 318k 개의 단계를 포함하며, 인증이 필요한 복잡한 작업을 포괄합니다.
2. 확장 가능한 구축 파이프라인: 제약 기반 작업 합성, 인간 검증, 자동화된 컨텍스트 강화 (CoT 및 시각적 밀도화) 를 결합한 효율적인 데이터 생산 프로세스를 제시합니다.
3. 최신 성능 (SOTA) 달성 및 학습 레시피 발견:
   • Dual Mid-Training 전략을 통해 공간적 인식과 계획을 분리하여 학습함으로써, 기존 방법론보다 우수한 성능을 달성했습니다.
   • 데이터 규모가 모델의 장거리 계획 능력에 정비례한다는 확장 법칙 (Scaling Law) 을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터 규모 효과: WebChain 의 데이터 양 (4k, 20k, 전체) 을 증가시킬수록 Qwen2.5-VL 모델의 장거리 계획 성공률이 유의미하게 향상되었습니다.
• 벤치마크 성능:
  • WebChainBench: 제안된 Dual Mid-Training 전략 (SGRL + CoT-SFT + LCRL) 을 적용한 모델은 공간적 위치 파악 및 장거리 계획 모두에서 SOTA 성능을 기록했습니다.
  • 일반화 성능: AndroidControl, OmniAct, GUI-Odyssey 등 다른 공개 벤치마크에서도 제로샷 (Zero-shot) 및 전이 학습 (Transfer learning) 성능이 크게 향상되었습니다.
  • 특히, CoT-SFT와 시각적 위치 파악 밀도화 (VGD) 를 결합한 학습이 공간 착시를 줄이고 복잡한 작업 수행 능력을 높이는 데 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

• 연구의 민주화: 독점 데이터에 의존하던 웹 에이전트 연구 생태계를 개방형 오픈소스 생태계로 전환하여 재현 가능한 연구를 촉진합니다.
• 실제 적용 가능성: 보안 장벽을 우회하지 않고도 실제 사용자의 복잡한 인증 및 의사결정 흐름을 학습할 수 있는 데이터를 제공함으로써, 실제 환경 (Banking, E-commerce 등) 에서 작동하는 에이전트 개발의 토대를 마련합니다.
• 학습 패러다임의 전환: 단순한 행동 모방을 넘어, 공간적 인식과 논리적 계획을 분리하여 최적화하는 Dual Mid-Training 패러다임을 제시함으로써 차세대 웹 에이전트 개발의 새로운 표준을 제시합니다.

이 논문은 WebChain 데이터셋과 이를 활용한 학습 전략을 통해 웹 에이전트의 한계를 극복하고, 실제 세계의 복잡한 디지털 작업을 자율적으로 수행할 수 있는 AI 의 발전에 중요한 이정표가 됩니다.