WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces

WebChain は、視覚・構造・行動データの三重アライメントを備えた大規模な人間注釈付き Web 操作データセットであり、これを用いたデュアル・ミッドトレーニング手法が Web エージェントの性能向上に貢献する研究です。

要約

1. 問題：AI はなぜ「Web 操作」が苦手なのか？

これまでの AI は、インターネット上で「チケットを予約する」や「商品を買う」といった複雑な作業をするのが苦手でした。なぜでしょうか？

• 教科書が足りない: AI を上手に育てるには、人間が実際にどう操作したかという「正解のデータ（教科書）」が必要です。しかし、これまでの教科書は数が少なかったり、作り物（シミュレーション）が多すぎて、現実の Web サイトの「ごちゃごちゃした雰囲気」や「セキュリティの壁」を反映できていませんでした。
• セキュリティの壁: 銀行口座へのログインや、本人確認が必要な操作は、自動プログラム（ボット）には見えないようにブロックされています。そのため、AI は「お金に関わる重要な操作」を練習する機会がほとんどありませんでした。

2. 解決策：WebChain（世界最大の「人間による操作記録」）

そこで、この研究チームは**「WebChain」**という、人間が実際にリアルな Web サイトで操作した記録を大量に集めました。

• どんなもの？

  • 3 万 1 千件以上の操作記録（旅行予約、買い物、不動産検索など）。
  • 31 万ステップの細かい動き（クリック、入力、スクロールなど）。
  • 428 種類の異なる Web サイトを網羅。

• 3 重の「魔法の眼鏡」:
  このデータの特徴は、AI が画面を見る時に、3 つの異なる角度から情報を得られるようにしている点です。

  1. 視覚（写真）: 画面のスクリーンショット。
  2. 構造（設計図）: Web サイトの裏側にある「HTML という設計図」。
  3. 行動（指の動き）: 正確な「どこを、いつ、クリックしたか」の座標。

  これらを組み合わせることで、AI は単に「ボタンに見える」だけでなく、「このボタンは設計図的に何をするものか」まで理解できるようになります。

3. 集め方：「AI 助手」ではなく「人間」にやらせた

これまでの研究では、AI が勝手に Web を回ってデータを集めようとしていましたが、セキュリティに引っかかって失敗していました。
WebChain は、**「人間が実際に操作する」**という、少し手間のかかる方法を選びました。

• 仕組み:

  1. まず、AI が「どんなタスクがあるか（例：1 万円以下の TCL 製テレビを探す）」を提案します。
  2. 人間がその指示に従って、実際にブラウザで操作します。
  3. その操作過程を、**「WebChain Builder」**というツールが、画面の見た目、裏側のコード、クリック位置などをすべて記録します。

  これにより、セキュリティに守られた重要な操作（ログインなど）も、人間が介在することで安全にデータ化できました。

4. 学習方法：「2 段階のトレーニング」で天才に

集めたデータを使って AI を訓練する際、チームは**「Dual Mid-Training（二重の中間トレーニング）」**という新しい学習法を見つけました。

これは、**「地図を読む力」と「目的地までの計画力」**を分けて教えるようなものです。

1. 第 1 段階（地図を読む力）:
   まず、画面の中の「どこにボタンがあるか」を正確に見つける練習をします。ここがしっかりしないと、計画を立ててもボタンに届きません。
2. 第 2 段階（計画力）:
   次に、「まず A をして、次に B をして…」という長い手順を、論理的に考える練習をします。

このように、「見る力」と「考える力」を一度に教えず、段階的に強化した結果、AI は非常に高い精度で複雑な Web 操作をこなせるようになりました。

5. 結果：どんなすごいことができた？

この方法で育てた AI は、以下の点で素晴らしい成果を上げました。

• 長期的な計画: 「旅行の予約をして、ホテルを比較し、クレジットカードで決済する」といった、10 回以上の手順が必要な複雑なタスクも成功させました。
• 他の世界でも活躍: Web だけでなく、スマホや PC の操作（Android やデスクトップ）でも、他の AI よりもはるかに上手に動けることを証明しました。
• オープンソース: この「教科書（データ）」も「作り方（ツール）」も、誰でも無料で使えるように公開しました。これにより、世界中の研究者が同じ土台で競争し、より良い AI を作れるようになります。

まとめ

この論文は、**「AI に Web 操作を教えるには、人間が実際にやった『生々しい』記録が最も重要」と証明し、そのための「世界最大の教科書」と「効率的な教え方」**を世に送り出した画期的な研究です。

これにより、将来の AI アシスタントは、私たちが「ちょっと面倒くさいからやっておいて」と頼んだ複雑な Web 作業も、まるでプロの秘書のように完璧にこなしてくれるようになるかもしれません。

技術概要

WebChain: 大規模人間注釈付き実世界 Web 相互作用トラジェクトリデータセットの技術的サマリー

本論文は、Web エージェント（ブラウザを操作する AI アgent）の研究を加速させるために開発された、WebChainという大規模なオープンソースデータセットと、それを用いた新しい学習手法を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

Web ブラウザは人間のデジタルタスクの主要なインターフェースですが、Web エージェントの開発には以下の大きな課題が存在します。

• 高品質なデータ不足: 既存のオープンソースデータセット（Mind2Web など）は規模が小さく、合成データ（Synthetic Data）はセキュリティ対策（CAPTCHA、認証など）により、銀行や EC サイトなどの「高価値な複雑なタスク」を網羅できません。
• 再現性の欠如: 多くの最先端研究は非公開のデータセットに依存しており、コミュニティ全体の進歩やモデルのスケーリング効果の検証が困難です。
• 空間的 grounding と計画の難しさ: 複雑な Web ページにおいて、視覚情報と DOM 構造を正確に結びつけ（Grounding）、長期的なタスクを計画する（Long-horizon Planning）ための高品質な教師データが不足しています。

2. 提案手法：WebChain データセット

WebChain は、実世界の Web サイト上で人間が実際に操作したトラジェクトリ（行動履歴）を収集・注釈した、現在最大規模のデータセットです。

2.1 データ収集パイプライン

データ構築は 3 つの段階で構成されます。

1. 制約ベースのタスク合成 (Constraint-Based Task Synthesis):
   • 対象サイトの静的分析を行い、機能スキーマ（ソート、フィルタ、条件分岐など）を抽出。
   • このスキーマに基づいて LLM がタスクを生成し、存在しない機能への「ハルシネーション（幻覚）」を防ぎます。
2. 人間ループによるトラジェクトリ収集 (Human-in-the-Loop Collection):
   • 生成されたタスクを人間のアノテーターが実世界のブラウザで実行。
   • 認証が必要なタスク（ログイン、決済など）も含まれるため、合成データでは得られない高価値なシナリオを網羅します。
3. ポストプロセッシングによる文脈強化 (Contextual Enrichment):
   • 視覚的 Grounding の高密度化: 操作した要素だけでなく、画面内のすべてのインタラクティブ要素のバウンディングボックスと属性を注釈し、負のサンプルを強化。
   • 推論の生成 (CoT): 強力な VLM を用いて、各アクションの選択理由（Chain-of-Thought）を自然言語で生成し、計画プロセスを明示化します。

2.2 三重アライメント (Triple Alignment)

WebChain の中核となる特徴は、以下の 3 層のコンテキストを厳密に同期させたデータ構造です。

1. 視覚コンテキスト: ビューポートとフルページのスクリーンショット。
2. 構文コンテキスト: アクセシビリティ（AX）ツリーと DOM 構造。
3. アクションアライメント: ピクセル座標、バウンディングボックス、CSS セレクター。

これにより、モデルは単に「見る」だけでなく、ピクセル背後の構造的論理を理解し、正確な位置特定とナビゲーションが可能になります。

統計データ:

• トラジェクトリ数: 31,725
• 合計ステップ数: 約 318,000
• 対象サイト数: 428 ドメイン
• 平均トラジェクトリ長: 10.02 ステップ（長期的なタスクに強い）

3. 学習手法：Dual Mid-Training パラダイム

WebChain データを用いて、Web エージェントの性能を最大化するための新しい学習レシピ「Dual Mid-Training」を提案しました。これは、空間的 grounding と時間的計画を分離して学習させるアプローチです。

1. Mid-Training (中間学習):
   • SGRL (Spatial-Grounding RL): 視覚的 grounding に特化した強化学習を行い、UI 要素の正確な位置特定能力を強化。
   • CoT-SFT: 推論プロセス（Chain-of-Thought）を含む教師あり微調整を行い、タスクの論理的な計画能力を定着させる。
   • この段階で、モデルに「空間的知覚」と「論理的推論」の基盤を形成させます。
2. LCRL Post-Training (長鎖 RL 事後学習):
   • 上記で強化されたモデルを初期値として、長期的なタスク成功を目的とした強化学習（Reinforcement Learning）を行います。
   • 空間的 grounding と計画が分離されているため、RL は長期的な報酬最適化に集中でき、安定した学習が可能になります。

4. 実験結果

4.1 データのスケーリング則

WebChain のデータ量（4k, 20k, 全データ）を変えて Qwen2.5-VL-3B を学習させた結果、データ量が増えるほど、長期的なタスクの成功率が正の相関を持って向上することが確認されました。

4.2 ベンチマーク性能

提案したWebChainBench（独自評価ベンチマーク）および既存の公開ベンチマーク（GUI-Act, OmniAct, WebArena など）において、SOTA（State-of-the-Art）を達成しました。

• 空間的 Grounding: 視覚的 Grounding の高密度化（VGD）と推論プロンプト（RP）を組み合わせることで、要素特定精度が大幅に向上。
• 長期的計画: Dual Mid-Training（SGRL + CoT-SFT + LCRL）を適用したモデルは、ゼロショットや従来の SFT 手法を大きく上回る性能を示しました。
• 汎化性能: Web だけでなく、モバイル（AndroidControl）やデスクトップ（OmniAct）の GUI 制御タスクにおいても高い転移性能（Zero-shot/Transfer performance）を発揮しました。

5. 主要な貢献と意義

1. 最大規模の実世界 Web トラジェクトリデータセットの公開:
   • 人間が認証や複雑な判断を伴うタスクを実際に実行した、3 万 1 千以上のトラジェクトリをオープンソース化。これにより、Web エージェント研究の「データ独占」を打破し、再現性のある研究を促進します。
2. スケーラブルなデータ構築パイプライン:
   • 制約ベースのタスク合成と人間ループ検証を組み合わせ、高品質かつ大規模なデータを効率的に生成する手法を確立。
3. Dual Mid-Training パラダイムの発見:
   • 「空間的知覚」と「時間的計画」を分離して学習させることで、長期的なタスクにおける RL の安定性と性能を劇的に向上させることを実証。これは今後の GUI エージェント開発における重要な指針となります。

結論

WebChain は、単なるデータセットの提供にとどまらず、Web エージェントが複雑な実世界タスクを遂行するために必要な「データ」「評価基準」「学習戦略」のすべてを包括的に提供します。この研究は、次世代のスケーラブルな Web エージェントの実現に向けた基盤を築き、コミュニティ全体の技術進歩を加速させるものと期待されます。