WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

本研究は、リアルな Web サイトから約 30 万件のタスクを収集した大規模オープンソース環境「WebGym」を提案し、非同期ロールアウトによる高速化と RL 学習の組み合わせにより、既知のモデルやプロプライエタリモデルを凌駕する視覚的 Web エージェントの学習に成功したことを示しています。

要約

WebGym: 視覚でウェブを操る AI のための「超大規模トレーニングジム」

2026 年 2 月、マイクロソフトや UIUC、CMU の研究者たちが発表した新しい研究「WebGym（ウェブジム）」について、難しい専門用語を使わずに、日常の例え話で解説します。

🏋️‍♂️ 1. 問題：AI は「練習不足」だった

これまでの AI（特にウェブを操作する AI）は、**「練習用シミュレーター」**でしか訓練されていませんでした。
それは、まるで「空想上のスポーツ大会」でしか練習していないアスリートのようなものです。

• 現実のウェブはカオス: 実際のウェブサイトは、毎日デザインが変わったり、商品が入れ替わったり、広告が出たりと、常に動き回っています（非定常性）。
• これまでの限界: 練習用シミュレーターでは、AI は「Cornell 大学のウェブサイト」を見つけるような簡単なタスクならできましたが、少し複雑な「特定のベンチトップの製品コードを見つける」といったタスクになると、同じ動作を繰り返してフリーズしてしまったり、失敗したりしていました。

つまり、**「練習環境が甘すぎて、本番（現実のネット）で戦えない」**というのが問題でした。

🏢 2. 解決策：WebGym（ウェブジム）の登場

そこで登場したのが**「WebGym」です。これは、AI にとっての「世界最大級のリアルなトレーニングジム」**です。

📚 30 万個の「課題」が揃っている

WebGym は、約 30 万個の実際のウェブサイトを使ったタスクを収録しています。

• 広さ（Breadth）: 12 万 7 千もの異なるウェブサイトが含まれており、ショッピング、旅行、ニュース、学術など、あらゆる分野を網羅しています。
• 深さ（Depth）: タスクの難易度は「簡単」から「超難問」まで様々です。
• 分解（Decomposition）: 難しいタスクを、AI が理解しやすい小さなステップ（例：「まず検索窓を探す」「次に価格を比較する」）に自動的に分解して、段階的に練習できるようにしています。

⚡ 3. 高速な「トレーニングシステム」

ウェブを操作する AI の訓練は、ブラウザを動かすのに時間がかかるため、非常に遅いのが悩みでした。
WebGym は、**「非同期（アシンクロナス）システム」**という新しい仕組みを導入しました。

• 昔のやり方（同期）: 全員が同時に動き、一番遅い人が終わるまで全員が待機する。→ 待ち時間が多く、非効率。
• WebGym のやり方（非同期）: 速い人は先に次のタスクへ、遅い人はゆっくり進める。サーバーが常にフル稼働。
• 結果: 従来の方法に比べて、データ収集速度が 4〜5 倍に向上しました。まるで、渋滞していた高速道路を、すべて別々のレーンでスムーズに走れるようにしたようなものです。

🧠 4. 学習方法：失敗から学ぶ「試行錯誤」

WebGym で AI を訓練する際、研究者たちは**「強化学習（RL）」**という手法を使いました。

• 基本方針: AI がタスクを成功させたら「ご褒美（報酬）」、失敗したら「ゼロ」。
• 重要な工夫:
  1. 記憶機能: 長いタスクでは、前のステップで見た情報を忘れないように「メモ」を持たせます。
  2. 無駄な行動の禁止: 同じ画面で同じ動作を繰り返す「堂々巡り」を罰則で抑えます。
  3. 評価基準（ルーブリック）: 「正解か不正解か」だけでなく、「どのステップで何を確認したか」を細かくチェックする評価表を使い、AI がより正確に学習できるようにしました。

🏆 5. 結果：小さなモデルが巨人を倒す

この「WebGym」で訓練された AI（Qwen3-VL-8B という 80 億パラメータのオープンソースモデル）は、驚異的な結果を出しました。

• 未見のウェブサイトでも活躍: 訓練時に一度も見たことのないウェブサイトでも、**42.9%**の成功率を達成しました。
• 巨人を凌駕: これは、OpenAI の「GPT-4o（27.1%）」や「GPT-5（29.8%）」といった、巨大で高価な商用モデルよりも高い性能です。

💡 まとめ：なぜこれが重要なのか？

この研究は、**「AI を賢くするには、巨大なモデルを作るだけでなく、『現実世界に近い、質の高い練習場』を用意することが重要だ」**と教えてくれました。

• シミュレーターではなく、実戦: 本物のウェブで、本物の難問を解く練習をさせる。
• 効率化: 無駄な待ち時間をなくし、AI がどんどん経験を積めるようにする。
• 一般化: 特定のサイトだけでなく、どんな新しいサイトでも対応できる「汎用的なスキル」を身につけさせる。

WebGym は、AI がインターネット上で人間のように柔軟に行動するための、新しい「トレーニングの黄金律」を示した画期的な研究なのです。

技術概要

WebGym: 視覚的 Web エージェントのトレーニング環境を拡張する

技術的サマリー（日本語）

この論文は、現実的なタスクでトレーニングされた「視覚的 Web エージェント」の性能向上を目的とした、大規模なオープンソーストレーニング環境「WebGym」を提案するものです。従来の視覚的 Web エージェントのトレーニングは、タスクの規模が小さかったり、人工的な環境に依存していたり、非定常的な実世界の Web サイトへの適応が困難だったという課題がありました。WebGym は、これらの課題を解決し、強化学習（RL）を通じてエージェントを大規模にスケーリングするための基盤を提供します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義

視覚的 Web エージェント（スクリーンショットを認識し、ブラウザ操作を行う AI）は、Web 上の複雑なタスクを解決する能力が期待されています。しかし、既存のアプローチには以下の重大なボトルネックがありました。

• トレーニング環境の限界: 従来のベンチマーク（例：WebVoyager, Mind2Web）は評価用として設計されており、大規模な強化学習用のタスクセットとしては規模が小さく、多様性に欠けていました。
• 非定常性と一般化の難しさ: 実世界の Web サイトは常に変化しており（非定常的）、人工的なシミュレーション環境では学習したポリシーが実際のサイト（Out-of-Distribution: OOD）で機能しないことが多いです。
• ロールアウトの非効率性: 視覚的タスクは多段階の対話を必要とし、ブラウザのシミュレーションには多大な計算リソース（CPU/GPU）を要します。従来の同期型ロールアウトシステムでは、遅いタスクが全体の処理を待機させる「バースト・アイドル（burst-idle）」現象が発生し、データ収集効率が極めて低かったです。
• 報酬信号の曖昧さ: 数学やコーディングと異なり、Web タスクの正解は一意に定まらず、曖昧な成功信号しか得られないことが多く、強化学習の学習信号として機能しにくいという問題がありました。

2. 手法とアーキテクチャ

WebGym は、大規模なタスクセットの構築と、高速な非同期ロールアウトシステムの開発という 2 つの柱で構成されています。

A. 大規模タスクセットの構築 (Task Construction)

WebGym は、既存の 10 のベンチマーク（InSTA-v3, PAE-WebVoyager, BrowseComp など）から seed タスクを収集し、LLM（GPT-4o）を用いて手続き的に拡張します。

• ルブリックベースの評価 (Rubric-based Evaluation): 各タスクに対して、LLM が「事実グループ（fact groups）」からなる評価基準（ルブリック）を生成します。タスクの難易度は、これらの事実の総数で定義されます。
• タスクの分解 (Task Decomposition): 元のタスクを、より単純なサブタスクに分解します。具体的には、評価基準の「事実グループ」の部分集合を選択し、新しいタスクを生成します。これにより、難易度が多様なタスクセット（約 30 万タスク）が構築され、カリキュラム学習や段階的な学習が可能になります。
• トレーニング/テスト分割: 学習セット（約 29 万タスク、12 万以上の Web サイト）と、学習時に一度も見たことのない Web サイトのみで構成される厳密な OOD テストセット（1,167 タスク）に分割されます。

B. 非同期ロールアウトシステム (Asynchronous Rollout System)

強化学習のボトルネックであるデータ収集速度を劇的に向上させるため、WebGym は非同期のクライアント - サーバーアーキテクチャを採用しています。

• 非同期処理: 従来の同期型（バッチ処理）では、すべてのセッションが同じステップで待機していましたが、WebGym はリソースが空いた瞬間に新しいタスクを割り当てます。これにより、CPU と GPU の稼働率を最大化し、アイドル時間を排除します。
• 操作固有のキュー: ブラウザ操作（ナビゲーション、スクリーンショット取得、アクション実行など）ごとにローカルキューを設け、異なる操作タイプが互いの優先順位を妨げないように設計されています。
• 性能: このシステムにより、従来の同期実装と比較して4〜5 倍のロールアウト速度向上を実現しました（128 CPU、24 H100 GPU で 30 分間に 1,800 トラジェクトリを収集）。

C. 学習アルゴリズムと設計選択

• アルゴリズム: シンプルな REINFORCE 法（オンラインフィルタード行動模倣）を使用。成功したトラジェクトリのみを基に勾配を更新し、失敗にはペナルティを与えません。
• メモリプロンプト: 長期的なタスクにおいて、過去の情報を保持するために、エージェントが各ステップで「メモリ（要約）」を出力するプロンプト設計を採用しました。
• 反復行動のペナルティ: エージェントが同じ画面で同じ行動を繰り返す（ループする）現象を防ぐため、次のステップで画面が変化しない場合はそのステップをフィルタリングするペナルティを導入しました。
• ホライズン制御: 学習時のステップ数制限を短く設定することで、効率的な解決策を学習させ、過剰な探索を防ぎます。

3. 主要な結果

Qwen3-VL-8B-Instruct（オープンソースの視覚言語モデル）を WebGym でトレーニングした結果、以下の成果が得られました。

• 性能の大幅な向上: OOD テストセットにおける成功率が、ベースラインの 26.2% から**42.9%**へと大幅に向上しました。
• プロプライエタリモデルとの比較: 学習後の WebGym エージェントは、GPT-4o (27.1%) や GPT-5-Thinking (29.8%) といった最先端のクローズドソースモデルを上回る性能を達成しました。
• スケーリングの洞察:
  • ドメインの多様性: 学習タスクのドメインを制限すると一般化能力が低下し、多様な Web サイトを含むことが重要であることが示されました。
  • 難易度のバランス: 「易しいタスクのみ」または「難しいタスクに偏った」学習よりも、すべての難易度を均一にサンプリングする方が、最終的な性能が向上しました。
  • ホライズンの短縮: 学習時のステップ制限を短くすることで、より効率的な行動を学習し、最終性能が向上しました。

4. 主要な貢献

1. WebGym の公開: 視覚的 Web エージェント向けに設計された、これまでにない規模（約 30 万タスク）と多様性を持つオープンソーストレーニング環境の提供。
2. 高速ロールアウトシステム: Web ブラウザシミュレーションに特化した非同期システムにより、強化学習のデータ収集効率を 4〜5 倍向上させた。
3. 実世界での SOTA 性能: 大規模な RL トレーニングにより、オープンソースの小型モデル（8B パラメータ）が、プロプライエタリな巨大モデルを上回る Web エージェント性能を達成することを実証。
4. 評価プロトコルの革新: ルブリック（評価基準）に基づいた厳密な評価と、タスク分解による難易度の制御により、学習信号の質を向上させた。

5. 意義と将来展望

この研究は、視覚的 Web エージェントの分野において、「大規模な実世界データ」と「効率的な強化学習インフラ」の重要性を浮き彫りにしました。

• オープンソースの進展: 高価なプロプライエタリモデルに依存せず、オープンソースのモデルを適切にトレーニングすることで、実用的な Web エージェントが構築可能であることを示しました。
• 一般化能力: 学習時に遭遇していない Web サイトでもタスクを遂行できる能力（OOD 一般化）は、単なるタスクの暗記ではなく、本質的な Web 操作スキルの獲得によって達成可能であることを証明しました。
• 将来の方向性: ルブリック生成の厳格さによるサンプル効率の低下を改善する手法や、動的カリキュラム学習、マルチエージェント学習などへの展開が期待されます。

総じて、WebGym は視覚的 Web エージェントの研究において、トレーニング環境のスケールと効率性が性能向上の鍵であることを示す重要なマイルストーンです。