技術的サマリー：GTA – ウェブエージェント向けの大規模な長視野タスク生成

問題定義

言語モデルと閲覧・ツール使用機能を統合するウェブエージェントは、プロセスレベルの監督の欠如により、スケーラビリティにおいて重大なボトルネックに直面している。既存のベンチマークは主に手作業で構築されており、中間的な軌跡を伴わず、粗い開始点と目標点の注釈のみを提供している。これにより、現実的なマルチホップ・クロスページナビゲーションに必要な潜在的な意思決定プロセスに対するエージェントの訓練と評価が制限されている。

自動タスク生成の最近の試みは、主に以下の 3 つの限界に苦しんでいる：

1. 高コストと遅延: エージェントと環境の反復ロールアウトに依存する手法（例：AgentTrek、NNetNav）は、費用が極めて高く、処理が遅い。
2. 探索バイアス: LLM 駆動の方針は「明白な」経路（例：製品詳細ページ）に過剰適合する傾向があり、サイトグラフの重要な部分が未探索のまま残る。
3. 構成性の欠如: 生成された多くのタスクは、単一ホップの検索や単純なフォーム入力に収束し、現実世界のユーザーワークフローに特徴的なマルチホップ依存関係やオープンエンドな目的を捉え損なう。

手法：GTA フレームワーク

著者は、実行可能な真の軌跡を伴う現実的で段階的な難易度のタスクを生成するように設計されたスケーラブルなフレームワークGTA（Generating Long-Horizon Tasks for Web Agents at Scale）を導入する。このパイプラインは、効率性の向上とカバレッジの確保のために、クロールと生成を分離する。

1. ベンチマーク構築パイプライン

このフレームワークは、4 つの明確な段階で動作する：

• クロールとグラフ構築: システムは、公開ドメインに対して幅優先探索を行い、ノードがページを表し、エッジがハイパーリンクを表す有向ウェブグラフ $G = (V, E)$ を構築する。サイクルを防止し、一意の親割り当てを確保するため、標準的な最短経路方針が強制される。
• 検索ベースのシード付け: 方針駆動の探索の代わりに、システムは LLM ベースのエンコーダを用いてノードを埋め込む。シードノードに対して、意味的に関連するページのカンディデートセットを検索する。
• コンテキスト内生成: 生成用 LLM に、シードノードの内容と検索されたセカンダリノードの内容をプロンプトとして与え、クエリを合成する。この戦略は、2 つの異なるページにわたる推論を要求することで、マルチホップ依存関係を強制するように設計されている。
• 自動化された品質管理: 多段階の検証プロトコルが生成されたタスクをフィルタリングする：
  • マルチホップ検証: 単に独立した単一ホップクエリの結合に過ぎないタスクを拒否する。
  • 回答の正しさ: 検証用 LLM が、回答が支援ノードからのみ導出可能かを確認する。
  • 曖昧性の検出: 一意の回答を欠くクエリ（例：時間的制約の欠落）をフィルタリングする。
  • 解決可能性チェック: クロールされたグラフ内で回答を導出するための最小限の実行可能経路が存在することを確認する。

2. タスク定義

あるタスクが、少なくとも $n$ 個の異なるウェブページ（$n > 1$）からの証拠を集約して解決する場合、そのタスクは$n$ 次のマルチホップと定義される。このベンチマークは、単一ドメイン内での推論を行うサイト内タスクと、複数のドメインにまたがって調整するサイト間タスクの両方をサポートする。

3. スコープと規模

このパイプラインは、e コマース、政府、フォーラム、ニュース、医療、金融を網羅する 50 以上の公開ウェブサイト上でインスタンス化された。結果として得られたデータセットには以下が含まれる：

• 5,000 のサイト内タスク。
• 600 のサイト間クロスサイトタスク。
• 多言語カバレッジ（英語、イタリア語、日本語、ドイツ語、中国語）。
• ユーザーがライブウェブコンテンツから最新タスクを生成できる自己進化型エコシステム。

主要な貢献

本論文は、以下の 3 つの主要な貢献を概説する：

1. 問題の定式化: 複数のページやドメインにわたる推論を要求することで、単なる些細な情報検索から区別し、マルチホップウェブエージェント生成のタスクを形式化する。
2. 効率的な自動データ生成: クロールと生成を分離することで、タスクあたりの時間とコストを大幅に削減するパイプラインを提案する。各タスクには、決定論的な再生とステップレベルの診断のための、最小限かつプログラム的に実行可能な「ゴールドパス」が含まれる。
3. 進化型ベンチマークエコシステム: GTA を静的なデータセットではなく、自己進化型システムとして位置づける。これにより、評価データの継続的な更新が可能となり、静的ベンチマークへの過剰適合を減らし、エージェントを変化する現実的なタスク分布に曝すことができる。

結果と分析

1. ベンチマークの品質と比較

• クエリ構造: 事実検索から成ることが多い既存のデータセット（例：WebDS）とは異なり、GTA タスクは異種証拠の統合（例：数値統計と安全制約の組み合わせ）を要求する。
• 検索ベースラインの失敗: 単純な Google Search API ベースラインで評価した場合、GTA タスクの正解率は**14%**に留まり、AgentTrek や NNetNav の 95–100% とは対照的であった。これは、GTA タスクが単一ホップ検索では解決できないことを確認するものである。
• ページカバレッジ: GTA はテストサイトにおいて**77.4%–80.7%**のページカバレッジ率を達成し、AgentTrek（20.2%）、NNetNav（24.3%）、WebDS（11.0%）を大幅に上回り、サイト機能のより広範な探索を示している。
• 人間による評価: 人間の注釈者は、GTA タスクを WebDS（1.90）や AgentTrek（1.23）よりもはるかに複雑（2.35/3）と評価した。GTA はまた、現実性、推論の深さ、有用性のバランスが取れた最高総合品質スコア（1.82）を達成した。

2. エージェントのパフォーマンス

Browser UseおよびAgentOccamエージェントを用いた実験により、顕著なパフォーマンスの格差が明らかになった：

• サイト内タスク: エージェントは GTA において 20–30% 未満の成功率を達成することが多く、WebVoyager（最大 82%）や Mind2Web でのパフォーマンスと比較して急激な低下を示した。
• サイト間タスク: ドメイン横断タスク（例：Drugs.com と CVS Health の統合）ではパフォーマンスがさらに低下し（成功率 4.2%）、分布シフトの管理や重複しない知識の処理における困難を浮き彫りにした。
• 多言語パフォーマンス: エージェントは非英語環境で深刻な制限を示し、Browser Use はドイツ語およびイタリア語のサイトでは 0%、日本語のサイトではわずか 2.9% の成功率であった。

3. エラー分析

100 の失敗タスクの分析により、3 つの支配的な失敗モードが特定された：

1. 必要なページへの到達失敗（90%）: エージェントは必要なすべてのノードにナビゲートできず、しばしば脆弱なリンク追跡やナビゲーションループが原因であった。
2. 早期停止（40%）: エージェントは、すべてのソース間の整合性を検証することなく部分的な証拠を取得した後にタスクを早期に終了させた。
3. 検索ボックスへの過度な依存（40%）: エージェントは明示的なウェブグラフ構造を回避し、サイト内検索を優先する傾向があり、無関係な結果や破れた推論チェーンをもたらした。

意義と主張

本論文は、GTA がウェブエージェント研究におけるスケーラブルなプロセスレベルの監督の重要なニーズに対応していると主張する。クロールと生成を分離し、タスクをサイトグラフに根ざすことで、GTA は構成可能で検証可能なタスクを生成し、マルチホップ推論とドメイン横断統合における現在のエージェントの限界を露呈させる。

著者は、GTA が以下の点により、堅牢で汎用性の高いウェブエージェントの発展の基盤として機能すると主張する：

• 現実的なマルチホップシナリオにおける人間とエージェントの顕著なパフォーマンス格差を明らかにする。
• エージェントの失敗の詳細な診断（例：ナビゲーション対推論）を可能にする。
• 動的で自己進化型のタスク生成を通じて過剰適合を軽減するメカニズムを提供する。

本研究は、現在のエージェントが現実世界のウェブナビゲーションの複雑さに対処することに苦労している一方で、GTA フレームワークはこれらのシステムを評価・改善するための厳密で自動化されたスケーラブルな道筋を提供すると結論付けている。