技術的サマリー：Region4Web と PageDigest

問題定義

Web エージェントは観測空間を通じて環境を知覚するが、この観測の粒度は未だ十分に検討されていない設計選択である。既存のアプローチは通常、観測空間を行動空間と同じ要素レベルの粒度で扱い、ページを個々の DOM 要素（例：AXTree ノード）の平坦または階層的なリストとして表現する。要素レベルの粒度は特定の行動（例：特定のリンクのクリック）を選択するには自然であるが、ページ状態の理解には最適ではない。

要素レベルの観測では、要素のグループが「商品一覧」「ナビゲーションメニュー」「検索フォーム」などの共有された目的を果たすという、ページの機能的な組織化は暗黙のままである。エージェントは、各ステップにおいて生要素信号からこれらの機能的領域とその目的を推論することを強いられている。このアプローチは、機能的単位を定義する構造的な手がかりを活用できず、頻繁にページ組織を曖昧にする過度に長い観測コンテキストをもたらす。さらに、ページ内の各ステップで完全な要素レベルの観測を再構築することは冗長であり、ほとんどの行動は DOM にわずかな変化しか induced しないためである。

手法

本論文は、Region4Webによる領域レベル観測の構築と、PageDigestによるこれらの観測の効率的な提供という、2 部構成のフレームワークを提案する。

1. Region4Web：領域レベル観測の構築

Region4Web は、2 段階のプロセスを通じてページの AXTree を機能的領域に再編成する。

• 階層的分解: この段階では、AXTree 内のすべての親子エッジを、単一のボトムアップ走査においてマージまたはカットとして分類する。
  • 入力: 各ノード $v$ に対する特徴量ベクトル $x_v$。これは、学習された役割埋め込みと数値的な構造化特徴（深さ、部分木サイズ、子ノードの多様性など）を組み合わせる。
  • メカニズム: EdgeClassifier が、子ノードを親ノードから分離すべきかどうかを判断する。親の特徴、子ノードの表現、および親の兄弟ノードの平均表現を文脈として使用する。分類スコアが閾値 $\tau$ を超える場合、エッジはカットされ、新しい領域境界が形成される。そうでない場合、子ノードは親の領域にマージされる。
  • 出力: AXTree の部分木への分割。各部分木は機能的領域を構成する。
• 意味的抽象化: この段階では、特定された各領域を解釈し、その目的を明示化する。
  • メカニズム: 少量の微調整済み言語モデル（Qwen3-0.6B）が、各領域の事前処理された AXTree 部分木を処理する。
  • 出力: 各領域に対する 2 つの直交する次元：
    1. 目的 ($p_i$): 領域が何のためにあるかという高レベルな記述（例：「商品一覧」「検索フォーム」）。
    2. 状態サマリー ($s_i$): 領域の現在の行動可能な文脈に関する簡潔な要約（例：「高級サングラスのプロモーションショーケース」）。

これらの段階は、2,052 件の実世界 Web ページのデータセットから独自 LLM（GPT-5-mini）によって生成された注釈を用いて訓練された、小さく専用のモデルとして実現されている。

2. PageDigest：Web 固有の推論パイプライン

PageDigest は、ページ内のステップ間で持続するコンパクトなダイジェストとして、領域レベルの観測をアクターエージェントに提供するよう設計されたパイプラインである。

• タスク関連領域の選択: 新しいページに進入すると、アクターエージェントのバックボーン LLM がタスク指示、行動履歴、および領域抽象化の集合 $\{(p_i, s_i)\}$ を受け取る。モデルはタスクに関連する領域を選択する。
  • 選択された領域: 行動実行のための要素レベルの粒度を維持するため、完全な AXTree 部分木として公開される。
  • 選択されなかった領域: ページ全体の構造的な文脈をトークンの肥大化なしに保持するため、目的サマリーのみで表現される。
• ページ認識型観測遷移管理: 各ステップで Region4Web を再実行するのではなく、PageDigest は増分的な変化を追跡する。
  • 現在の AXTree をページ進入時の状態と比較し、追加、削除、または変更されたノードを特定する。
  • 更新: 削除/変更されたノードは、それらの領域目的の下にある既存の構造を更新する。追加されたノードは、既存の領域の目的をシフトさせないよう、別途リストされる。
  • このアプローチは、ページ状態の連続性を維持しながら、冗長な再構築を回避する。
• フォールバック機構: エージェントが選択された領域が不十分と判断した場合、view_all 行動を呼び出して、すべての領域を完全な AXTree 形式で表示させることができる。

主要な貢献

1. Region4Web フレームワーク: 階層的分解と意味的抽象化を通じて AXTree を機能的領域に再編成する新規手法。これにより、エージェントに対してページの機能的組織を明示化する。
2. PageDigest パイプライン: 領域レベルの観測をコンパクトで持続的なダイジェストとして提供する Web 固有の推論メカニズム。完全な再構築なしに状態遷移を追跡しつつ、観測長を削減する。
3. 実証的検証: WebArenaベンチマークにおける包括的な評価により、多様なバックボーン LLM およびエージェント手法において、領域レベル観測がタスク成功率を向上させ、観測長を削減することが実証された。

結果

WebArena ベンチマーク（5 つのドメイン：ショッピング、CMS、Reddit、GitLab、マップにわたる 812 タスク）で評価したところ、提案手法は以下の結果をもたらした。

• 観測長の削減: PageDigest は、4 つの異なるバックボーン LLM（GPT-5.1、Gemini 3.1 Flash-Lite、DeepSeek-V3.2、Qwen3.5-27B）において、平均観測トークン長を43%（6,437 トークンから 3,671 トークンへ）大幅に削減した。削減率はバックボーンに応じて 16% から 54% の範囲であった。
• タスク成功率（SR）の向上: 削減されたコンテキストにもかかわらず、PageDigest は平均してタスク成功率を2.3 ポイント向上させた。
  • 例として、GPT-5.1 では SR が 45.2% から 47.5% に増加した。
  • Qwen3.5-27B では、SR が 38.2% から 39.9% に増加した。
• 汎用性: 改善は、容量の異なるプロプライエタリおよびオープンソースモデル、ならびに確立されたエージェント手法（SteP および AgentOccam）の両方で維持された。これは、領域レベル観測がモデルの能力とは独立してページ状態理解のための補完的な信号を提供することを示している。
• アブレーション研究:
  • Region4Web 単独は、同様の観測長で SR を向上させ（48.5% $\to$ 50.3%）、機能的領域が理解を助けることを確認した。
  • PageDigest 単独（Region4Web 不使用、要素レベル選択使用）は SR を低下させ（48.5% $\to$ 46.1%）、圧縮があっても要素レベル処理が性能を阻害することを示唆した。
  • 組み合わせ: 完全な PageDigest パイプラインは、最低の観測長（3,814 トークン）で最高 SR（53.9%）を達成した。
• 失敗分析: 50 の失敗軌道の分析により、失敗の 82.0% はバックボーンエージェントの行動選択能力に起因し、PageDigest パイプライン内の回帰（分解、抽象化、または選択エラー）によるものはわずか 8.0% であることが示された。これは、パイプラインが設計通り信頼性高く動作していることを示している。

意義と主張

本論文は、観測粒度が Web エージェントにとって重要でありながら未検討の設計選択であると主張する。要素レベルから機能的領域レベルの観測へ移行することで、著者らは以下のことを実証する。

1. 明示的な組織化: 領域と目的を通じてページの機能的組織を明示化することは、生要素から推論するよりも、ページ状態理解にとってより情報豊富な基盤を提供する。
2. 効率性と性能: 領域レベル観測は、タスク成功率を犠牲にすることなく、むしろ向上させる、よりコンパクトなコンテキストを可能にする。
3. 分離: このアプローチは、観測設計をモデル能力や行動方策から分離し、基盤 LLM の容量に関わらず、より効率的な Web エージェントへの道を開く。

著者らは、機能的領域の粒度で動作することは、要素レベル処理のみよりも意思決定のためのよりコンパクトで情報豊富な基盤を提供すると結論付け、エージェントが Web を「どのように見るか」が、それを「どのように考えるか」と同じくらい重要であるという仮説を検証した。