技術要約：状態に基づいた動的リトリーバルによるウェブエージェントのオンライン・スキル学習

問題提起

言語エージェントは、マルチステップのウェブ自動化タスク（情報探索、フォーム入力など）において、ますます活用されるようになっています。既存の研究では、過去のタスク・トラジェトリから再利用可能な手続き的知識を誘導し、将来のパフォーマンスを向上させるオンライン・スキル学習が探索されてきましたが、現在の手法には決定的な限界が存在します。

既存のオンライン・スキル学習アプローチは、主にタスクレベルで動作しています。これらは、実行の開始時に初期のタスク指示のみに基づいて固定されたスキルのセットをリトリーバル（検索）し、プロセス全体を通じてそのセットを一定に保ちます。この静的な戦略は、インタラクティブなウェブ実行の性質とは乖離しています。なぜなら、適切な次のアクションは、グローバルなタスク目標だけでなく、現在のウェブページの状態にも依存するからです。エージェントがナビゲーションを進めるにつれ、ウェブページのステート（状態）は遷移し、当初選択されたスキルが不適切になったり、新たに発生した状況をカバーできなくなったりすることが頻繁に起こります。さらに、既存の手法はスキルの粒度についても課題を抱えています。フル・トラジェトリ（全行程）のスキルは特定の状況に限定されすぎて中間状態への適用が難しく、一方で単一アクションのスキルは意味のある手続き的な抽象化を欠いています。

本論文が取り組む核心的な課題は、「オンラインエージェントがいかにして、進化するタスク目標と現在のウェブページ状態の両方に条件付けられた上で、各意思決定ステップにおいて適切な再利用可能スキルを動的にリトリーバルできるか」という点です。

手法：状態に基づいた動的リトリーバル (SGDR)

著者らは、静的なタスクレベルのスキル再利用を、適応的なステップレベルのリトリーバルに置き換えるために設計されたオンライン・スキル学習フレームワークであるState-Grounded Dynamic Retrieval (SGDR) を提案します。この手法は、実行中に正解の成功シグナルにアクセスすることなく、エージェントがオンザフライでスキルライブラリを更新しなければならない逐次的なタスク・ストリーム設定内で動作します。

SGDRは、以下の3つのコアコンポーネントで構成されています。

1. スライディング・ウィンドウによるスキル抽出

粒度の課題に対処するため、SGDRはトラジェトリ全体を単一のスキルとして保存するのではなく、スライディング・ウィンドウ抽出プロセスを適用します。

• プロセス: トラジェトリを局所的なサブ・プロシージャ（様々な長さのウィンドウ）に分割します。
• 検証: 各候補セグメントをスキルへと変換し、元のトラジェトリ内の対応するアクションをスキルの呼び出しに置き換えることで、そのセグメントを検証します。トラジェトリの成功を維持できるスキルのみがライブラリに追加されます。
• 結果: これにより、フルタスクのコンテキストだけでなく、中間的なウェブページの状態にも適用可能な、コンパクトで再利用可能なサブ・プロシージャ（例：「短いフォームへの入力」、「フィルターの適用」）が生成されます。

2. テキストとコードの二重表現

各誘導されたスキル $s_k$ は、ペア $(d_k, c_k)$ として表現されます。

• 記述 ($d_k$): リトリーバルのための自然言語による要約。
• コード ($c_k$): アクション実行のための実行可能な関数。
  この二重の表現により、スキルは意味的にリトリーバル可能であり、かつブラウザ環境内で機能的に実行可能であることを保証します。

3. 状態に基づいた動的リトリーバル

開始時に一度だけスキルをリトリーバルする静的な手法とは異なり、SGDRは現在の状態に基づいて毎ステップスキルをリトリーバルします。

• クエリ構築: リトリーバル・クエリは、元のタスク指示 $g$ と、アクセシビリティ・ツリーから導出された現在のウェブページ状態のコンパクトな要約 $r_t$ を組み合わせます。
• 関連性スコアリング: スキル記述と結合されたクエリとの間の重み付きコサイン類似度を用いて、関連性スコアを算出します。
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  ここで、$\alpha$ はタスク目標と現在の状態の重要度のバランスを調整します。
• MMRによる再ランキング: （スライディング・ウィンドウによって重複するスキルが生じる可能性があるため）冗長性を防ぐために、上位 $M$ 個の候補をMaximal Marginal-Relevance (MMR) を用いて再ランキングします。これにより、すでに選択されたスキルとの類似性を抑制しつつ、現在のクエリに対する関連性を最大化し、多様な実行オプションを確保します。
• 注入: 選択されたスキルは現在のステップに対してのみ注入され、実行が進むにつれてエージェントのサポートが適応できるようにします。

主な貢献

1. 問題の定式化: 本論文は、ウェブエージェントにおけるタスクレベルの一回限りのスキル再利用の限界を特定し、進化するウェブのコンテキストを扱うための状態に基づいた動的リトリーバルの必要性を強調しました。
2. 手法の革新: ステップ単位のスキル再利用を可能にするフレームワークであるSGDRを導入しました。主な革新は以下の通りです。
   • 中間粒度のスキルを生成するためのスライディング・ウィンドウ抽出。
   • リトリーバルの意味論と実行可能なアクションを紐付けるテキストとコードの二重表現。
   • タスク目標とリアルタイムの状態観測の両方に条件付けられたスキル選択を実現する動的リトリーバル・メカニズム。
3. 実証的検証: 本手法は、5つのドメイン（Shopping, Admin, Reddit, Gitlab, Map）において、2つのバックボーンモデル（GPT-4.1 および QWEN3-4B）を用い、WebArenaベンチマークで評価されました。

実験結果

実験の結果、SGDRは、Vanilla（スキルなし）、Agent Workflow Memory (AWM)、Agent Skill Induction (ASI)、Contextual Experience Replay (CER) を含む強力なベースラインを一貫して上回りました。

• 成功率:
  • GPT-4.1 を使用した場合、SGDRは平均成功率 37.5% を達成し、最強のベースラインである CER (33.9%) に対して 10.6% の相対的な向上を示しました。
  • QWEN3-4B を使用した場合、SGDRは 24.3% を達成し、CER (22.1%) に対して 10.0% の相対的な向上を示しました。
  • 5つのドメインのうち4つのドメインで改善が見られ、特に Admin (47.7% vs. ASIの41.4%) と Shopping で顕著な向上が見られました。
• 実行効率: SGDRはタスク完了に必要な平均ステップ数を削減しました。GPT-4.1を用いた場合、CERの平均 6.4 ステップに対し、SGDRは 4.8 ステップであり、高レベルなスキルの抽象化が複数の低レベルなブラウザ操作を効果的に置き換えていることが示されました。
• アブレーション研究:
  • リトリーバル信号: タスクと状態の情報を組み合わせる場合 ($\alpha=0.5$) が最良の結果をもたらし、タスクのみ、または状態のみのリトリーバルを上回りました。
  • 再ランキング: MMRによる再ランキングは、単純なトップ $M$ の関連性リトリーバルよりも、冗長性を減らすことでパフォーマンスを大幅に向上させました。
  • 粒度: スライディング・ウィンドウ抽出は、フル・トラジェトリ抽出および単一アクション抽出の両方を上回り、中間的な粒度の必要性を裏付けました。

意義と主張

本論文は、SGDRが静的なタスクレベルの再利用から適応的な状態に基づいた再利用への転換を象徴していると主張しています。スキルのリトリーバルを動的にウェブページの状態に適合させることで、エージェントは現実的でインタラクティブな環境において蓄積された手続き的知識をより良く活用できるようになります。

著者らは、本研究を、より現実的なウェブ自動化への一歩として位置づけています。そこでは、エージェントは連続的に発生し、継続的な適応を必要とするタスクを処理しなければなりません。本手法は、事前に構築されたオフライン・ライブラリに依存せず、オンザフライで能力を学習・洗練させるため、タスクの分布が変化したり進化したりする可能性のあるデプロイメント・シナリオに適しています。実験結果は、静的なスキル注入と動的なウェブ状態との間のミスマッチに対処することが、複雑なウェブ環境における言語エージェントの成功率と効率を向上させる上で極めて重要であることを示唆しています。