技術要約: WebRider

問題提起

現在のライブウェブ・エージェントの評価は、主に「正しい最終回答に到達したか」という点で行われている。しかし、この指標は委任の忠実度（delegation fidelity）、すなわち、ユーザーが定義した特定のポリシー（制約、検証ステップ、不確実性の処理、および停止基準）をエージェントがどの程度遵守しているかを捉えることができない。もっともらしい最終回答は、返品ポリシーの無視、誤った場所への漂流、あるいは販売者の評判確認の失敗といった、重大なポリシー違反を隠蔽してしまう可能性がある。

本論文は決定的なギャップを指摘している。強力なコントローラーは高い割合（例：99.2%）でタスクを終了させることができるが、すべてのポリシー制約を遵守できているケースはわずか（例：38.8%）である。核心となる科学的課題は、ウェブページのステートが変化する中で、いかにしてブラウザ・エージェントが、アクションの実現と高レベルの充足判断を混同することなく、タスク固有のポリシーをすべての可視的なステップを通じて維持できるかである。

メソドロジー: WebRider アーキテクチャ

WebRiderは、委任されたポリシーをインテント・コントラクト（意図の契約）として定式化し、厳格な階層型アーキテクチャを通じてこれを強制することで、この問題に対処する。

1. インテント・コントラクト（意図の契約）

コントラクトは、以下の内容をカプセル化した運用記録である：

• 目標 ($g$): タスクの目的。
• ハード制約 ($H$): 譲れない制限（例：予算、場所）。
• ソフトな嗜好 ($S$): ユーザーの優先順位（例：「信頼重視」対「価格重視」）。
• エビデンス義務 ($E$): 収集すべき必須データポイント。
• ブロッキング条件 ($B_{mat}$): 明確化または停止を必要とする状況。
• 回答スキーマ ($A$): 最終出力に求められる形式。
• ペルソナ／制御ポリシー ($p$): 探索の広さ、検証の深さ、およびインタラクションのスタイルを規定するルール。

コントラクトは、ユーザーが要求を明示的に明確化しない限り安定しており、これにより、インタラクションの前に義務が既知となり、インタラクション後に監査可能となる。

2. 階層型コントローラー

本システムは、長期的な充足判断とページローカルなアクション選択を、3つのレイヤーによって分離している：

• トップ・レイヤー（コントローラー）: コントラクトの状態を維持する。高レベルの戦略（閲覧するか、質問するか、停止するか、ブロックするか、回答するか）を決定する。エビデンスの充足度とタスクの完了を追跡するが、具体的なクリックは生成しない。
• ミドル・レイヤー（ガード付きアクション生成器）: 現在の状態（コントラクト、観測、履歴）を、単一の、原子的な、ガード付きのJSONアクションAST（例：クリック、タイピング、スクロール、検索）へとマッピングする。
  • ガード（Guards）: 決定論的なコンパイラとヘルパースイートが、文法を強制し、不正なターゲットを拒否し、ブロックされた状態を検出し、リカバリ・アクションを付加する。
  • 制約: このレイヤーは、エビデンスの充足度や最終回答の準備完了を判断することを禁止されており、現在の意図を実現することのみを行う。
• エグゼキューター・レイヤー（実行層）: ライブウェブ（ブラウザ、検索、マップ）上でアクションを実行し、観測結果（スクリーンショット、要素ラベル）を返す。これには推論能力はない。

この構造により、「なぜ（ポリシー遵守）」が「どのように（アクションの実行）」から分離され、ブラウジングの経路が、監査可能な第一級のオブジェクトとなる。

ベンチマーク: RiderBench

このアプローチを評価するために、著者らは42の公開ウェブサイトと12のドメインにわたる4,096のライブウェブ・コントラクトからなるデータセット、RiderBenchを構築した。

• 構築: 768の監査済みベースタスクを15種類の異なるペルソナ・ポリシーと組み合わせることで、リクエストは同一であるが、要求されるルートが異なるカウンターファクチュアル（反事実的）なシナリオを作成した。
• 指標:
  • コントラクト・ゲート付き成功率 (CGS): 5つのゲート（最終完了、ハード制約の充足、エビデンスの充足、利用可能な回答の質、および未解決のブロッカーの不在）の論理的連言。
  • ペルソナ一貫性スコア (PCS): 各可視ステップがペルソナ・ポリシーを維持しているかどうかに関する人間による評価。
  • ヒューマン・コンフォート・プリファレンス (HCP): 人間の評価者が、タスクを委任するにあたってどちらのロールアウトを信頼するかを選択する。

主な結果

評価では、強力なベンチマーク・コントローラー（Full-Pro）を用い、アブレーション版および学習されたミドル・レイヤー（MidSFT-8B）と比較した。

1. フィデリティ・ギャップ: Full-Pro コントローラーは99.2%のコントラクトを終了させたが、すべてのコントラクト・ゲート（CGS）を満たしたのはわずか**38.8%**であった。これは、高い終了率がポリシーの忠実性を意味しないことを裏付けている。
2. 人間の受容性: ペア比較による人間による研究において、IntentCore アプローチ（ペルソナと意図を永続的な状態とガード付きアクションに紐付ける手法）は、ティーチャー／フル・コントローラーの70%に対し、86%のPCSを達成し、結果として**+42.5%の純粋なHCP優位性**を示した。注目すべきは、PCSとCGSは相関しているものの別物である（$\rho \approx 0.55$）ことであり、これは最終ゲートを満たすことが、ステップごとの受容性を保証しないことを示している。
3. 構造の価値: 永続的なトップ・ステートとガード付きアクションを追加した（IntentCore）ことで、同じペルソナ／意図のテキストを持つプロンプトのみのコントローラーよりも、CGSが5.6パーセントポイント向上した。これは、階層構造自体が、情報の含有量を超えた価値を提供していることを示唆している。
4. ミドル・レイヤーの学習可能性: ガード付きミドル・インターフェース上で学習された8Bのアクション・ポリシーモデル（MidSFT-8B）は、固定されたトップ・レイヤーの下で、50.8%のCGSと78.1%のエビデンス・カバレッジを達成した。これは、実行専用のベースライン（32.9% CGS）を大幅に上回っており、ガード付きのインターフェースが、アクションの実現のために、全体を再学習する必要のない高品質で学習可能なターゲットを提供していることを示している。

意義と主張

本論文は、主に3つの洞察を主張している：

1. 経路が重要である: 高い終了率は、低いコントラクト忠実性と共存し得る。辿られたルートは、最終回答と同じくらい重要である。
2. 人間の判断は乖離する: 最終ゲートは、ステップごとの受容性を完全には捉えきれない。人間による評価者は、最終回答を満たしていても、中間的なポリシー制約に違反している軌跡を拒絶する。
3. 学習可能なインターフェース: ガード付きのミドル・トレースは、再利用可能で学習可能なアクション・インターフェースを提供する。アクションの実現と完了判断を分離することで、アクション選択とエビデンスの充足度を混同することなく、監査可能かつ人間が判断可能なポリシーモデルを訓練することが可能になる。

WebRiderは、プライベートメモリや長期的なコントラクト推論を解決することや、CAPTCHAやアクセス・ポリシーによるブロックを解決することを目的としていない。そうではなく、欠落している「委任の忠実度」を可視化し、回答を生み出す特定のルートをテスト、監査、および学習するための制御されたフレームワークを提供している。