技術サマリー：レイテンシ最適化型 Web エージェント計画およびスケジューリングのためのエージェント JIT コンパイル

問題定義

コンピュータ使用エージェント（CUA）は、「タコベルから最も安い商品を注文する」などの自然言語で指定された Web ベースのタスクを自動化し、クリック、入力、スクロールなどのツール呼び出しのシーケンスを生成します。現在の実装は通常、各反復で大規模言語モデル（LLM）の呼び出しを必要とする逐次的な「取得・スクリーンショット・実行ループ」に従います。このアーキテクチャには、2 つの主要な制限があります。

1. 高いレイテンシとコスト: 各ステップで LLM 呼び出しが必要であるため、実行遅延が顕著に発生し、推論コストが高くなります。
2. 精度とエラー率: 最先端の LLM を単純に適用すると、ツールの使用シーケンスの誤り（例：間違った要素をクリックする、間違ったフィールドに入力する）や実行スケジューリングの最適化不足に起因する頻繁なエラーが発生します。

積極的な DOM フィルタリングや小規模モデルの強化学習など、パフォーマンス向上を試みた既存の取り組みは、依然として静的なツールセットと逐次実行に依存しており、並列性やリクエスト・ヘッジを含む実行スケジュールの全空間を探求したり、ツール呼び出し間の非決定的な LLM 呼び出しを排除したりできていません。

手法：エージェント JIT コンパイル

著者らは、高レベルの自然言語指示を計画合成時に最適化された実行可能コードに変換するシステム「エージェント・ジャスト・イン・タイム（JIT）コンパイル」を提案します。「観測・思考・実行」のループを実行する標準的なエージェントとは異なり、このシステムはタスクをツール呼び出しと推論を調整する静的なコードグラフにコンパイルし、推定コストが最も低い変換を選択します。アーキテクチャは 3 つの中核コンポーネントで構成されます。

1. 不変条件強制型ツールプロトコル

生成されたコード計画の正当性を保証するため、システムはすべてのツールが事前条件と事後条件（状態不変条件）を指定するプロトコルを導入します。

• 構造: ツールは、実行前の期待状態（pre）、実行後に保証される状態（post）、およびデバッグ用のオプションのランタイム述語（pre_check、post_check）を定義します。
• 検証: これにより、コンパイル時に合成的検証が可能になります。ツール呼び出しは、現在の状態がその事前条件を満たす場合にのみ有効です。この静的チェックにより、誤ったアクションシーケンス（例：詳細ページに移動する前に商品の注文を試みるなど）に起因する広範なエラーが排除されます。
• 利点: このプロトコルは、レイテンシと精度のパレートフロンティアをシフトさせ、有効な計画生成率を大幅に向上させます。

2. コスト最適化プランナー（JIT-Planner）

プランナーは、複数の候補コード計画を並列に生成し、ツールプロトコルに対して検証した後、最小コストの候補を選択します。

• 並列生成: 複数のワーカーが同時に LLM からコード計画をサンプリングします。
• CFG ベースの検証: 各計画は制御フローグラフ（CFG）に変換されます。システムはグラフを走査して状態フローを検証し（ステップ $i$ の post がステップ $i+1$ の pre を満たすことを確認）、コストを推定します。
• コストモデル: コストは、ツール呼び出しと AI 評価（ai_eval）呼び出しに基づいて累積されます。高価な LLM 呼び出しを含むネストされたループを抑制するため、ネスト罰則（$\gamma$）が適用されます。
• 結果: プランナーは、推定コストが最も低い有効な計画を選択し、LLM に尋ねるのではなくコードロジックで最小価格を計算するなど、不要な LLM 呼び出しを純粋なコードロジックで置き換えることがよくあります。

3. コスト認識スケジューラー（JIT-Scheduler）

スケジューラーは、学習されたレイテンシ分布に基づいて、与えられた計画に対する最適な実行戦略を決定します。3 つの戦略を評価します。

• シリアル: 逐次実行。
• パラレル: $n$ 個のワーカー間でのタスク並列化。
• ヘッジ: 冗長な $n$ 個のワーカーが同じタスクを実行し、最初の有効な結果が返される推測的並列実行。
• メカニズム: モンテカルロコスト推定を使用して、オフラインで収集された特定の DOM 要素の学習済みレイテンシ分布からサンプリングします。計画がどの要素と相互作用するかを予測し、各戦略の期待レイテンシを推定して、平均レイテンシが最小の戦略を選択します。

オフラインキャッシング

システムは、2 つのキャッシュを埋めるためのオフラインプロセスに依存しています。

1. プランナーキャッシュ: 高レベルのアクションを、実行トレースから合成された、再利用可能でプロトコル準拠のツールコードにマッピングします。
2. スケジューラーキャッシュ: ページスキーマ要素を、履歴実行トレースから適合されたレイテンシ分布にマッピングします。

主要な貢献

1. 不変条件強制型ツールプロトコル: 状態不変条件を含む標準的なツールインターフェースを拡張し、ツールシーケンスの静的検証を可能にして生成エラーを削減します。
2. コスト最適化プランニング: 並列候補を生成し、CFG 走査を通じて検証し、最小コストの実行パスを選択するプランナーを導入することで、冗長な LLM 呼び出しを効果的に排除します。
3. コスト認識スケジューリング: 学習済みレイテンシ分布のモンテカルロシミュレーションに基づき、シリアル、パラレル、ヘッジの戦略間を動的に選択するスケジューラーを実装します。
4. エンドツーエンドシステム: これらのコンポーネントを統合し、自然言語タスクを最適化された実行可能コードに変換する JIT コンパイラとして機能させ、標準的なエージェントループを超えたものを実現します。

結果

このシステムは、5 つの Web アプリケーション（Dashdish、GitLab、Gomail、Omnizon、Reddit）における 37 のタスクで、さまざまな最先端 LLM を使用して評価されました。

• JIT-Planner のパフォーマンス:

  • 標準的な Browser-Use ベースラインに対して10.4 倍の高速化を達成。
  • Browser-Use に対して**+28%**の精度向上。
  • コスト推定が計画を効果的にランク付けすることを示証：最良コスト候補と最悪コスト候補の間の差は、レイテンシにおいて5.3 倍のばらつきでした。
  • 不変条件プロトコルは、計画生成の失敗率を 80% から 43% に削減し、支配的な失敗モードをツールの順序違反から他の種類へとシフトさせました。

• JIT-Scheduler のパフォーマンス:

  • OpenAI の CUA に対して2.4 倍の高速化と**+9%**の精度向上を達成。
  • 各タスクごとに最適な戦略を適応的に選択することで、固定されたスケジューリング戦略（シリアル、パラレル、ヘッジ）を上回りました。例えば、UI 要素のばらつきが大きいタスク（特定のボタンを見つけるなど）はヘッジの恩恵を受け、単純な検索はシリアル実行の恩恵を受けることを正しく識別しました。

• 複雑性の分析:

  • 高速化は、タスクの基数（低、中、高）および長さ全体で一貫しており、その恩恵は主にタスク固有のヒューリスティックではなく、ステップごとの LLM 推論の排除に由来することを示しています。
  • 複雑なナビゲーションパターンを持つアプリケーション（例：Reddit）は、最大 18.9 倍の最高速化を見ましたが、より単純なフローを持つアプリケーションは、依然として有意義な増加を示すものの、低い増加率でした。

意義と主張

本論文は、エージェント JIT コンパイルが、コンピュータ使用エージェントの効率性と信頼性を向上させる有望な方向性を示していると主張しています。エージェント計画をコンパイル問題として扱うことで、システムは以下の点を実現します。

1. 計画と実行の分離: 貪欲なステップごとの意思決定を行うのではなく、実行前の実行グラフ全体を最適化することを可能にします。
2. 非決定的性の低減: 状態不変条件を強制し、タスクをコードにコンパイルすることで、実行中の非決定的な LLM 呼び出しへの依存を減らし、精度の向上につながります。
3. リソース使用の最適化: コスト認識スケジューリングを通じて、Web 相互作用の特定のレイテンシ特性に適応し、静的な戦略よりも効果的にレイテンシと精度のトレードオフをバランスさせます。

著者らは、このアプローチが、エージェントが繰り返し処理するアプリケーションに最も適しており、必要なキャッシュを構築するためにツール合成とトレース収集というオフラインセットアップコストが必要であると指摘しています。また、UI の変更（キャッシュされたツールを破損させる可能性あり）や、CAPTCHA のような非常に確率的な環境に関する制限を認めていますが、不変条件プロトコルがランタイムでの検出とフォールバックのメカニズムを提供すると主張しています。