技術的概要：PANDO – オンライン技能蒸留による効率的なマルチモーダル AI エージェント

問題提起

近年のマルチモーダル Web エージェントの進展は、主に推論コストの増大を通じて性能向上を購入する「トークン経済」に依存してきた。これには、展開探索の拡大（例：Best-of-N）、検証パスの追加、オフラインでのツール発見の実施、または専門モデルの積み重ねなどの戦略が含まれる。ベンチマークスコアにとっては有効であるが、このアプローチはトークン支出と成功との間に線形または超線形の関係を生み出し、高い遅延、エネルギー消費、および事前評価発見に伴う隠れたコストをもたらしている。

著者は、VisualWebArena (VWA) ベンチマークにおける現在のエージェントの軌道に、3 つの特定のメカニズム的非効率性を特定している：

1. 反復行動ループ：エージェントは頻繁に反復行動のループに陥る（画像注釈付き失敗の 34〜42%）。
2. 隠れた発見コスト：WALT などのシステムは、報告されたタスクごとの指標からしばしば除外される、significant なオフライン探索コストを伴う。
3. プロンプト・アーキテクチャの非効率性：テキスト/キャプション手法は、エージェントが経験を蓄積するにつれて安定したプレフィックスを活用できず、プロンプトキャッシュの利用率が低い（11% 未満）傾向を示す。

ここで提示される中心的な問いは、エージェントが各タスクで固定された「推論税」を支払うのではなく、経験を蓄積するにつれてより効率的になることができるかどうかである。

手法：PANDO フレームワーク

PANDO（多数の幹を支える単一の根系であるパンドの Aspen 林にちなんで命名）は、単一展開、オンライン技能蒸留フレームワークである。これは、事前評価発見予算を必要とせずに評価中に構造化された技能ライブラリを成長させるように設計された「計画 → 実行 → 振り返り → 学習」ループ上で動作する。

コアコンポーネント

1. 構造化技能ライブラリ ($S_t$)：

   • ライブラリは、ルール（決定論的、パターントリガー型のガードレール）とルーチン（パラメータ化された、実行可能なプログラムとしての行動技能）の非結合和である。
   • 検索：埋め込みベースの検索とは異なり、PANDO は決定論的、監査可能、かつキャッシュに優しい検索のためにリテラルキーワードの包含を使用する。
   • ライフサイクル管理：ライブラリは静的ではなく、オンラインで成長する。成功した部分軌道はルーチンへと誘導され、失敗した軌道は追跡される。

2. 学習と蒸留：

   • 誘導：成功した軌道の後、学習モジュールは、再利用可能なサブゴールテンプレートと検証済みのセレクタパターンを備えている場合、候補技能を抽出する。
   • 極性ペアのマージ：ライブラリの肥大化を防ぐため、「最安値」と「最高値」のように方向のみが異なるルーチンは、単一のパラメータ化ルーチン $f_{\pm}(x, d)$ にマージされる。
   • 信頼度に基づく降格：技能は実行中の信頼度推定値 ($c_s = \alpha_s / (\alpha_s + \beta_s)$) を維持する。技能が繰り返し失敗した場合、それは降格ブラックリストに移され、エージェントが脆弱なルーチンを再発見して再失敗することを防ぐ。

3. 実行経済：

   • 階層的ルーティング：強力なモデル（プランナー）は分解と振り返りに希薄に使用される。安価なモデル（アクター）は高頻度のグラウンディングを処理する。
   • 視覚圧縮：支配的なアクター項のトークン負荷を軽減するため、視覚入力を圧縮する。
   • キャッシュ対応プロンプティング：プロンプトレイアウトは、安定した指示と技能要約を不安定な観測の前に配置するように構成され、ライブラリが成長するにつれて KV キャッシュの利用率を最大化する。

4. コスト分解：
   本論文は、エージェントのコストを 4 つの加算項として形式化する：
   $$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$$
   PANDO は、$C_{pre}=0$（オフライン発見なし）、$N_{rollout}=1$（単一展開）、およびタストリーム内で厳密に支払われる小さな $C_{induce}$ を目指し、技能の再利用を通じて $C_{exec}$ を最小化する。

主要な貢献

1. トークン経済の枠組み：著者は、事前評価発見、展開スケーリング、検証、およびオンライン誘導を分離するコスト同一性を形式化し、現在のベンチマークがしばしばこれらの明確なコスト通貨を曖昧にしていることを論じている。
2. 構造化技能学習フレームワーク：PANDO は、パターンインデックス付きルール、パラメータ化ルーチン、オンライン蒸留、極性ペアのマージ、信頼度に基づく降格、およびキャッシュ対応プロンプティングを単一のエージェントに統合する。
3. 内在的効率指標：成功率 (SR) beyond として、本論文は軌道レベルの非効率性を診断するために行動反復率 (ARR)、ステップオーバーヘッド比率 (SOR)、およびプロンプトキャッシュ利用率を導入する。
4. 最先端の結果：PANDO は VWA 上で新しいパレート限界を達成し、評価されたすべてのベースラインよりも大幅に少ないトークンでより高い成功率を実現する。

実験結果

VisualWebArena ベンチマークのすべての910 タスクで評価：

• 成功率 (SR)：PANDO は**58.3%**を達成し、SGV (54.0%) および WALT の再現 (45.2%) を上回る。
• トークン効率：PANDO はタスクあたり平均115K トークンを使用する。これは SGV (275K) より58% 少ない、WALT (294K) より61% 少ない値である。
• 内在的指標：
  • ARR：9.1%（自動化手法の中で最低）、効果的なループ回避を示す。
  • SOR：1.8 倍（最低）、失敗したタスクが過度のステップペナルティを被らないことを示す。
  • キャッシュ利用率：72.4%（最高）、安定したプロンプトプレフィックスの有効性を示す。
• アブレーション研究 (VWA-300)：
  • 技能コンポーネント：ルール、ルーチン、およびオンライン蒸留は、成功率の向上（38.6% から 57.3%）の大部分を提供した。
  • 効率コンポーネント：階層的ルーティング、視覚圧縮、およびキャッシュ対応プロンプティングは、SR への寄与は最小限であったが、トークン削減（147K から 117K）の大部分とキャッシュ利用率の向上に責任があった。
• 学習ダイナミクス：システムは、ライブラリが成熟するにつれて約 8.5 ステップ/タスクに安定する、高いステップ数（タスクあたり約 30 ステップ）を伴う「コールドスタート」段階を示す。技能ライブラリは、ストリーム全体で 12 のシードルーチンから 47 の誘導ルーチン（降格後 32 個がアクティブ）へと成長した。

意義と主張

本論文は、PANDO が Web エージェントの進展が、単に増加した展開、隠れた発見予算、またはステップごとの専門モデルの積み重ねを通じて購入される必要はないことを実証していると主張する。

• 再利用可能性を資本として：核心的な洞察は、過去のトークン支出は再利用可能な資本となるべきであるという点である。経験を構造化された監査可能なライブラリに蒸留することにより、エージェントは時間とともにその限界推論負荷を低下させる。
• 透明性：ブラックボックスのベクトルストアやオフライン発見段階とは異なり、PANDO の技能ライブラリは検査可能、決定論的、かつプロンプトキャッシングの下で安定している。
• ベンチマーク報告：著者は、エージェントの効率性の完全な像を提供するために、コンピュータ使用ベンチマークは生トークン、キャッシュ済みトークンシェア、隠れた発見支出、および遅延 alongside 成功率を報告しなければならないと論じている。

本論文は、PANDO がより高い精度とより低い限界コストを伴う新しいパレート最適点を達成し、「効率性は、より少ないことをすることによって得られるのではなく、行われたことがどこかに行き着くことを保証することによって得られる」と示唆して結論づけている。