技術要約：Agentic Monte Carlo (AMC)

問題提起

大規模言語モデル（LLM）エージェントには、パラメータレベルの強化学習（RL）が可能なオープンウェイトモデルと、API経由でのみアクセス可能なブラックボックス・エージェント（例：GPT-5、Gemini 3、Claude 4.6）という、2つの異なるレジームが存在する。PPO（Proximal Policy Optimization）やGRPO（Group Relative Policy Optimization）といったRL手法はオープンウェイトモデルに対して有効であることが証明されているが、これらは方策勾配を計算するためにモデルパラメータへのアクセスを必要とするため、ブラックボックス・エージェントには適用できない。その結果、ブラックボックス・エージェントを最適化しようとする研究者は、現在、プロンプトエンジニアリングやオープンウェイトのサロゲート（代用）モデルのファインチューニングに限定されており、対象となるブラックボックス・モデル自体に対してRLベースの最適化を行うことはできていない。

手法：Agentic Monte Carlo (AMC)

このギャップを埋めるために、著者らは、KL正則化RLとベイズ推論の間の既知の双対性を活用することで、ブラックボックス・エージェントのためのRLをシミュレートするフレームワークである**Agentic Monte Carlo (AMC)**を提案している。

1. 理論的定式化

著者らは、報酬の最大化という目標を、確率的推論問題として再定義している。最適な方策 $\pi^*$ は、エージェントの軌跡に対するベイズ事後分布として定義される：
$$\pi^*(s_{0:T}) \propto \pi(s_{0:T}) e^{r(s_{0:T})/\beta}$$
ここで、$\pi(s_{0:T})$ は固定されたブラックボックスLLMによる事前分布を表し、尤度項 $e^{r(s_{0:T})/\beta}$ は高い報酬を達成する確率をエンコードしている。高次元のアクション空間やブラックボックスモデルにおける対数確率の不在により、この事後分布から正確にサンプリングすることは困難であるため、著者らは**逐次モンテカルロ（Sequential Monte Carlo; SMC）**法、具体的には逐次重要度リサンプリング（Sequential Importance Resampling; SIR）を採用している。

2. アルゴリズムの実装

AMCは、$N$ 個のブラックボックス事前分布 $\pi$ の並列な軌跡を実行することで、最適な事後分布を近似する。各タイムステップ $t$ において、アルゴリズムは以下を行う：

1. アクションのサンプリング: 固定されたブラックボックス事前分布 $\pi$ から直接アクションを抽出する。
2. 重みの計算: 学習された価値関数 $V_\theta$ に基づいて重要度重み $w_t$ を更新する。重みの更新ルールは再帰的に導出される：
   $$w_t = w_{t-1} \cdot e^{V(s_t) - V(s_{t-1}) + r(s_{t-1})/\beta}$$
   ここで、$V(s_t)$ は将来の期待報酬を表すソフト価値関数である。
3. リサンプリング: 定期的に軌跡セットをリサンプリングし、低重み（低価値）の軌跡を確率的に削減（プルーニング）し、高重みの軌跡を増殖させることで、集団を最適な事後分布へと誘導する。

3. 価値関数の学習

真の価値関数 $V$ は扱いにくいため、AMCはエージェントを導くための別個の軽量な価値関数 $V_\theta$（回帰ヘッドを持つトランスフォーマーとしてパラメータ化）を訓練する。

• 訓練データ: 訓練タスクにおいてブラックボックス事前分布 $\pi$ からサンプリングされた軌跡。
• 目的関数: 価値関数は、将来の累積報酬を予測するように訓練される。著者らは、式5のソフト最大値を近似する簡略化された回帰ターゲット（式7）を利用し、$f_\theta(s_t)$ を将来の報酬の総和 $\sum r(s_\tau)$ に対して回帰させる。
• 推論: テスト時の実行中、$V_\theta$ は、基礎となるブラックボックスLLMを修正することなく、SIRプロセスにおける重要度重みを計算するために使用される。

主な貢献

1. ブラックボックスRLのためのベイズ的定式化: 本論文は、ブラックボックス・エージェントのためのRLを、ブラックボックスの事前分布と報酬ベースの尤度を組み合わせた軌跡に対する事後分布として、ベイズ推論の観点から定式化している。
2. Agentic Monte Carlo アルゴリズム: SMCと逐次重要度リサンプリングを用いて、最適な方策からサンプリングするアルゴリズムを提案している。著者らは、ブラックボックス・エージェントの挙動を導くために学習された価値関数を活用する、特定の重み更新ルールを導出している。
3. 実証的検証: 提案手法は、AgentGymベンチマークにおける3つの多様な環境（WebShop、SciWorld、TextCraft）で検証されている。結果は、AMCがプロンプティングのベースライン（ReAct、Best-of-N）を一貫して上回り、テスト時の計算量（test-time compute）をスケールさせることで、フルパラメータへのアクセスを必要とするGRPOベースラインをも上回り得ることを示している。

実験結果

著者らは、オープンウェイト（Llama-3.2-11B）およびブラックボックス（GPT-4.1-mini、GPT-5.1）の方策の両方を用いて、WebShop（電子商取引）、SciWorld（科学的推論）、TextCraft（クラフト作成）でAMCを評価した。

• 性能向上: AMCは、「Best-of-N」ベースライン（$N$ 個のサンプルから最良の軌跡を選択する手法）およびヒューリスティックなプロンプティングを用いたSMC（Fleet-of-Agents）を大幅に上回った。例えば、Llama-3.2-11Bの方策を用いたWebShopにおいて、AMCはBest-of-15の0.562に対し、0.625のスコアを達成した。
• GRPOとの比較: SciWorldにおける直接対決において、GPT-5.1の事前分布に支えられたAMCは、わずか5つの軌跡のみを用いたQwen-2.5-7Bバックボーンで訓練されたGRPOを上回った。さらに、両者に同じバックボーン（Qwen-2.5-3B）を使用した場合、25個の軌跡を用いたAMCは、完全にファインチューニングされたGRPOを上回った。
• コスト効率: AMCは、学習された価値関数によって導かれる小型のブラックボックスモデル（例：GPT-4.1-mini）を用いて、より大規模なモデル（GPT-5.1）に匹敵する性能を達成しつつ、APIコストを50%以上削減することを可能にする。
• 訓練 vs ゼロショット: 価値関数の訓練が必要であることが確認された。価値推定器のゼロショット・プロンプティングは一貫性のない結果をもたらし、訓練された $V_\theta$ の性能に達することができなかった。

意義と主張

本論文は、勾配へのアクセスなしに、クローズドソースのブラックボックスLLMエージェントに対して、原理に基づいたRLスタイルの最適化を行うことが可能であることを示している。ブラックボックス・モデルを固定された事前分布として扱い、学習された価値関数を用いてSMCを通じてサンプリングを制御することで、AMCは、GPU制約やAPI制限がある環境における、勾配ベースのRLに代わる実行可能な選択肢を提供する。

著者らは、AMCをGRPOの代替品としてではなく、GRPOが不可能な場合の「必要な代替案」として位置づけている。彼らは、この手法が、軽量かつ高容量な方策の間の性能差を縮小させつつ、大幅に低いコストで、プロプライエタリなエージェントの「原理に基づいた」最適化を可能にすることを強調している。本研究は、厳密なRLの概念がクローズドソースのエージェントにも適用可能であることを示唆しており、直接的な訓練が困難な最も有能な最先端モデルに対して、タスク固有のチューニングを行うための道を開くものである。