🤖 AI

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

本論文は、タスク解決と次なるツール呼び出しの予測を単一のモデル内で統合し、共同強化学習手法を用いることで、タスク性能を損なうことなく推論精度を大幅に向上させ、かつレイテンシを低減させる自己投機型エージェントフレームワークを導入するものである。

原著者： Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ミステリーを解決しようとしている超天才的な探偵だと想像してください。あなたには、手がかりを考え抜くことができる素晴らしい頭脳がありますが、最終的な答えを得るためには、図書室に本を調べてもらったり、気象予報士に予報を聞いたりするように、外部の世界にいくつかの質問をする必要があります。問題は、電話をかけるたびに、一度電話を切らなければならず、相手が電話に出く、答えを聞き、そして次の手がかりについて考える前に再び電話を切らなければならないということです。この「待ち時間」は、AIエージェント（複雑な問題を解決するためにツールを使用するコンピュータプログラム）にとって、巨大なボトルネックとなります。

これを解決するために、科学者たちは「投機（スペキュレーション）」というトリックを試してきました。これは、あなたが司書に質問を終える前に、次に何を尋ねようとしているかをサイドキック（相棒）が予測しておくようなものです。もしサイドキックの予想が当たれば、あなたが考えている間に司書が本を読み始め、あなたが質問した瞬間に答えが用意されている状態になります。しかし、ここには落とし穴があります。通常、サイドキックはあなたとは別の人間（より小さな、独立したAIモデル）であり、あなたの思考スタイルをあなたほどよく理解していません。彼らはしばしば予想を外したり、あるいは独自の特別なノートや電話を必要としたりして、余分なスペースやエネルギーを消費します。大きな疑問は、「探偵は、不器用なサイドキックを必要とせずに、自分自身の次の動きを完璧に予測することを学べるのか？」ということです。

この論文は、AIエージェントにまさにそれを教えるための、巧妙で新しい方法を紹介しています。研究者たちは、エージェントが次に何をするかを予測するのに最適な人物は、エージェント自身であることを見出しました。彼らは、単一のAIに「思考モード（実際のタスクを解決する）」と「推測モード（自身の次のツール呼び出しを予測する）」の間を切り替えるように訓練しました。彼らは、「共同エージェント・スペキュレータ強化学習（Joint Agent–Speculator RL）」と呼ばれる特別な訓練方法を用いました。これは、キャラクターがレベルをプレイすることと、次の敵の動きを予測することの両方を同時に練習するビデオゲームのようなものです。AIは、実際のゲームに勝ち続けることを忘れないようにしながら、自身の最近のゲームから学び、推測の精度を高めていきます。

結果は非常に有望です。この「自己推測」エージェントを、トリッキーな質問への回答検索や航空券の予約管理などのタスクでテストしたところ、AIは自身の次の動きを予測するのが非常に上手くなりました。40億パラメータを持つ特定のモデルであるQwen3-4Bでは、正しい次のツール呼び出しを推測する精度が44.1%から61.2%へと跳ね上がりました。より新しいバージョンであるQwen3.5-4Bでは、48.9%から66.3%になりました。決定的なのは、エージェントが推測に長けてなった一方で、実際のタスクを解く能力が低下しなかったことです。その成功率は安定しているか、あるいはわずかに向上しています。

また、論文は、より小さな別のAIモデルが優れた推測者であるという説を否定しています。彼らは「サイドキック」としてより小さなモデルをテストしましたが、それらはメインのエージェントのスタイルと一致しないため、しばしば間違えることがわかりました。また、別の推測者を使用すると、より多くのコンピュータメモリを必要とし、モデル間の切り替えに時間がかかるため、時間を節約するという目的自体が台無しになることも示しました。「考える者」と「推測する者」を同じ脳にすることで、システムはメモリを節約し、異なるコンピュータ間での切り替えによるラグを回避できるのです。

しかし、著者たちは、この手法は情報の検索やデータの照会といった「読み取り専用」のツールに対して最も効果的であることを注意深く指摘しています。もしツールが、注文を確定したりファイルを削除したりするように、現実世界の何かを変更するものである場合、予測を外すことは危険を伴う可能性があります。そのようなケースでは、システムには追加の安全チェックが必要になるでしょう。しかし、AIが情報を収集する必要がある大多数のタスクにおいて、この自己推測のトリックは、思考時間の中に待ち時間を隠し、AIの動作をより速く、より効率的にする方法を示唆しています。

技術要約：推論しながら投機する（Speculate While You Reason）

問題提起

大規模言語モデル（LLM）エージェントは、外部ツールの呼び出し結果（ウェブ検索、データベースクエリ、APIコールなど）を待機している間、多大なウォールクロック・レイテンシ（実時間遅延）に直面することがよくあります。有望な緩和策は、エージェントの推論と並行して、エージェントの次なるツール呼び出しを予測・事前実行する「ツール呼び出しの投機（tool-call speculation）」です。もし予測が最終的な呼び出しと完全に一致すれば、事前実行された結果を再利用できるため、レイテンシを隠蔽することが可能になります。

しかし、既存の投機手法には**投機器とエージェントの間のギャップ（speculator–agent gap）**という問題があります。現在のアプローチは以下のものに依存しています：

外部ドラフトモデル： 一般的なツール使用アシスタントを近似する小規模なLLMですが、デプロイされた特定のエージェントの挙動とは整合しません。
キャッシュされたトレース： ユーザーのクエリ、推論状態、または更新された環境とは異なる可能性のある、過去のツール呼び出しログ。

これらの手法はシステムオーバーヘッド（追加のモデル重み、個別のKVキャッシュ）を導入し、ターゲットエージェントが最終的に行うであろう「特定の次の構造化された呼び出し」を予測できないことが多く、投機の有用性を制限しています。

メソドロジー

本論文では、個別のパラメータやKVキャッシュを必要とせず、2つの異なるモードで動作するように訓練された単一のモデルである**自己投機型エージェント（Self-Speculating Agent）**を提案しています。

エージェント・モード： 推論、ツール呼び出し、観測、および最終回答を交互に繰り返してタスクを解決します。
投機器（Speculator）モード： 中間的な軌跡（trajectory）と固定された「投機用サフィックス（speculation suffix）」が与えられたとき、次の構造化されたツール呼び出し（ツール名と引数）を直接予測します。

共同エージェント–投機器強化学習（Joint Agent–Speculator RL）

タスク性能を低下させることなく、両方の目的のために単一のポリシー（ $\pi_\theta$ ）を訓練するために、著者らは**共同エージェント–投機器強化学習（Joint Agent–Speculator RL）**フレームワークを提案しています。

オンポリシー・データ生成： 投機のターゲットは、エージェント自身の現在のロールアウトから直接導出されます。サンプリングされた軌跡におけるすべてのツール呼び出しターン $t$ について、プレフィックス $h_t$ を用いて投機器の入力を構築し、エージェントの実際の次の呼び出し $a_t$ をグラウンドトゥルース（正解）のターゲットとして使用します。
報酬の定式化：
- エージェント報酬 ( $R_{ag}$ ): 最終的なタスクの成功（例：回答の正確性）に基づきます。
- 投機報酬 ( $R_{sp}$ ): 名前条件付きの引数報酬です。これはツール名の完全一致（ $R_{name}$ ）を要求し、引数辞書のマクロ・トークンF1スコア（ $R_{args}$ ）を計算します。最終的な報酬は積 $R_{sp} = R_{name} \cdot R_{args}$ となります。
交互最適化： 訓練はエージェントの更新と投機器の更新を交互に行います（例：4:8のスケジュール）。これにより、2つのモードが互いの最適化ランドスケープを妨害することを防ぎます。
安定化技術：
1. SFTウォームアップ： 成功した軌跡と投機例を混合した、事前の教師ありファインチューニング（SFT）フェーズにより、両方のモードにおいて整った振る舞いを確立します。
2. オプティマイザのリセット： 訓練スケジュールがエージェントから投機器のモードに切り替わるたびに、オプティマイザの状態をリセットし、一方の目的からのモメンタムの引き継ぎを防ぎます。
3. 反復へのペナルティ： エージェント報酬には、無意味なツールの繰り返し呼び出しに対するペナルティが含まれており、不生産的なループへの崩壊を防ぎます。

主な貢献

投機器–エージェント間のギャップの特定： 著者らは、市販の小型ドラフトモデルはターゲットエージェントの次なる呼び出しの分布と一致しないことが多い一方で、ターゲットエージェント自身が自身の振る舞いの強力な予測器であることを示しました。
自己投機型エージェント・アーキテクチャ： タスク解決モードと次なる呼び出し予測モードを切り替える、統一されたモデル設計であり、プレフィックスKVキャッシュを完全に再利用し、補助モデルや履歴トレースキャッシュの必要性を排除します。
共同エージェント–投機器強化学習： エージェント自身のロールアウトから投機ターゲットを導出し、更新を交互に行うことで、タスク解決性能を維持しながら投機精度を向上させる訓練手法です。

実験結果

本手法は、Qwen3-4BおよびQwen3.5-4Bバックボーンを用い、Agentic SearchQA（HotpotQA, MuSiQue, BrowseComp-Plus）およびConversational Tool-Use（ $\tau$ -bench Airline および Retail）タスクで評価されました。

投機性能： 共同RL手法は、Hit@1 スコア（ツール名と引数の完全一致）を大幅に向上させました。
- Qwen3-4B: SFTベースラインの44.1から61.2へ向上。
- Qwen3.5-4B: SFTベースラインの48.9から66.3へ向上。
- これらの結果は、外部の投機器（同ファミリーのより小さなモデル）や、自身の呼び出しを投機するようにプロンプトされたベースのエージェントを上回りました。
タスク性能： 決定的なことに、ダウンストリームタスクの成功率は安定しているか、わずかに向上しており（例：Qwen3-4Bのタスク成功率は26.6から27.7へ）、デュアルモード訓練がエージェントの主要なタスク解決能力を低下させていないことを裏付けています。
効率性： 自己投機は、2つ目のモデルの重みや個別のKVキャッシュを必要とせずにサービングオーバーヘッドを削減し、同時にプレフィックスキャッシュの再利用を維持しました。

意義と主張

本論文は、ツール呼び出しの投機をエージェント自体に組み込むことができると主張しています。エージェントと投機器を単一のモデル内に統合し、オンポリシーRLを通じて共同で訓練することで、外部ドラフトモデルに関連するシステムオーバーヘッドやアライメントの問題なしに、高精度な次なる呼び出しの予測を実現します。

著者らは、この研究を「投機的ツール使用（speculative tool use）」への第一歩として位置づけています。特に、誤った事前実行が安全に破棄できる読み取り専用ツール（検索、リトリーバル、データベースルックアップ）に適していると述べています。また、外部の状態を変化させるツール（注文を行うなど）については、ドライラン・モードやトランザクション・ロールバックのような追加のセーフガードが必要であることを認め、現在の評価が4B規模のモデルと特定のタスクファミリーに限定されていることも指摘しています。