💬 NLP

DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling

本論文は、ステップ監督と候補空間の複雑性という課題に対処するため、二重の価値モデルと階層的ビーム探索を用いて計画プロセスと検索プロセスを分離することにより、エージェント型 RAG を強化する新たなフレームワーク「DecoupleSearch」を提案する。

原著者： Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に厄介ななぞなぞ、例えば「グルチチェク・ハトゥンの義理の父は誰か？」といったものを解こうとしていると想像してください。あなたは非常に賢いアシスタント（AI）を持っていますが、そのアシスタントは知識が豊富である一方で、時折事実を捏造したり、行き詰まったりします。それを助けるために、あなたはアシスタントに事実を調べるための図書館カードを渡します。これを**検索拡張生成（RAG）**と呼びます。

しかし、この論文は、単に図書館カードを持っているだけでは不十分だと主張しています。アシスタントは、そのカードをどのように使うべきかを知る必要があります。ここで登場するのがエージェント型 RAGです。アシスタントは探偵のように振る舞い、調査を計画し、段階的に手がかりを探します。

問題は、この探偵がしばしば道に迷うことです。悪い調査計画を立てたり、間違った手がかりを探したりする可能性があります。この論文DecoupleSearchは、探偵が道に迷わないようにするための新しい訓練方法を提案しています。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 問題点：「全か無か」の探偵

従来のシステムでは、探偵は一度だけ計画を立て、一度だけ検索を行い、うまくいくことを願うだけでした。計画が少しずれていたり、検索結果が役に立たない本だったりすると、答え全体が間違ったものになってしまいます。これは、干し草の山から針を見つける際、たった一箇所しか見ないようなものです。

2. 解決策：「ダブルコーチ」システム

著者たちはDecoupleSearchと呼ばれるシステムを作成しました。これは、探偵のために二人の専門コーチを雇うようなものです。

計画コーチ：このコーチは計画のみを見ます。「このなぞなぞを解くための戦略は適切か？」
検索コーチ：このコーチは手がかりのみを見ます。「この本は現在の計画に実際に役立っているか？」

この二つの役割を分離することで、システムは検索を気にすることなく悪い計画を修正でき、その逆も可能になります。

3. 訓練：「練習トーナメント」（MCTS）

これらのコーチをどのように教育するのでしょうか？単に答えの鍵を見せるだけでは、その中間のステップが複雑なため不十分です。
代わりに、この論文では**モンテカルロ木探索（MCTS）**と呼ばれる手法を使用します。AI が同じレベルを数千回プレイするビデオゲームを想像してください。

異なる経路（計画）と検索を試みます。
時には勝ち（正解を得る）ますが、時には負けます。
各ゲームの終わりに、行われたすべての手を振り返ります。「その手は勝利につながったので良し、その手は行き止まりにつながったので悪し」と判断します。
各ステップに「スコア」を付けます。これにより、何が機能し何が機能しないかを示す巨大なマップが作成されます。

4. 推論：「剪定」プロセス

AI が実際にユーザーの質問に答える際、単に推測するわけではありません。階層的ビーム探索と呼ばれる手法を使用します。
特定の果実を見つけるために木を登っていると想像してください。

枝分かれ：各分岐点で、AI は一つの経路だけを選ぶわけではありません。複数の新しい枝（計画）を伸ばし、複数の異なる手がかりを検索します。
剪定：ここで計画コーチと検索コーチが介入します。彼らはすべての新しい枝を見ます。
- 計画コーチは言います。「この枝は有望だが、あの枝は行き止まりだ。行き止まりを切り落とせ。」
- 検索コーチは言います。「見つけたこの本は役に立たない。捨てろ。この本を保持せよ。」
結果：AI は最良の枝のみを保持し、残りを切り落とします。これを木の頂上（最終的な答え）に達するまで繰り返します。

なぜ機能するのか

この論文は、多段階の歴史なぞなぞなど、多くの難しい質問でこれをテストしました。その結果、以下が明らかになりました。

より良い計画が鍵：探偵の計画が悪ければ、どれだけ検索しても役立ちません。「計画コーチ」が極めて重要です。
小規模モデルも賢くなれる：この「剪定」技術を使用すれば、70 億パラメータ規模のような小さな AI モデルでも、はるかに大きく高価なモデルと同等のパフォーマンスを発揮できます。これは、よくコーチされた小さなチームが、コーチされていない巨大なチームに勝つようなものです。
競合他社を凌駕：このシステムは、計画と検索を分離していない、あるいはこの「練習トーナメント」訓練を使用していない他の手法よりも優れた性能を示しました。

まとめ

DecoupleSearchは、AI 探偵に二人の専門家コーチと練習シミュレーターを与えるようなものです。盲目的に推測するのではなく、AI は多くの経路を試み、シミュレーター内でその間違いから学び、実際の問題を解決する際には、悪いアイデアを積極的に切り捨て、最良のもののみを保持します。これにより、特に深く掘り下げる必要がある複雑な質問において、より正確な答えが得られるようになります。

技術的概要：DecoupleSearch

問題定義

検索拡張生成（RAG）システムは、ハルシネーションを軽減するために大規模言語モデル（LLM）を外部知識に接地させる上で不可欠となっています。しかし、標準的な RAG は、複雑な多段階推論タスクに対処するのが難しい静的ワークフローに依存する傾向があります。エージェント型 RAG は、自律的なエージェントを導入して反復的に計画と検索を行うことでこの課題に対処します。その潜在能力にもかかわらず、エージェント型 RAG は以下の 3 つの重要な課題に直面しています：

計画と検索の相互依存性: 推論プロセスの成功は、高品質な計画（必要な情報の特定）と正確な検索（その情報の取得）の両方に依存します。どちらの段階でも生じた誤りは伝播し、一方を他方なしで最適化することは困難です。
中間監督の欠如: ほとんどの RAG データセットは最終的な答えのみを提供し、中間推論ステップの質（生成された計画の有効性や取得されたドキュメントの関連性など）に関する明示的なフィードバックを提供していません。
指数関数的な探索空間: 計画と検索の候補空間は指数関数的に増大するため、蛮力的な探索を通じて最適な推論経路を特定することは計算コストが高くなります。

手法：DecoupleSearch

著者は、双方向価値モデル（計画価値モデルと検索価値モデル）を使用して計画と検索のプロセスを分離し、独立した最適化を可能にするフレームワークDecoupleSearchを提案します。この手法は以下の 3 つの主要フェーズで構成されます：

1. MCTS アノテーション（トレーニングデータ構築）

中間監督の欠如に対処するため、著者はトレーニングクエリに対する推論木を構築するために**モンテカルロ木探索（MCTS）**を採用します。

プロセス: LLM をエージェントとして機能させ、計画と検索クエリを生成し、検索器と対話して木を拡張します。
評価: シミュレーション中、LLM は判定者として機能し、計画ステップと検索ステップの両方に報酬スコア（-1 から 1）を割り当てます。終端ノードは、最終的な答えの正誤に基づいて報酬を受け取ります。
逆伝播: 報酬は木全体に逆伝播され、ノードの値と訪問回数が更新されます。これにより、高品質（正解）と低品質（不正解）の推論経路のデータセットが作成されます。

2. モデルトレーニング

このフレームワークは、事前学習済み LLM から初期化された共有バックボーン方策モデル（ $\pi_\theta$ ）を利用します。

アーキテクチャ: バックボーンに 2 つの補助的な線形層（Tanh 活性化付き）を追加し、計画価値モデル（ $V_\phi$ ）と検索価値モデル（ $V_\psi$ ）を導出します。この設計により、パラメータ効率性と共同最適化が保証されます。
損失関数: マルチタスク損失が適用されます：
- 方策損失: トークン予測を誘導するために、正解の解決経路に対する負の対数尤度。
- 価値損失: 計画ステップと検索ステップの両方において、すべての経路で予測された値と MCTS から導出された報酬との間の平均二乗誤差（MSE）。

3. 推論：階層的ビームサーチ

推論中、システムは指数関数的な探索空間を効率的にナビゲートするために階層的ビームサーチアルゴリズムを採用します。

分離された探索: 各ステップで、方策モデルは複数の候補計画を生成します。計画価値モデルがこれらを評価・剪定し、最も有望なもののみを保持します。
検索の接地: 選択された計画に基づき、方策は複数の検索クエリを生成します。検索価値モデルが取得されたドキュメントを評価し、価値の低い結果を剪定します。
反復: この反復的な洗練は、最大深さに達するか、拡張可能なノードがなくなるまで続きます。最終的な答えは、計画モデルによって割り当てられた最高値に基づいて選択されます。

主要な貢献

分離されたフレームワーク: 計画と検索の最適化を双方向価値モデルを通じて分離する DecoupleSearch の導入。これにより、推論ロジックと検索接地の独立した洗練が可能になります。
MCTS 駆動の監督: MCTS を用いて推論木にステップレベルの報酬を付与することで、エージェント型 RAG に対する中間監督信号を生成する新たなアプローチ。最終答えのみを対象としたデータセットの限界を克服します。
効率的な探索戦略: 双方向価値モデルを活用して指数関数的な候補空間を剪定し、探索と計算コストのバランスを取る階層的ビームサーチの提案。
実証的検証: さまざまな方策モデルサイズ（7B および 14B パラメータ）および多様な QA データセットにおける、本手法の有効性を示す広範な実験。

実験結果

この手法は、5 つのデータセット（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle（マルチホップ）、TriviaQA（シングルホップ））で評価されました。使用された方策モデルはQwen2.5-7B-InstructおよびQwen2.5-14B-Instructです。

性能向上: DecoupleSearch はすべてのデータセットで最先端の結果を達成しました。7B モデルでは、最高性能のベースラインに対して25.8% の相対平均改善を示しました。
比較: 従来のプロンプト手法（Direct、CoT）、高度な RAG 手法（Iterative、Judge-then-retrieve）、その他のエージェント型 RAG ベースライン（RAgent、Search-o1、GreedyAgent）を上回りました。
スケーリング: 大規模モデル（14B）が一般的に良好な性能を示しましたが、階層的ビームサーチにより、7B モデルは 14B モデルと同等の性能を達成できました。これは推論時スケーリングの有効性を浮き彫りにしています。
アブレーション研究:
- 計画または検索の拡張のいずれかを除去すると性能が低下し、計画の拡張がより重要であることが示されました。
- 価値モデルは不可欠であることが証明されました。価値に基づくランキングをランダムな選択に置き換えると、特に検索拡張において性能が大幅に低下しました。
- 最適な性能は、計画拡張サイズが約 3 の場合に観察され、検索拡張サイズは大きいほど一般的に良い結果をもたらしました。

意義と主張

本論文は、DecoupleSearch が、計画と検索を独立したものの相互に関連する最適化問題として扱うことで、現在のエージェント型 RAG システムの根本的な限界に対処していると主張しています。これらのプロセスを分離し、MCTS を用いて高品質な中間監督を生成することで、このフレームワークは LLM が複雑な推論タスクをより効果的にナビゲートすることを可能にします。

著者は、パラメータのスケーリングにのみ依存するのではなく、構造化された推論戦略（階層的ビームサーチ）を通じて、より小さなモデルがより大きなモデルと競合できることを強調しています。この研究は、厳密な検索接地による「ハルシネーション」問題の軽減と、価値誘導型探索による「計画」問題の解決を通じて、知識集約型タスクにおける自律エージェントの信頼性と精度を向上させるための堅牢な手法を提供します。

著者は、MCTS アノテーションの計算コストと、各ステップで単一の最良経路のみを保持することに焦点を当てているという限界を認めており、複数の経路の保持の探索は今後の課題として残されています。