💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

本論文は、推論ステップレベルで知識の欠落を検出することで大規模推論モデルの検索タイミングを最適化するフレームワーク「ReaLM-Retrieve」を導入し、標準的および固定間隔のアプローチと比較して不要な検索呼び出しを削減しつつ、回答精度と検索効率を大幅に向上させるものである。

原著者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

公開日 2026-04-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models（推論中の情報検索タイミング：大規模推論モデルのための適応的検索）」について、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：「図書館への訪問」のミスマッチ

あなたが複雑な謎を解こうとする天才的な探偵（大規模推論モデル）だと想像してください。あなたは思考をステップごとに書き留めるノートを持っています。しかし、証人の名前や出来事の日程など、特定の事実がわからないために、ときどき行き詰まることがあります。

従来の方法（標準的な RAG）：
現在、ほとんどのシステムは、あなたがノートに書き始める前に、本を山積みで手渡す司書の役割を果たします。あなたは本を読み、その後で謎全体を解こうとします。

欠点： 20 ページにわたる思考プロセスの途中で、ある詳細を思い出し忘れたために行き詰まった場合、戻って新しい本を頼むことはできません。初期に与えられた情報に縛られ続け、後続のステップには不十分であっても、それ以上は手に入れることができません。

新しい方法（ReaLM-Retrieve）：
この論文は、ReaLM-Retrieveと呼ばれるシステムを導入します。探偵は、すべての本を一度に受け取るのではなく、メモを書いている最中に、本当に必要なときだけ図書館へ足を運ぶことを許されます。

仕組み：3 つの魔法の道具

研究者たちは、この「思考の最中に行う図書館への旅」を完璧に機能させるために、3 つの主要な部分からなるシステムを構築しました。

1. 「自信チェック」（ステップレベルの不確実性）

探偵がノートの各段落の後に一時停止し、自分自身に問いかける様子を想像してください。「これは本当に知っているのか、それとも単に推測しているだけなのか？」

従来の方法は、すべての単語（頻繁すぎる）またはすべての文（硬すぎる）ごとにこれをチェックしていました。
ReaLM-Retrieveは、論理的なステップの時点でチェックします。「直前に一つの完全な思考を終えたか？次の論理的飛躍について不安を感じているか？」と問うのです。
探偵が「知識のギャップ」（不確実性）を感じた場合、システムはそれを検知します。これは、エンジンが回っているからといって点灯するのではなく、実際に燃料が必要になったときだけ点灯する「エンジン警告灯」のようなものです。

2. 「スマートな管理者」（学習された介入ポリシー）

探偵が不安を感じたからといって、毎回図書館へ駆け込むべきだとは限りません。単に深く考えているだけで、事実を見落としているわけではない場合もあるからです。

このシステムは、探偵の隣に座るスマートな管理者のように機能します。
管理者は「自信チェック」と事件の履歴を確認します。「よし、今まさにその特定の事実を調べる必要がある」と判断するか、「いや、考え続けろ、きっとわかるはずだ」と判断します。
また、探偵がまさに必要なページを得られるよう、司書（検索クエリ）に完璧な質問を書くのを手助けします。そうすれば、無関係な情報満載の本ではなく、必要なページだけを受け取ることができます。

3. 「高速配送」（効率的な統合）

図書館へ行くには時間がかかります。事実が必要になるたびに 5 分間立ち止まれば、プロセス全体が遅くなります。

研究者たちは高速配送サービスを構築しました。
探偵に本全体を渡すのではなく、必要な正確な段落だけを渡します（情報の圧縮）。
さらに「推測的」なトリックも使用します。「探偵が次に『パリ』に関する事実を必要とする可能性が高い」とシステムが判断すれば、探偵が現在の文を書いている間にその情報を取得します。必要になった瞬間、すでにそこにある状態です。
結果： このシステムは、古い方法よりも情報を取得する速度が3.2 倍速くなりました。

結果：より賢く、速く、安価に

チームは、多くの点を結びつけて答えを見つける必要がある 3 つの難しいパズルゲーム（MuSiQue、HotpotQA、2WikiMultiHopQA）でこれをテストしました。

より良い答え： システムは、従来の「一度にすべての本を取得する」方法よりも10% 多く正解しました。
少ない移動： 図書館への移動回数が47% 減少しました。従来の IRCoT 方法のように数文ごとに図書館をチェックするのではなく、絶対に必要なときだけ行くようにしました。
絶妙なバランス： 最も難しいパズル（4 つの論理ステップを必要とするもの）において、新しい方法は著しく優れていました。これは、頻繁でランダムな図書館への移動よりも、タイミングの適切で少ない移動の方が優れていることを証明しました。

論文からの実例

論文には、次のような質問の例が挙げられています。「ベルリンの壁が崩壊した年にベスト・ピクチャー賞を受賞した映画の監督は誰か？」

探偵の思考：
1. 「ベルリンの壁は 1989 年に崩壊した。」（自信あり、図書館への移動は不要）。
2. 「1989 年のベスト・ピクチャーは『ドライビング Miss デイジー』だ。」（自信あり、移動不要）。
3. 「監督は誰だ？」（ここで探偵はギャップを感じます。システムは図書館へ行くと指示します）。
4. システムは監督の名前を即座に取得します。
5. 探偵は答えを完成させます。
従来の方法： 探偵が 3 番のステップまで必要としなかった監督の名前を、最初から取得してしまいます。これにより時間が浪費され、さらに情報が早すぎたために探偵を混乱させる可能性があります。

まとめ

ReaLM-Retrieveは、AI モデルが始める前や頻繁に助けを求めるのではなく、行き詰まった瞬間に立ち止まって助けを求めることを教えます。これは、百科事典を開くタイミングを正確に知っているスマートなアシスタントのようなもので、時間を節約し、より良い結果をもたらします。

Guo、Wu、Yiu による論文「When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models」の詳細な技術的サマリーを以下に示す。

1. 問題定義

本論文は、DeepSeek-R1 や OpenAI o1 などの大規模推論モデル（LRM）と、従来の検索拡張生成（RAG）システムとの間の根本的な時間的ミスマッチに対処する。

ミスマッチ: 標準的な RAG は「検索してから生成する」というパラダイムに従い、推論開始前にコンテキストを注入する。しかし、LRM は多段階推論、自己検証、バックトラッキングを含む拡張された思考連鎖（12,000〜25,000 トークン）を生成する。知識の欠如はしばしば推論の途中で顕在化し、クエリ段階では予測できない。
既存の反復手法の限界: 現在の反復検索手法（例：IRCoT、FLARE）は、以下の理由により LRM には不適切である。
1. 粒度のミスマッチ: これらはトークンレベルまたは文レベルで検索をトリガーするが、LRM は推論ステップレベル（複数の文にまたがる論理単位）で動作する。
2. シグナルの欠如: トークン確率（FLARE）や内部注意状態（DRAGIN）に依存する手法は、これらの内部情報を公開しない「完了のみ」モデル（o1 など）では機能しない。
3. 効率性の崩壊: 固定間隔での検索（例：文のたびに）は、長い連鎖に対して過度にコストがかかり、大幅な遅延とトークンオーバーヘッドをもたらす。

2. 手法：ReaLM-Retrieve

著者らは、推論連鎖中に動的に検索を統合する推論認識型フレームワークReaLM-Retrieveを提案する。これは 3 つの中核コンポーネントから構成される。

A. 推論ステップのセグメンテーション

文レベルのセグメンテーションに代わり、システムは論理的な推論ステップを特定する。

メカニズム: 軽量な 3 層トランスフォーマー分類器が、談話マーカー（「したがって」、「しかし」など）、論理接続詞、トピックの転換（埋め込み類似性による）、および句読点に基づいてステップ境界を検出する。
トレーニング: DeepSeek-R1 からの人手による注釈付きトレースでトレーニングされ、境界特定において 94.2% の F1 スコアを達成する。これにより、システムはトークンのストリームではなく、離散的な論理単位としての推論連鎖を扱うことができる。

B. ステップレベルの不確実性検出（RSUS）

システムは、外部知識が必要かどうかを判断するために**推論ステップ不確実性スコア（RSUS）**を計算する。

複合スコア: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ （言語化された不確実性）: モデルに自信度（0〜100）を評価させる。完了のみモデルの場合、表面特徴とエンティティ数に基づいて学習された MLP プロキシがこれを推定する。
- $U_{ent}$ （エンティティエントロピー）: 検索コーパス内の固有名詞の曖昧さ/疎なカバレッジを測定する。高いエントロピーは、モデルが特定のエンティティに関する知識を欠いていることを示す。
- $U_{cons}$ （一貫性）: 現在のステップの複数のサンプリングされた継続間の合意度を測定する。
効率性: この計算は約 8% のオーバーヘッドのみを追加し、セマンティックエントロピーや自己一貫性サンプリングの莫大なコストを回避する。

C. 学習された介入ポリシーと効率的な統合

ポリシー（ $\pi$ ）: 文脈型バンディットモデルが、いつ検索を行うか、どのクエリを立案するか、そして証拠をどのように統合するかを決定する。これは REINFORCE によって訓練され、検索コスト（遅延と呼び出し数）にペナルティを課しつつ、回答の精度を最大化する。
クエリ立案: ポリシーは、現在のステップを単に繰り返すのではなく、情報ニーズを標的とした具体的なクエリ（例：「[エンティティ] の [概念] に対する関係は何か？」）を生成する。
効率性最適化:
- 暗黙的圧縮: 重要度閾値を超える検索ドキュメントからの文のみを保持し、コンテキストの拡張を 73% 削減する。
- 推測的キャッシング: 可能性の高い次のステップのクエリに対してドキュメントを並列にプリフェッチする。推測が的中した場合（ヒット率 37%）、検索遅延が排除される。
- KV キャッシュの保存: オープンウェイトモデルでは、変更されていないコンテキスト部分に対してキャッシュされたキー・バリュー状態を保持し、最初のトークンまでの時間を 2.1 倍短縮する。

3. 主な貢献

ステップレベルの粒度: 検索トリガーをトークン/文レベルから推論ステップレベルへ移行させ、LRM の論理構造と整合させる。
ブラックボックス対応の不確実性: トークン確率や内部注意状態へのアクセスを必要とせず、完了のみモデル（o1 など）で機能する RSUS を導入する。
効率性最適化された統合: 推測的キャッシングとコンテキスト圧縮を通じて、単純な統合と比較して検索ごとのオーバーヘッドを3.2 倍削減し、実用的な展開を可能にする。

4. 実験結果

DeepSeek-R1 および QwQ モデルを用いて、MuSiQue、HotpotQA、2WikiMultiHopQAで評価を行った。

精度: ReaLM-Retrieve は、標準的な RAG に対して平均10.1% の絶対的な F1 改善を達成し、最も強力な先行手法（ReARTeR）に対して**4.6%**の改善を達成した。
- MuSiQue（2〜4 ホップ推論）では、71.2% の F1を達成した（IRCoT は 65.4%）。
効率性:
- 呼び出し数の削減: 固定間隔アプローチと比較して検索呼び出しを**47%**削減（MuSiQue における IRCoT の 3.4 回に対し 1.8 回）。
- 遅延: IRCoT より1.33 倍、単純なインターリーブより1.50 倍低いエンドツーエンド遅延を達成。
- コスト: 推論連鎖の短縮（証拠が不確実性をより迅速に解決するため）により、出力トークンコストを 16% 削減。
検索品質: Recall@5 を 81.3%に改善（IRCoT は 72.6%）。システムが適切なタイミングでより良い証拠を検索することを証明している。
汎化性: ポリシーは異なるモデルアーキテクチャ（例：QwQ）にうまく汎化し、ベンチマーク間（HotpotQA で訓練、MuSiQue でテスト）でも最小限の性能低下で転移する。

5. 意義

パラダイムシフト: 本論文は、頻繁で固定間隔の検索よりも**「より少なく、より適切なタイミングでの検索」**が優れていることを実証する。これは、推論集約型タスクにおける精度と効率性のトレードオフに対する新たなパレートフロンティアを確立する。
スケーラビリティ: 推論ステップレベルで動作し、完了のみモデルをサポートすることで、このフレームワークは現在多くの RAG 研究がアクセスできない最も高性能なプロプライエタリ LLM（o1 など）にも適用可能である。
システム設計: 検索を静的な前処理ステップから、動的で適応的な推論パートナーへと移行させる、長期的推論タスクへの検索統合のための青写真を提供する。

結論として、ReaLM-Retrieve は LRM-RAG 統合における決定的なタイミングのミスマッチを解決し、計算コストを大幅に削減しながら最先端の精度を実現する。