💬 NLP

LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG

LatentRAG は、エージェント型 RAG の推論と検索を離散言語空間から連続潜在空間へ移行させる新規フレームワークであり、明示的な多段階手法と同等の性能を維持しつつ、エンドツーエンドの共同最適化を可能にし、推論遅延を約 90% 削減します。

原著者： Yijia Zheng, Marcel Worring

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yijia Zheng, Marcel Worring

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

これは、LatentRAG論文を、日常的な比喩を用いた平易な言葉で解説したものです。

問題点：「考えすぎる」エージェント

あなたがインターネット上で答えを見つけるのを助ける、非常に賢くおしゃべりなアシスタント（AI）がいると想像してください。

従来の方法（Naive RAG）： あなたが質問をすると、アシスタントは 1 つの記事を掴んで答えを返します。これは速いですが、質問が複雑な場合、深く掘り下げなかったため、答えを間違えることがよくあります。
「エージェント的」な方法（現在の最先端）： 難しい質問に対処するために、アシスタントに「思考の帽子」を与えました。これで、答えを返す前に、アシスタントは紙の上に思考と検索クエリの長いリストを書き出します。
- 思考： 「レースの勝者を見つける必要がある」
- 行動： 「2016 年のレースの勝者は誰か？」と書く
- 検索： それをグーグルで検索する
- 思考： 「さて、その人の生年を見つける必要がある」
- 行動： 「1988 年に生まれたのは誰か？」と書く
- 検索： もう一度グーグルで検索する
- 答え： 「1988 年」

しかし、欠点があります： この「エージェント的」な方法は正しい答えを得るのに優れていますが、遅いのです。なぜなら、アシスタントは思考と検索クエリのすべての単語を、タイピストがキーを順に打つように、一つずつ書き出さなければならないからです。思考プロセスが長ければ長いほど、ユーザーは長く待たされます。この論文は、この「書き出し」フェーズが**総時間の約 90%**を占めていると指摘しています。

解決策：LatentRAG（「テレパシー」を使うアシスタント）

この論文の著者であるLatentRAGは、こう問いかけました。「もしアシスタントが実際に何かを書き出すことなく、思考し、検索できるならどうなるでしょうか？」

彼らは、アシスタントが紙の上（「言語空間」）ではなく、自らの脳内（彼らが「潜在空間」と呼ぶもの）で推論と検索計画を行うシステムを構築しました。

比喩：秘密の合図 vs 長い手紙

従来のエージェント的 RAG（長い手紙）： 司書に欲しい本を伝えるために、思考プロセスを説明する長く詳細な手紙を書かなければなりません。司書はその手紙全体を読み、それから棚に行きます。これには多くの時間がかかります。
LatentRAG（秘密の合図）： アシスタントと司書は秘密のコードを共有しています。アシスタントは手紙を書きません。代わりに、思考と検索クエリ全体を瞬時に伝える、単一の複雑な「信号」（潜在トークン）を送ります。司書はその信号を即座に理解し、本を持ってきます。

仕組み（魔法のような技）

1. 「静寂」モードでの思考
「X を検索する必要がある」といった言葉を生み出す代わりに、AI は隠れた数学的表現（「潜在トークン」）を生成します。これは、文章をタイプするのに数秒かかるのではなく、単一の瞬間（「フォワードパス」）で行われます。

結果： 「思考」部分がほぼ瞬時になります。

2. 翻訳機（潜在デコーディング）
あなたはこう尋ねるかもしれません。「AI が何も書いていないなら、どうやって何を考えているのかわかるのでしょうか？それはブラックボックスになりませんか？」
この論文は、並列潜在デコーディングと呼ばれる巧妙な機能を追加しています。

想像してください。AI がその秘密の信号を司書に送ります。
別の小さな「翻訳」モジュールが、検索が終わった後、その秘密の信号を即座に英語の言葉に翻訳できます。
面白い点： AI は検索を行うために言葉を書くのを待つ必要がなかったため、翻訳機はプロセス全体のすべての思考を、一つずつではなく、同時に（並列に）デコードできます。これにより、システムは「思考」を見たい場合でも高速のままです。

3. 司書の訓練
司書（検索エンジン）は通常、書かれたクエリを期待するため、この論文は司書にこれらの「秘密の信号」を直接理解させるよう教えています。書かれたクエリがそうであるように、信号が正しいドキュメントを指し示すことを保証するために、特別な訓練方法を使用します。

結果：速度 vs 賢さ

著者らは、この手法を複雑な雑学や多段階の論理パズルなどの 7 つの異なる難しい質問応答データセットでテストしました。

精度： LatentRAG は、遅くおしゃべりなエージェントと同じくらい賢いです。同じ割合で正しい答えを得ます。
速度： 90% 高速です。
- 従来の「思考する」エージェントが難しい質問に答えるのに5 秒かかる場合、LatentRAG は約0.5 秒で完了します。
- 「超賢いが遅い」と「速いが単純」の間のギャップを埋めます。

まとめ

LatentRAGとは、見つけたすべての手がかりについて日記の記述を書く探偵から、テレパシーを使う探偵へのアップグレードのようなものです。彼らは依然として謎を同じように解きますが、思考を書き出す時間を無駄にしないため、時間の数分の一でそれを完了します。もしあなたが本当に日記を見たいなら、彼らはテレパシーを即座に言葉に翻訳できますが、中核となる作業は高速で静かな領域で行われます。

重要な教訓： 複雑な推論を得るために速度を犠牲にする必要はありません。「思考」を可視化されたテキストから AI 内部の隠れた数学へと移動させることで、両方の利点を手に入れることができます。

技術的サマリー：LatentRAG

問題定義

従来の検索拡張生成（RAG）システムは、単一ステップの検索プロセスに依存することが多く、反復的な推論を必要とする複雑な質問には対応が困難です。一方、エージェンティック RAGは、大規模言語モデル（LLM）を検索エージェントとして活用し、中間思考や部分クエリを反復的に生成して情報を取得することでこの課題に対処しますが、このアプローチは著しい遅延をもたらします。

既存のエージェンティック RAG 手法（Search-R1、AutoRefine など）における主要なボトルネックは、自然言語の思考や部分クエリの自己回帰的、トークンごとの生成です。論文の分析が示す通り、これらの生成段階は推論全体の遅延の約 90% を占めており、エージェンティック RAG を単純な単一ステップ RAG よりも 15〜20 倍遅くしています。さらに、長いテキストシーケンスの明示的な生成は、効率的な並列化を妨げ、出力トークンの離散性により、LLM と検索モデルのエンドツーエンドの共同最適化を阻害します。

手法：LatentRAG

著者は、推論と検索の両方を離散的な言語空間から連続的な潜在空間へ移行させるLatentRAGを提案します。思考や部分クエリのための明示的な自然言語トークンを生成する代わりに、モデルは「潜在トークン」、すなわち特殊なプレースホルダートークンの最終層の隠れ状態を操作します。

中核コンポーネント

潜在生成:
- LLM には、思考用（<think1>...<thinkm>）および部分クエリ用（<query1>...<queryn>）の特殊トークンがプロンプトとして入力されます。
- プリフィル段階において、これらの特殊トークンは並列に処理されます。モデルはこれらのトークンの最終隠れ状態を抽出し、潜在思考（ $H^\tau_t$ ）および潜在部分クエリ（ $H^s_t$ ）トークンとして利用します。
- これにより、モデルは自己回帰的なテキスト生成に伴う逐次的なオーバーヘッドなしに内部計算を割り当てることができます。
潜在検索:
- 潜在トークンは LLM の出力空間に存在するため、軽量なプロジェクタモジュール（ $Proj_{ret}$ ）が、検索モデルの入力空間への橋渡しを行います。
- 投影された潜在部分クエリは、学習可能な密検索モデルに入力され、埋め込みを生成します。
- 学習目的: 各中間ステップに真のドキュメント注釈を必要とせずに、潜在部分クエリの埋め込みを自然言語部分クエリの検索行動と整合させるため、著者はKL 発散損失を導入します。この損失は、潜在部分クエリによって誘発されるドキュメント類似度分布と、参照（固定化された）自然言語部分クエリによって誘発される分布との間の発散を最小化します。これにより、LLM と検索モデルの完全な微分可能なエンドツーエンドの共同最適化が可能になります。
並列潜在デコード（オプション）:
- 潜在推論の「ブラックボックス」性を克服し、透明性を確保するため、並列デコードメカニズムが組み込まれています。
- プロジェクタモジュールは潜在トークンを LLM 入力空間へマッピングし、モデルが対応する自然言語の思考や部分クエリをデコードすることを可能にします。
- 重要なのは、潜在トークンが単一のフォワードパスで生成されるため、異なるステップにわたる思考や部分クエリの後のデコードを並列で実行でき、逐次的な自己回帰生成と比較してデコード遅延を大幅に削減できる点です。

主要な貢献

LatentRAG フレームワーク: 思考と部分クエリの明示的なトークンごとの生成に伴う遅延オーバーヘッドを排除し、推論と検索を完全に潜在空間内で実行する、新規のエージェンティック RAG システム。
潜在空間アライメント: KL 発散に基づく学習目的により、LLM の潜在部分クエリ表現を事前学習された密検索モデルと整合させます。これにより、エンドツーエンドの共同最適化が促進され、中間ステップでのデータ不足にもかかわらず、潜在トークンを効果的な検索クエリとして機能させることが可能になります。
並列デコードメカニズム: 透明性のために潜在トークンを自然言語へ翻訳する手法。このメカニズムは、複数の推論ステップにわたる並列デコードをサポートし、効率性と解釈性の間のトレードオフを提供しながら、明示的な手法に対する大幅な速度優位性を維持します。

実験結果

著者は、LatentRAG を、さまざまな検索モデルと LLM の規模を用いて 7 つのベンチマークデータセット（NQ、TriviaQA、PopQA、HotpotQA、2Wiki、Musique、Bamboogle）で評価しました。

性能: LatentRAG は、最先端の明示的エージェンティック RAG 手法（Search-R1、AutoRefine など）と同等の性能を達成し、相対的な性能差は概ね 5% 以内に収まります。
効率性: この手法は、明示的エージェンティック RAG ベースラインと比較して推論遅延を約**90%**削減します。
- 平均して、LatentRAG は遅延を約 5,000ms（Search-R1）から約 600ms に削減します。
- これにより、エージェンティック RAG の遅延は、従来の単一ステップ RAG（例：約 400〜500ms）と同等のレベルまで低下します。
スケーラビリティ: 効率性の向上は、異なるモデルサイズ（3B から 14B の LLM、0.6B から 8B の検索モデル） across して維持されます。LLM のサイズを拡大すると、より長いデコードシーケンスにより明示的手法の遅延が大幅に増加しますが、LatentRAG は効率性を維持します。
アブレーション研究: KL 発散検索目的は、コサイン損失や InfoNCE 損失よりも優れていることが示されました。事前学習された検索モデルまたは潜在デコード損失を除去すると性能が低下し、検索モデルからの帰納的バイアスとデコードによる正則化の必要性が確認されました。

意義と主張

本論文は、LatentRAG が、多段階エージェンティック RAG の高い性能と、単一ステップ RAG の効率性の間のギャップを成功裡に埋めたと主張しています。推論と検索を潜在空間へ移行させることで、このフレームワークは自己回帰的テキスト生成の計算的非効率性を回避しつつ、複雑な質問を分解する能力を維持します。

著者は、潜在推論が生成のみのタスクでは探求されてきたものの、エージェンティック RAG への適用はデータ不足や透明性に関する独自の課題をもたらすと強調しています。LatentRAG は、共同最適化戦略とオプションの並列デコードメカニズムを提案することでこれらに対処します。この研究は、人間向けのテキストベース検索エンジンからエージェント指向の埋め込みベース検索エンジンへの転換を示唆しており、大規模言語モデルの時代における情報探索エージェントにとってより効率的なパラダイムを提供します。著者は控えめに、現在の手法は既存のエージェントからの軌跡を用いた教師あり微調整（SFT）に依存しており、将来的な研究では強化学習を用いて検索ポリシーをさらに最適化できる可能性があると述べています。