技術要約：拡散言語モデルのための自己増強型リトリーバル（SARDI）

問題提起

検索拡張生成（RAG）は、外部知識に基づいて大規模言語モデル（LLM）を接地させるために広く利用されています。しかし、支配的な自己回帰（AR）デコーディング・パラダイムには、RAGにおける2つの根本的な限界が存在します。

1. レイテンシ： AR生成はトークンを逐次的に放出するため、レイテンシが出力長に直接依存します。
2. リトリーバルの制約： ARモデルは、「確定した」左から右へのプレフィックスに基づいてしか情報を検索できません。マルチホップ質問回答（QA）において、これは決定的なボトルネックとなります。なぜなら、後の推論ステップに必要なエビデンスは、初期の質問には明示されていない「ブリッジ・エンティティ（架け橋となる実体）」に依存することが多いためです。静的なリトリーバルでは、モデルがブリッジ・エンティティを既に生成した後でなければ、そのエビデンスを見つけることができません。これでは、エラーを修正したり、生成を効果的にガイドしたりするためのタイミングとして遅すぎる場合があります。

拡散言語モデル（DLM）は並列デコーディング能力を提供しますが、既存のDLM向けRAGアプローチは、静的なシングルショットのリトリーバル・パラダイムに限定されており、拡散の軌跡（trajectory）が持つ独自の構造的利点を活用できていません。

手法：SARDI

著者らは、**自己増強型リトリーバル・ディフュージョン言語モデル（SARDI）**を提案します。これは、離散型DLMのデノイジング過程とリトリーバルを交互に組み合わせた、トレーニングフリーかつ動的なRAGフレームワークです。

コアメカニズム

SARDIは、DLMが全レスポンスを並列に洗練させ、すべてのトークン位置が最終的な出力として確定する前に、暫定的な予測と信頼度スコアを持つ一連の中間状態 $\{x_t\}$ を生成するという事実を活用します。

1. ルックアヘッド・リトリーバル（先読み検索）： 確定したプレフィックスを待たなければならないARモデルとは異なり、SARDIは現在のデノイジング状態からの投機的な低信頼度トークンを用いてリトリーカル・クエリを構築します。

   • 各デノイジングステップ $t$ において、モデルはすべてのマスクされた位置に対してトークンを予測します。
   • 信頼度 $c_i \geq \tau_q$ （クエリ閾値）を満たすトークンを抽出し、プロキシ・シーケンス $\tilde{x}_t$ を形成します。
   • リトリーバル・クエリは $s_t = q \parallel \text{Detokenize}(\tilde{x}_t)$ として構築され、元の質問と、立ち現れてきた中間レスポンスを結合します。
   • これにより、モデルがそのエンティティを最終出力として確定できるほど自信を持つ前に、「後のホップ」のエビデンス（例：ブリッジ・エンティティの場所）を検索することが可能になります。

2. 信頼度に基づくアンマスキング：

   • 信頼度 $c_i \geq \tau_c$ （コミット閾値、ここで $\tau_c \geq \tau_q$）を満たすトークンは、出力に確定されます。
   • もし $\tau_c$ を満たすトークンがない場合は、進捗を確保するために最も信頼度の高い単一のマスクされたトークンがアンマスクされます。
   • これにより、高信頼度でエビデンスに基づいたスパンが最初に確定し、不確かなスパンは次のリトリーバル・ラウンドからの洗練されたエビデンスを待つという、カリキュラムが作成されます。

3. 動的なエビデンス更新：

   • すべてのデノイジングステップにおいて、SARDIは更新されたクエリ $s_t$ に基づいて新しい $K$ 個のパッセージを新たに検索します。
   • 新しいエビデンス $D_{t-1}$ は以前のコンテキストを完全に置き換え、次のデノイジングステップを条件付けます。

主要な設計上の選択

• 閾値の分離： クエリ閾値（$\tau_q$）とコミット閾値（$\tau_c$）の分離が中心的な役割を果たします。$\tau_q \leq \tau_c$ （多くの場合 $\tau_q=0$）と設定することで、SARDIは、トークンが安定して確定するずっと前に、投機的なトークンをリトリーバーに露出させます。これは、リトリーバルがノイズの多いクエリに対して堅牢である一方で、誤ったトークンを確定させることは出力を損なうことになるため、安全な設計です。
• リトリーバーに依存しない： 本フレームワークは、疎な（BM25など）または密なリトリーバーのいずれでも動作します。
• トレーニングフリー： SARDIは学習済みのリトリーバル・コントローラーやクエリ生成器を必要としません。推論の痕跡（reasoning traces）を生成可能なあらゆる離散型DLMに対して、プラグアンドプレイのモジュールとして機能します。

主な貢献

1. ルックアヘッド・シグナル： 論文は、拡散の軌跡における破棄された低信頼度トークンが、リトリーバルのための貴重なシグナルとなり、ブリッジ・エンティティをAR生成よりも早く表面化させることを実証しています。
2. 並列デコーディングとの互換性： 著者らは、生成を検索されたエビデンスに基づかせることが、インター・トークン相互情報量（特にエンティティ・スパン）を鋭く減少させることを経験的に示しており、RAGがDLMの並列デコーディングの強みに特有によく適合する体制であることを示しています。
3. SARDIフレームワーク： 中間的な拡散状態に基づいてリトリーバルを条件付ける初めてのフレームワークであり、追加の学習なしに、デノイジングの軌跡全体を通じて動的なエビデンス更新を可能にします。

実験結果

著者らは、5つのマルチホップQAベンチマーク（2WikiMultiHopQA, HotpotQA, MuSiQue, CofCA, SynthWorlds-RM）でSARDIを評価しました。

• パフォーマンス： SARDIは、静的な拡散リトリーバル・ベースラインを大幅に上回りました。例えば、2WikiMultiHopQAにおいて、$\tau_c=0.95$ のとき、Exact Match (EM) を43.7%から59.1%へと向上させました。
• ARとの比較： SARDIは、すべてのトレーニングフリーな自己回帰ベースライン（FLAREやAdaptiveRAGを含む）と同等またはそれ以上の精度を実現しつつ、最大8倍の高いスループット（低いレイテンシ）で動作します。
• RLエージェントとの比較： SARDIは、強化学習を用いたエージェントであるSearch-R1と同等またはそれ以上の精度を達成していますが、強化学習や報酬設計を必要としないため、3〜8倍高速に動作します。
• アブレーション研究：
  • ルックアヘッド： 強力なルックアヘッド（$\tau_q=0$）が最高の精度をもたらし、投機的なトークンがリトリーバルを改善することを裏付けています。
  • 質問タイプ： 精度向上は、ブリッジ・エンティティを必要とするマルチホップ推論の質問に集中しており、シングルホップの質問ではほとんど変化が見られませんでした。
  • リトリーバー： 結果はBM25および密なリトリーバー（E5-base-v2）の両方で成立しています。
  • 更新頻度： 毎ステップ更新するのが最適ですが、2ステップごとに更新してもEMの低下はわずか1〜2%であり、コストの償却（amortization）の可能性を示唆しています。

意義と主張

本論文は、SARDIが「品質とレイテンシの境界」を切り拓くと主張しています。自身の生成の「未来を覗き見る」能力、およびエビデンスに基づいた際のトークン間の依存関係の減少という拡散モデルの構造的利点を活用することで、SARDIは、現在の自己回帰的アプローチよりも正確かつ大幅に高速な、動的なマルチホップ推論を可能にします。

著者らは、現在のメソッドがモデルによる推論の痕跡の生成に依存しており、小さなDLMにおいては軽量な教師あり微調整が必要になる可能性があると述べています。しかし、DLMが成熟するにつれ、この要件は減少していくでしょう。この研究は、デノイジングの軌跡が動的なリトリーバルのための自然なシグナルを提供することを示唆しており、SARDIを、知識集約的なタスクに対する堅牢でトレーニングフリーなソリューションとして位置付けています。