テクニカルサマリー：ストリーミングRAGにおけるツール・インテント安定化の特性評価

1. 問題提起

ストリーミング検索拡張生成（Streaming RAG）は、ユーザーの入力が完了する前、すなわち発話の進行中に並行してツールクエリを発行することで、ユーザーが感じる遅延（知覚遅延）を削減することを目指している。集約されたレイテンシの改善は報告されているが、このメカニズムの根本的な恩恵は**クエリ固有（query-intrinsic）*なものである。すなわち、正しいツールクエリがユーザーの発話またはタイピングの終了よりも前*に確定できる場合にのみ、予測によるレイテンシの勝利が得られる。

もしクエリにおける決定的な用語が遅れて到着する場合（例：「コンソールと呼ばれているのは、プレイステーションです」）、早期の予測では正しいエビデンスを検索できないため、レイテンシ削減の恩恵はゼロに崩壊する。逆に、決定的な用語が早期に到着する場合、ツール全体のレイテンシをユーザーの残りの入力時間の背後に隠すことができる。本論文は、この「ツール・インテントの安定化（tool-intent stabilization）」がいつ、どのようなクエリに対して発生するのか、そしてどれほどのレイテンシを理論的に隠蔽できるのかについての、原理的な理解が欠如しているという問題に取り組んでいる。

2. 手法

データとセットアップ

• ベンチマーク: 本研究では、1,371個の質問で構成されるCRAG（Comprehensive RAG Benchmark）のタスク1および2の検証セットを利用する。
• 検索: ウェブページを120単語のウィンドウで分割した、純粋なPython実装のレキシカルBM25リトリーバーを使用する。検索は、クエリのすべての単語接頭辞（$q_{1:t}$）に対して逐次的に行われる。
• ハードウェア/学習: 本分析はモデルに依存せず、モデルの学習を必要とせず、汎用的なCPUハードウェア上で実行される。

コア定義

本論文は、ツール・インテントの安定化を測定可能な量として定式化している：

• 自己整合性安定化（Self-Consistency Stabilization, $t_{sc}$）: 完全なクエリに至るまでのすべての後続の接頭辞において、トップ1の検索ドキュメントが一定に保たれる最小の接頭辞長 $t$。
• **充足性安定化（Sufficiency Stabilization, $t_{suf}$）: ** 正解となる回答を含むドキュメント（$d^*$）がトップ$k$の結果に現れる最小の接頭辞長 $t$。これはRAGにおいて運用上意味のある指標である。
• 安定化割合（Stabilization Fraction, $\phi$）: $t^*/n$（ここで $n$ は全クエリ長）として定義される。$\phi$ が低いほど、早期に安定化していることを示す。
• 隠蔽可能なレイテンシの上限（Hidden Latency Bound, $H$）: ツールレイテンシ（$L$）のうち、ユーザーの残りの入力時間の背後に隠すことができる部分に対する、モデルに依存しない境界値。
  $$H(Q; L, \delta) = \min\left(L, \max\left(0, \frac{n - t^*}{\delta}\right)\right)$$
  ここで $\delta$ は入力ケイデンス（単語/秒）である。$H$ は、特定のクエリに対して達成可能な最大レイテンシ節約量を表す。

実験設計

本研究は、4つの事前登録された研究課題（RQ）に対処する：

1. RQ1: クエリ全体における安定化割合（$\phi$）の分布はどのようになっているか？
2. RQ2: 様々なツールレイテンシ（$L$）、ケイデンス（$\delta$）、およびカバレッジ閾値（$\theta$）の下で、レイテンシ隠蔽を許容するクエリの割合はどの程度か？
3. RQ3: 理論的な $H$ 境界は、動作するストリーミング・パイプラインの性能と一致するか？
4. RQ4: どのクエリ特性（例：質問タイプ）が、早期または遅延の安定化を予測するか？

$H$ を検証するために、著者らは、先行研究（Arora et al., 2025）で報告されたレイテンシで較正された非同期ストリーミングRAGハーネス（Trigger, parallel Threads, Reflector）を通じて、質問のサブセットを再再生した。

3. 主な結果

安定化の分布（RQ1）

• 分岐する挙動: 自己整合性（$t_{sc}$）は遅れて安定化する（平均 $\phi_{sc} \approx 0.67$）。これは、レキシカルなトップ1の結果が、クエリがほぼ完了するまで頻繁に変化することを意味する。対照的に、充足性（$t_{suf}$）は非常に早期に安定化する。
• 早期の充足性: 正解となるパスが検索可能な質問のサブセット（全ベンチマークの21.3%）において、正解のエビデンスはトップ3の結果に平均 $\phi_{suf} = 0.26$（中央値 0.14）で出現する。
• 分布の形状: 分布は右に歪んでおり、仮説された二峰性分布ではなく、ゼロ付近に大きな質量が存在する。これは、多くのクエリにおいて、ユーザーがタイピングを終えるずっと前に正しいエビデンスが利用可能であることを示している。

レイテンシ隠蔽の可能性（RQ2）

• ストリーミング可能な割合: 現実的な動作点（$L=600$ ms, $\delta=3$ w/s, $\theta=0.8$）において、73.9% のクエリが、ツールレイテンシの少なくとも80%を隠蔽できる。
• 分解:
  • 「好ましいスライス」（正解が検索される21.3%のクエリ）においては、95.2% がストリーミング可能である。
  • 残りのクエリ（フォールバックとして $t_{sc}$ を使用）においては、68.1% がストリーミング可能である。
• ケイデンスの影響: 大きなツールレイテンシ（$L=1000$ ms）の場合、入力ケイデンスが遅い（例：4 w/s に対する 2 w/s）方が、逆説的にストリーミング可能な割合が増加する。これは、残りの入力時間が制約となるため、ツール呼び出しを隠すための時間をより多く確保できるからである。

パイプラインの検証（RQ3）

• 保守的な境界: 理論的な境界 $H$ は保守的である。動作するパイプラインでは、実現された節約量は、$L=600$ ms のとき平均 1,122 ms であった（境界値 590 ms に対して）。この超過は、パイプラインがLLMのクエリ生成ステップ（約590 ms）もオーバーラップさせていることに起因しており、$H$ はこれをモデル化していない。
• クエリごとの予測: 境界 $H$ は信頼できる集約的な境界であるが、パー・クエリの予測因子としては機能しない（Spearman $\rho \approx 0.12$）。これは、一定のクエリ生成オーバーラップが節約量を支配していること、および境界の底（$\max(0, \cdot)$）が誤作動（mis-fires）によるマイナスの節約量を表現できないためである。
• 誤作動（Mis-fires）: テストされたサブセットにおいて、誤作動（マイナスの節約）は稀（約1.7%）であり、これらは $H$ が最大である場合でも発生した。これは、早期発火トリガー下での「遅すぎる安定化」が主なリスクであることを示唆しており、必ずしも高い揮発性（$V$）によるものではない。

安定化の予測因子（RQ4）

• 質問タイプ: 質問タイプは、安定化時間に有意ではあるが粗い分割をもたらす（Kruskal–Wallis $p=0.017$）。
• エンティティの位置 vs 推論: 「単純なルックアップの方が複雑な推論よりも早期に安定する」という仮説に反して、データは**集計（aggregation）および比較（comparison）**の質問が最も早く安定化することを示している。これは、これらの質問がキーとなるエンティティを冒頭で名前挙げることが多いため、最終的な回答には事後の推論が必要であっても、回答を導くページ自体は早期に検索可能になるためである。
• 結論: 安定化は、推論の複雑さではなく、発話内におけるエンティティの位置によって支配される。

堅牢性

• グラウンディング: 緩和された「bag-of-content-token」グラウンディング手法を使用することで、グラウンダブル（根拠付け可能）な母集団が約1.5倍に増加した。平均 $\phi_{suf}$ の変化はわずか（0.26 から 0.281）であり、早期の充足性が厳密な文字列一致のアーティファクトではなく、堅牢な信号であることを裏付けている。
• Top-k の感度: $k$ を 1 から 5 に増やすと、検索率が向上し、$\phi_{suf}$ もわずかに低下したが、早期の充足性と遅い自己整合性の間のギャップは一貫していた。

4. 意義と主張

本論文の主要な貢献は、新しいシステムを構築することではなく、測定と分析である。ツール・インテントの安定化は、モデルに依存しないクエリ固有の量であり、あらゆるストリーミングRAGシステムが達成できる上限を定義するものであることを確立している。

• 原理的なトリガー設計: 学習済みの投機的トリガーにコストをかける価値があるかどうかを判断するための、学習を必要としない基準を提供している。これは、多くのクエリ（特にエンティティが早期に登場するもの）において、レイテンシを隠蔽するための「余地（headroom）」が存在することを示唆している。
• 境界の妥当性: 導出された境界 $H$ は、集約的な予測因子として保守的に有効であるが、一定のシステムオーバーヘッドや誤作動によるペナルティが存在するため、クエリごとの結果を予測するものではない。
• 限界: 著者らは、充足性の結果が好ましいサブセット（21.3%）に条件付けられていること、および現在のグラウンディングが文字列ベースであることを認めている。高密度な検索やより複雑なグラウンディングについては、今後の課題としている。

要約すると、本論文は、ストリーミングRAGがすべてのクエリに対して普遍的に有益であるわけではないものの、早期のインテント安定化が発生する「好ましい領域」は十分に一般的であり、トリガーがインテント安定化の理解に基づいて設計されている限り、そのアーキテクチャ上の複雑さを正当化できると主張している。