技術的概要：検索拡張生成のためのグラウンデッドキャッシュルーティング

問題定義

現代の検索拡張生成（RAG）システムは、トークンコストと最初のトークンまでの時間（TTFT）を削減するため、キャッシュの活用をますます増やしています。接頭辞レベルのキー・バリュー（KV）の再利用や検索結果のキャッシュは、構成上、強い正しさの保証を持っていますが、出力レベルのセマンティックな回答キャッシュは依然として脆弱です。単純なセマンティックキャッシュは、主に以下の 3 つの失敗モードに陥ります：

1. 参照対象のシフト（Referent Shift）： 文脈に依存して、意味的に類似したクエリが異なる正しい回答にマッピングされる可能性があります。
2. 検索のドリフト（Retrieval Drift）： 基盤となるコーパスが更新されると、以前にキャッシュされた証拠が無効になったり変化したりする可能性があります。
3. 敵対的衝突（Adversarial Collision）： 悪意のある入力がキャッシュされた回答を乗っ取る可能性があり、評価されたシナリオでは報告された乗っ取り率が 86% に達しています。

現在のシステムは、回答をいかに速く再利用するか（how）を優先し、いつ再利用が安全か（when）という重要な問いを見落としています。本論文は、厳密な検証なしにセマンティックキャッシュを使用すると、ユーザーがキャッシュから誤った回答を受け取る「不安全提供率（Unsafe-Served Rate: USR）」が大幅に発生すると主張しています。

手法：GroundedCache

著者は、既存のサービングスタック（例：vLLM、RAGCache）の上にポリシー層として機能する、証拠検証型キャッシュルーターであるGroundedCacheを提案します。意味的に類似したクエリに対して盲目的にキャッシュされた回答を返すのではなく、GroundedCache は、4 つの特定の「ゲート」が同時に満たされている場合のみ、キャッシュされた回答を承認します。

4 つの検証ゲート

キャッシュされたエントリ $(q_c, a_c, \sigma_c)$ と新しいクエリ $(q, \sigma, C)$ が与えられたとき、ルーターは以下の 4 つの条件がすべて満たされる場合にのみ $a_c$ を承認します：

1. クエリ類似性（G1）： 新しいクエリ埋め込みとキャッシュされたクエリ埋め込み間のコサイン類似度が閾値（$\tau_q$）を超えていること。
2. 証拠の重なり（G2）： 新しい証拠署名（チャンクハッシュの集合）とキャッシュされた署名間のジャカード類似度が閾値（$\tau_e$）を超えていること。
3. ソースバージョンの妥当性（G3）： 新しい証拠とキャッシュされた証拠の間で共有されるチャンクが、同じソースバージョンタグを持っていること（コーパスが変更されていないことを保証）。
4. 証拠のサポート（G4）： キャッシュされた回答の内容トークンが、新たに取得された証拠によってカバーされていること。これは、デフォルトでは決定論的な語彙的重なりスコア、またはオプションで軽量なジャッジ LLM を通じて計算されます。

いずれかのゲートが失敗した場合、システムは標準的な RAG パイプラインにフォールバックします。これは、取得されたチャンクのクエリ条件付き圧縮 followed by 生成です。

ワークロードと指標

ヒット率だけでなくキャッシュの安全性をストレステストするために、著者は6 つのレジームからなるワークロードを合成しました：

• 完全一致と言い換え： benign な再利用シナリオ。
• ニアミス： 語彙的に類似したクエリだが、ゴールドドキュメントが重ならないもの。
• ドキュメントドリフト： ゴールドドキュメント内の数値トークンが変更され、キャッシュされた回答を無効化するクエリ。
• 長文共有ドキュメントと有界 KB CAG： 重複排除とコンテキスト内生成を有利にするシナリオ。

主要な評価指標は、不安全提供率（USR）であり、これはすべてのクエリの中で誤ったキャッシュ回答を受け取った割合として定義されます。これに、回答キャッシュヒット率（aHR）と条件付き偽ヒット率（FH）が補完されます。

主要な結果

実験は、vLLM によって提供される Qwen2.5-7B-Instruct を使用した 12,000 回の生成において、HotpotQAおよびmtRAGデータセットで行われました。

安全性の向上

• HotpotQA： GroundedCache は、単純なキャッシュが非ゼロのエラーを持っていたすべてのレジームにおいて、USR を**0.0%**に削減しました。例えば、「ドキュメントドリフト」レジームにおいて、単純なキャッシュの USR は 35.0% でしたが、GroundedCache は 0.0% を達成しました。
• mtRAG（マルチターン）： 参照対象のシフトにより、単純なキャッシュは USR が 26.0% から 51.5% の範囲で壊滅的な失敗を示しました。GroundedCache は USR を 1 桁以上削減し、「ドキュメントドリフト」レジームで**1.5%**を達成しました（誤ったキャッシュ回答が 34 倍減少）。
• アブレーション研究： **語彙的サポートゲート（G4）**は「負荷を支える」安全性メカニズムであることが特定されました。これを除去すると、HotpotQA で USR が約 0.125、mtRAG で約 0.118 増加しました。他のゲート（G1–G3）は、ほぼゼロのコストで防御の深さを提供しましたが、G4 が有効な場合、それらは主に冗長でした。

パフォーマンスとレイテンシ

• レイテンシ： GroundedCache 下でのエンドツーエンドの p50 レイテンシは、キャッシュなしの RAG ベースラインの1.04–1.07 倍の範囲内に留まりました。
• トレードオフ： 「サポートなし」バリアント（G4 を無効化）は 1.4–1.5 倍の高速化を提供しましたが、非ゼロの USR（0.125–0.182）を伴い、安全性と速度の間の調整可能なトレードオフを示しました。
• ヒット率： GroundedCache は安全性を確保するために生の回答キャッシュヒット率を削減しました（例：HotpotQA の完全一致で 0.41 から 0.04 に減少）が、検索キャッシュパスを活用することで、検索の節約を大幅に維持しました。

意義と主張

本論文は、キャッシュされた回答の再利用に関する正しい枠組みは、速度の最大化ではなく、不安全提供率の定量化と最小化であると主張しています。

• カーネルではなくポリシー： GroundedCache は、モデルサーバー、検索器、または埋め込みモデルの変更を必要とせず、既存のインフラ（vLLM APC、LMCache など）と組み合わせるポリシー層として提示されています。
• オペレーター向け指標： 著者は、ヒット率やレイテンシ alongside USR を報告することが、実務家が安全性と速度のトレードオフについて情報に基づいた意思決定を行うために不可欠であると論じています。
• 堅牢性： 新鮮な証拠とバージョンタグに対して検証を行うことで、このシステムは、単純なセマンティックキャッシュでは処理できない敵対的衝突やコーパスのドリフトを効果的に無力化します。

著者は、セマンティックな回答キャッシュは本質的に速度のために正しさを犠牲にするが、語彙的サポートゲートは、再利用が安全であることを保証する安価で決定論的なメカニズムを提供し、レイテンシの利点を維持しながら不安全提供率をほぼゼロに引き下げると結論付けています。