論文サマリー：Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

この論文は、従来の RAG（Retrieval-Augmented Generation）が抱える「トークンコストの増大」という課題に対し、事前計算された KV キャッシュ（Key-Value Cache）を直接注入することで、ゼロ・トークンコストで知識を伝達する新しい手法「Knowledge Packs」を提案しています。また、KV キャッシュの値（Value）空間を操作することで、モデルの挙動を制御する「ベアリング（Steering）」機能も実証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

• RAG の非効率性: 従来の RAG は、検索したテキストをプロンプトに挿入して知識を伝達します。単一の検索は安価ですが、エージェントが複数回検索を行う場合、事実情報のみで 700 トークン以上を消費し、コンテキスト予算を圧迫します（線形なコスト増大）。
• 既存研究の課題: 以前の研究では「KV キャッシュ注入が RAG より優れている」という報告がありましたが、本論文はそれがチャットテンプレート（Chat Template）のフォーマット不備によるアーティファクト（人工的な差）であることを指摘しています。正しいフォーマットで比較すると、精度は同等であることが示されました。

2. 提案手法：Knowledge Packs

2.1 KV キャッシュ注入と KV-Prefix 等価性

• 基本概念: デコーダ専用トランスフォーマーにおいて、因果的アテンション（Causal Masking）の性質上、事実テキスト $F$ 単独で前方伝播させた KV キャッシュは、$F$ とクエリ $q$ を連結したテキスト $F \circ q$ を一度に処理した場合の $F$ 部分の KV エントリとビット単位で同一になります（KV-Prefix Equivalence）。
• 実装フロー:
  1. オフライン（書き込み）: 事実文をモデル固有のチャットテンプレート（例：<|system|>...）でフォーマットし、事前計算して KV キャッシュを保存します。
  2. オンライン（読み込み）: クエリ $q$ に対して、事前計算した KV キャッシュを past_key_values として注入し、生成を開始します。
• メリット: 事実テキストがプロンプトに含まれないため、トークンコストが O(1)（質問文のみ）となり、最大 95% のトークン削減が可能です。

2.2 重要な要件：チャットテンプレートの完全性

• 指令調整済みモデル（Instruction-tuned models）は、入力開始に特殊トークン（例：Qwen の <|system|> や Llama の <|start_header_id|>）を強く依存しています。
• 発見: KV キャッシュを生成する際、このテンプレートを含めず生テキスト（Raw Text）のまま処理すると、精度が 6〜7 ポイント低下します。これは、モデルが「指示モード」と「通常モード」を区別するスイッチとして特殊トークンを利用しているためです。
• 以前の「KV > RAG」という報告は、RAG 側は正しくフォーマットされ、KV 側は生テキストで評価されていたことが原因である可能性が高いと結論付けています。

2.3 スケーリングと構成

• Banked Routing: 大量の事実（5,000 件以上）を扱うため、BGE 埋め込みを用いた k-means クラスタリングで「バンク」に分割し、クエリ時に最寄りのバンクからトップ事実の KV を再計算（Lazy Recompute）する方式を採用。
• KV 合成: 独立して構築された複数の KV キャッシュを連結する際、単純な連結では RoPE（Rotary Positional Embedding）の位置情報が破綻します。本手法では、B のキャッシュを A の KV をプレフィックスとして処理することで、位置を連続させる「逐次合成」を実現しています。

3. 新たな機能：値空間での挙動制御（Value-Space Steering）

KV キャッシュは単なる知識の保存ではなく、モデル内部状態への「書き込み」も可能にします。

• キーと値の非対称性: RoPE によりキー（Key）は位置情報で回転するため、キーへの算術演算は整合性を破壊します。一方、値（Value）は回転しないため、算術演算が可能です。
• コントラスト的な V-デルタ: 「良い（防御的）」と「悪い（不備な）」コード例のペアから KV キャッシュを生成し、その値の差分（$\Delta V = V_{good} - V_{bad}$）をベース KV に加算します。
  • $V_{steered} = V_{base} + \alpha \cdot \Delta V$
• 効果:
  • 層の局在化: 制御効果は**中層（33%〜66%）**に集中しており、全層を操作しなくても同様の効果が得られます。
  • 直交性: 「防御的コーディング」と「ドキュメント記述」という異なる方向性のベクトルはほぼ直交（Cosine similarity $\approx 0$）しており、同時に適用しても干渉しません。
  • ゼロコスト: 制御ベクトルはキャッシュ構築時に一度計算するだけで、推論時の追加コストは発生しません。

4. 実験結果

4.1 知識伝達の精度（HotpotQA ベンチマーク）

• Qwen3-8B と Llama-3.1-8B において、700 問の比較でゼロの不一致（Byte-identical outputs）を確認。
• トークン削減: 5 段階の検索ステップにおいて、RAG は 700 トークン以上消費するのに対し、KV 注入は質問文のみ（約 35 トークン）で済み、95% の削減を達成。
• フォーマットの影響: テンプレートなし（Raw）の場合、Qwen で 6.0pp、Llama で 5.5pp の精度低下が発生。

4.2 挙動制御の効果

• コーディングタスク: 防御的コーディングのスコアを、ベースライン（0.60）から 1.93（Qwen）まで向上させました（テキスト提示の約半分程度の効果）。
• 双チャンネル動作: 知識伝達（全層 KV）と挙動制御（中層 V-デルタ）を同時に適用可能。$\alpha \le 0.7$ の範囲では、事実精度を維持しつつ、フォーマルさや詳細さを向上させることが確認されました。

5. 主要な貢献と意義

1. 理論的証明と実証: 「KV-Prefix 等価性」を理論的に証明し、700 問のテストで実証。同時に、チャットテンプレートフォーマットが精度に決定的な影響を与えることを明らかにし、既存研究の誤解を解きました。
2. ゼロ・トークン知識伝達: 検索回数が増加してもトークンコストが一定に留まるため、長文脈やマルチステップエージェントワークフローにおいて、コンテキスト制限を回避する画期的な解決策となります。
3. 新しい制御パラダイム: 重み変更や追加学習なしに、KV キャッシュの値空間を操作することでモデルの「スタイル」や「挙動」を制御可能であることを示しました。特に、RoPE による K/V の非対称性が制御の鍵となることを発見しました。
4. 実用性の高さと限界:
   • 長所: 学習不要、重み変更不要、推論コスト削減。
   • 限界: KV キャッシュはモデルアーキテクチャに依存するため他モデルへ移植不可。挙動制御の効果はテキスト提示の半分程度。双チャンネル運用時には制御強度（$\alpha$）を制限する必要がある。

結論

「Knowledge Packs」は、RAG の非効率性を解消する損失のない最適化であり、同時に KV キャッシュを介したモデル内部状態の直接操作という新たな可能性を開く研究です。特に、チャットテンプレートの厳密な扱いが精度を左右するという知見は、今後の KV キャッシュ関連研究において必須の考慮事項となります。