技術要約：キャッシュ認識型プロンプト圧縮 (CAPC)

問題提起

現代の大規模言語モデル（LLM）のデプロイメントは、2つの異なるコスト削減プリミティブに依存しています。一つはプロンプト・キャッシュ（プレフィックスのKV状態を保存し、その後の読み取りに対して割引価格を適用する手法）、もう一つはプロンプト圧縮（入力のトークン数を削減する手法）です。歴史的に、これらの手法は別々の最適化技術として扱われてきました。しかし、プロンプト圧縮に関する既存の文献の多くは、**クエリ認識型（query-aware）**の手法、すなわち特定のクエリごとに固有の圧縮されたプレフィックスを生成する手法に依存しています。

この設計上の選択は、プレフィックスに厳格なキャッシュメカニズム（例：Anthropicのcache_control）と根本的な衝突を引き起こします。圧縮されたプレフィックスはクエリごとに変化するため、キャッシュキーが毎回無効化されてしまいます。その結果、システムは毎回、非割引の入力レートを全額支払うことになり、圧縮とキャッシュの両方による節約効果が事実上消失してしまいます。既存の文献では、理想的なキャッシュヒット率（$\rho = 1.0$）を想定することが多いですが、この仮定は現実世界のAPIにおける経済的実態、すなわちクエリ認識型の圧縮が負の投資収益率（ROI）をもたらし得るという事実を考慮できていません。

手法および経験的特性化

著者らは、経験的な測定、コストモデリング、およびアルゴリズム設計を組み合わせてこのギャップに対処しています。

1. Anthropic Sonnet 4.6 の経験的特性化

論文ではまず、制御された実験（$n=3$ 回の試行、総コスト 1.91ドル）を通じて、Anthropic の Sonnet 4.6 API のキャッシュ挙動を特性化しています。主な知見は以下の通りです：

• 2ティア構造: キャッシュは一様ではありません。3,500トークン付近に鋭い閾値が存在します。
  • ホット・ティア (< 3.5k tokens): ヒット率（$\rho$）は、30回の呼び出し後でも約0.83（具体的には2kトークンの場合は0.833）でプラトー（停滞）に達します。1.0ではありません。
  • 持続ティア (> 3.5k tokens): ヒット率は2回目の呼び出し以降、実質的に1.0となります。
• トークン厳格な無効化: キャッシュの無効化はトークンシーケンスに対して厳格です。わずかな変異（例：1文字の変化）であってもキャッシュミスを招きますが、前後の空白文字はトークナイザーによって正規化されます。
• 価格構造: APIは、キャッシュなしの入力（$p_{in}$）と比較して、キャッシュ書き込み（$c_w$）にはプレミアムを課し、キャッシュ読み取り（$c_r$）には大幅な割引を適用します。Sonnet 4.6 では、$c_w \approx 1.25 \times p_{in}$、 $c_r \approx 0.10 \times p_{in}$ となります。

2. コストモデリングとクロスオーバー分析

著者らは、4つの戦略に対する1コールあたりのコストモデルを導出しています：

• A (Vanilla): キャッシュなし、圧縮なし。
• B (Cache-only): フルプレフィックスをキャッシュ、圧縮なし。
• C (Query-aware Compression): クエリごとに圧縮、キャッシュなし（毎回キャッシュミスが発生）。
• D (CAPC): クエリ非依存型圧縮 ＋ キャッシング。

モデルは、キャッシュング（戦略B）のコストがクエリ認識型圧縮（戦略C）のコストと等しくなるクロスオーバー閾値（$\rho_{cross}$）を定義します：
$$\rho_{cross}(r) = \frac{c_w - p_{in}/r}{c_w - c_r}$$
この分析により、高い圧縮率（$r \ge 6$）の場合、キャッシュングがクエリ認識型圧縮に勝つために必要なヒット率は、Sonnet 4.6 のホット・ティアの経験的なプラトー（$\rho \approx 0.89$）を超えることが明らかになりました。したがって、現実的な条件下では、クエリ認識型圧縮の方が、単純なキャッシュングよりも安価になることが多いという、従来の常識に反する結果が得られました。

3. CAPC アルゴリズム

提案されるソリューションである**キャッシュ認識型プロンプト圧縮（CAPC）**は、以下の3つのコンポーネントを組み合わせたものです：

1. クエリ非依存型圧縮: 静的なドキュメントを一度だけ圧縮し（例：文章選択による）、固定されたプレフィックス $D'$ を生成することで、クエリを跨いでキャッシュキーが一定に保たれるようにします。
2. ティア保存型比率境界: 圧縮による過度な圧縮が、プレフィックスを「ホット・ティア」（$\rho < 1$ となる領域）に押し下げないよう、圧縮率 $r$ を $r_{max} = \lfloor |D| / 3500 \rfloor$ によって制限します。これにより、圧縮されたプレフィックスが持続ティア（$\rho \approx 1.0$）に留まることを保証します。
3. AdaptiveCacheBoundary: 進化するドキュメントに対して、バージョンの変化に伴う変異率に基づいて文の位置を STATIC（静的）、QUASI（準静的）、DYNAMIC（動的）に分類し、安定したプレフィックスのみをキャッシュするサブルーチンです。

主な結果

1. LongBench-v2 合成ベンチマーク

16の構成（4つのドキュメントサイズ $\times$ 4つの比率）において、CAPCは16/16ケースすべてで最も安価な戦略でした。

• 節約効果: キャッシュのみ（Cache-only）に対して平均49%、クエリ認識型圧縮に対して64%、バニラ（Vanilla）に対して**90%**の節約を実現しました。
• 品質: ティア保存型の比率において、CAPCは未圧縮のベースラインから0.05以内の品質を維持しました。
• クロスオーバーの検証: $r=6$ において、クエリ認識型圧縮は4/4の構成すべてでキャッシュのみよりも安価であり、クロスオーバーモデルの予測を裏付けました。

2. 本番環境での検証：エンタープライズ・ツール使用アシスタント

94kトークンの静的プレフィックス（システムプロンプト + 287個のMCPツール定義）を用いて検証を行いました。

• コスト削減: $r=3$ のCAPCは、バニラに対して51.7%のコスト削減を達成しました。
• 品質: ツール選択の品質は、キャッシュのみの結果と一致しました（0.700 vs 0.703）。
• 洞察: $r=3$ におけるクエリ認識型圧縮は、クエリに関連するツール定義を破棄してしまうため、ツール選択において実際には性能が悪化しました（0.603）。CAPCのクエリ非依存型のアプローチは、フルカタログを保持するため、ツール拡張型エージェントにおいてより優れた性能を発揮することを証明しました。
• 暗黙的キャッシュ: 本研究により、明示的なマーカーがなくても、Anthropicが大きな tools= 配列を暗黙的にキャッシュしていることが判明しました。これはバニラ戦略の明示的キャッシュの限界利益を減少させますが、CAPCの圧縮による利得を打ち消すものではありません。

3. 知識グラフ RAG (Graphify)

コードベースのインデックス作成（FastAPI および httpx リポジトリ）のための graphify と統合しました。

• アーキテクチャ: レイヤー1（キャッシュ済み、クエリ非依存）にはグラフのメタデータが含まれ、レイヤー2（クエリごと）はソースコードを取得します。
• パフォーマンス: CAPCは、"キャッシュすべて"（フルグラフスケルトン）と比較して、FastAPIで9.3倍、httpxで2.4倍のコスト削減を実現しつつ、安定した85%以上のキャッシュヒット率を維持しました。
• 品質: CAPCは、ネイティブの graphify クエリや埋め込みRAGのベースラインを上回り、特にモデルの事前知識が弱いコードベース（httpx）において、バニラに対して142%の品質向上を実現しました。

4. 公開ベンチマーク：$\tau$-Bench Retail

データベースの状態に基づく報酬（LLMジャッジなし）を用いた50の決定論的タスクで評価しました。

• 結果: CAPCは最も安価な戦略であり、バニラに対して**7.9%**の節約を実現しながら、バニラと全く同じタスク完了率（36/50）を達成しました（$z=0.00, p=1.00$）。
• クエリ認識型の負のROI: クエリ認識型圧縮は、バニラよりも40.1%高価であり、クエリ認識型の手法が公開ベンチマークにおいて負のROIを生む可能性があることを示す最初のプロダクション確認となりました。

意義と主張

本論文は、理想化された $\rho=1.0$ という仮定を超え、プロンプト・キャッシュの経済性を体系的に特性化した初めての研究であると主張しています。主な貢献は以下の通りです：

1. 経験的な現実: LLMのキャッシュが、特定のトークン閾値以下で非自明なヒット率のプラトーを持つ、2ティア構造であることを示したこと。
2. 理論的な逆転: 高い圧縮率においては、クエリ認識型圧縮が単純なキャッシュングよりも安価になることが多いことを証明し、従来の設計階層を逆転させたこと。
3. 実用的なアルゴリズム: クエリ非依存型圧縮を、明示的なキャッシュおよびティア保存制約と統合したCAPCを導入したこと。
4. プロダクションでの検証: 合成ベンチマーク、エンタープライズ・ツール使用エージェント、知識グラフRAGパイプライン、および公開決定論的ベンチマークを通じて、これらの知見を検証したこと。

著者らは、CAPCはインデクサー（graphify など）の代替ではなく、インデックスから派生したコンテキストをLLMに届ける際の経済的コストを最適化するための、補完的な「ラストマイル配送」レイヤーであると強調しています。本論文におけるすべての経験的研究の総コストは98.96ドルであり、これらの知見が modest なリソースで再現可能であることを示しています。