技術概要：VeriCache

問題定義

大規模言語モデル（LLM）のコンテキスト長が急速に拡大し（100 万トークン超）、キー・バリュー（KV）キャッシュのサイズにより推論サービングに深刻なボトルネックが生じています。このボトルネックは、以下の 2 つの形で現れます：

1. リクエスト内オーバーヘッド: デコーディングステップでは、GPU の高帯域幅メモリ（HBM）から KV キャッシュ全体を読み出す必要があり、コンテキスト長に比例して線形にスケールするメモリ帯域幅のボトルネックが発生します。また、大規模なキャッシュは GPU メモリに収まるバッチサイズを削減します。
2. リクエスト間オーバーヘッド: システムプロンプトなどの共有プレフィックスに対して事前計算された KV キャッシュを再利用する場合、ストレージやネットワークを介して大量のデータを転送する必要があり、これがリクエストのレイテンシを支配することが多いです。

これを解決するため、多数の KV キャッシュ圧縮手法（トークンドロップと量子化）が提案されています。しかし、これらの手法は本質的に損失を伴うものです。短い出力に対してはトークンレベルの指標（パープレキシティや F1 スコアなど）を保持するかもしれませんが、次のトークンの分布に系統的なバイアスを導入します。生成が進むにつれてこのバイアスが蓄積し、出力が完全な KV ベースラインから大きく乖離します。これにより、コード生成（構文エラー）やツール呼び出し（誤った引数）など、厳密な機能的正確性が求められるアプリケーションにおいて「壊滅的な失敗」が発生し、従来の圧縮手法はこれらの重要なタスクには不適切となります。

手法：VeriCache

VeriCache は、KV キャッシュ圧縮のスループット上の利点を達成しつつ、完全な KV デコーディングと同一の損失なし出力を保証するように設計された推論フレームワークです。これは、損失を伴う圧縮手法を直接的なサービングメカニズムではなく、speculative execution（試行実行）レイヤーとして再利用するものです。

核心アルゴリズム

VeriCache は、ドラフトしてから検証するループで動作します：

1. ドラフティング: モデルは圧縮 KV キャッシュ（$KV_{comp}$）を使用して、候補トークンの列（$x$）を生成します。このステップは高速でメモリ効率に優れています。
2. 検証: システムは完全 KV キャッシュ（$KV_{full}$）を使用して単一のフォワードパスを実行し、ドラフトされたトークンを並列に検証します。
3. 受諾: トークンは最初の不一致まで受諾されます。すべてのドラフトされたトークンが完全 KV の予測と一致する場合、追加の「ボーナス」トークンも受諾されます。このプロセスは、最後に受諾されたトークンから再開されます。

主要なシステム革新

検証オーバーヘッドが圧縮によるスループット向上を相殺しないよう、VeriCache は 2 つの重要なシステムレベルの設計を導入しています：

1. クロスリソースのステッパリング（P1）
従来の_speculative decoding_は、しばしばすべてのドラフト後にすべての検証を行うというロックステップで実行され、リソース競合を引き起こします。VeriCache は、ドラフティングと検証が補完的なリソースボトルネックを持つという事実を利用します：

• ドラフティングはGPU HBM 帯域幅束縛（圧縮 KV と重みの読み込み）です。
• 検証はインターコネクト帯域幅束縛（CPU/ストレージからの完全 KV の読み込み）および計算束縛です。
• メカニズム: ランタイムスケジューラはリクエストをステッパリングし、あるリクエストがドラフティング（HBM 使用）している間に、他のリクエストが検証（PCIe/ネットワーク経由での完全 KV 読み込み）を行うようにします。これにより、データ転送と計算をオーバーラップさせ、インターコネクトと GPU HBM の両方をストールさせることなく活用できます。

2. 高受諾率による検証期間の延長（P2）
従来の_speculative decoding_は、ドラフターとしてより小さく異なるモデルを使用するため（分布の急速な乖離と短い受諾長につながる）、VeriCache は圧縮 KV を用いた同一のターゲットモデルを使用します。

• モデルの重みと支配的なアテンションパターンが保持されているため、圧縮 KV ドラフターは、長いドラフト長（例：1 ラウンドあたり 25〜40 トークン、小規模モデルドラフターでは 2〜3 トークン）であっても高い受諾率を維持します。
• この高い受諾率により、高価な完全 KV 検証のコストが均質化され、システムは正確性を維持しつつ、より頻度の低い検証で済ませることができます。

アーキテクチャサポート

VeriCache は、2 つの主要なデプロイメントシナリオをサポートします：

• 長コンテキストデコーディング: 圧縮 KV は GPU HBM に存在し、完全 KV は CPU メモリに保存されます。検証には、PCIe リンクを介して CPU から GPU へ完全 KV を読み込むことが含まれます。
• リモートプレフィックスキャッシング: 圧縮 KV は低速なネットワークリンクを介してリモート GPU にストリーミングされ、ドラフティングが行われます。完全 KV は高速なローカルリンクを介してローカル GPU に読み込まれ、検証が行われます。これにより、低速なストレージ転送をリモート GPU の計算から分離できます。

このフレームワークは統一された圧縮インターフェースを公開しており、スケジューリングや検証ロジックを変更することなく、既存のトークンドロップおよび量子化手法（KVzip、KIVI、SnapKV など）と統合できます。

主要な貢献

1. 圧縮による損失なし推論: VeriCache は、本質的に損失を伴う KV 圧縮技術を使用して損失なしの LLM 推論を可能にする最初のフレームワークであり、完全 KV デコーディングとの出力同一性を保証します。
2. 検証オーバーヘッドのためのシステム設計: クロスリソースのステッパリングと検証期間の延長を導入し、完全 KV キャッシュの読み込みレイテンシを隠蔽することで、_speculative verification_に伴うスループット低下を解決します。
3. 統一インターフェース: 特定の圧縮器をハードワイアする以前のシステムとは異なり、トークンドロップと量子化の両方を含む広範な圧縮手法ファミリーをサポートする汎用インターフェースを提供します。
4. 二重シナリオサポート: 長コンテキストデコーディング（HBM ボトルネック）とリモートプレフィックスキャッシング（ネットワーク/ストレージボトルネック）の両方に対応します。

実験結果

Mistral-24B、Qwen-32B、Llama-70B などのモデルを、コード生成、ツール呼び出し、数学的推論などのさまざまなワークロードで評価しました：

• スループット: VeriCache は、長コンテキストデコーディングにおいて完全 KV 推論よりも最大4 倍高いスループットを達成し、リモートプレフィックスキャッシングでは最大2 倍を達成しました。
• 正確性: 貪欲デコーディング下では、完全 KV 推論と同一の出力を生成します。一方、損失を伴うベースラインは機能的精度の大幅な低下を被ります（例：ベースラインで 4 倍圧縮すると、コード構文の有効性はほぼゼロまで低下します）。
• 品質とスループットのトレードオフ: 損失を伴うベースラインは、より高い圧縮がより低い品質につながるトレードオフを強いるのに対し、VeriCache は圧縮推論のスループットレベルで動作しながら完全な品質を維持します。
• 構成: VeriCache は従来の_speculative decoding_（例：EAGLE）と組み合わせることができ、直交するボトルネック（圧縮によるバッチサイズ、小規模モデルドラフティングによるトークン速度）を攻撃することで、最大4.35 倍の理想的な速度向上を達成します。

意義

本論文は、高スループットな損失を伴う圧縮（機能的失敗のリスク）と低スループットな完全 KV 推論との間で選択するという現在の二項対立は不要であると主張しています。VeriCache は、圧縮は正確な計算を置き換えるものではなく、むしろそれを加速すべきであることを実証しています。同一モデルによる圧縮ドラフティングの高い受諾率と洗練されたリソースのステッパリングを活用することで、VeriCache は、これらのタスクに必要な機能的正確性を犠牲にすることなく、コーディングやエージェントワークフローなどの重要なアプリケーションに長コンテキスト LLM を展開することを可能にします。