技術要約：推論モデルのための価値認識型確率的KVキャッシュ・エビクション（VASE）

1. 問題提起

推論モデル（Qwen3、OpenAIのo1など）は、最終的な回答を生成する前に長い思考の連鎖（Chain of Thought）を生成することで、高い精度を実現しています。しかし、この能力はデコーディング・フェーズにおける重大なメモリおよび計算上のボトルネックを生み出します。シーケンス長が増加するにつれ、過去のすべてのトークンの表現を保存するために必要なKey-Value（KV）キャッシュは、膨大なオーバーヘッドを伴います。

既存の解決策は、以下の2つのカテゴリーに分類されます：

• 選択ベースの手法（Selection-based methods）： フルKVキャッシュを保持したまま、アテンション計算中に一部のトークンのみを活性化させます。これらは高精度ですが、メモリ・フットプリントはシーケンス長に対して線形（$O(T)$）にスケールするため、メモリ・ボトルネックの解決には至りません。
• エビクション（破棄）ベースの手法（Eviction-based methods）： 事前に定義された予算（Budget）に達した場合、重要度の低いKVペアを恒久的に破棄します。これにより、静的なメモリ・フットプリントと優れたスループットを提供します。しかし、現在のエビクション手法は、選択ベースの手法と比較して推論タスクにおける精度低下が著しく、モデルが反復的な推論ループに陥ったり、意味不明な出力を生成したりする原因となることがよくあります。

本論文は、現在のエビクション戦略が、2つの決定的な要因を考慮できていないことを指摘しています：**大きな値の大きさを持つ値状態（Large-magnitude value states）の不釣り合いな影響力と、保持されるトークンの確率的な多様性（Stochastic diversity）**の必要性です。

2. メソドロジー：VASE

著者らは、効率性と精度のギャップを埋めるために設計された、トレーニング不要のエビクション・フレームワークであるValue-Aware Stochastic KV Cache Eviction (VASE) を提案しています。VASEは、周期的なエビクション・フレームワーク（永続的な予算 $K$ と直近のバッファ $B$ を使用）内で動作し、2つのコア・メカニズムを導入しています。

A. 大きな値の大きさを持つ値状態の保護

著者らは、推論モデルにおける値状態（Value states）が強く歪んだ分布を示し、ごく一部のトークンが異常に大きなベクトル強度（$Range(v) = \max(v) - \min(v)$ で測定）を持つことを観察しました。

• 知見： これらの高強度の値をエビクションすると、壊滅的な精度の崩壊（例：GSM8Kにおいて約88%から14%への低下）を引き起こし、モデルが結論に達することなく文脈を延々と再検討し続ける反復ループを誘発します。
• メカニズム： VASEは、特定のトークン予算（$N_v$）を、値の強度が最大の $N_v$ 個のトークンを無条件に保持するために確保します。これにより、最も影響力のある値ベクトルが破棄されないようにします。

B. 確率性の導入

現在のエビクション手法は、多くの場合決定論的なトップ-$k$ 選択を使用しており、これが保持されるキャッシュの多様性の欠如につながることがあります。

• 知見： 確率性を導入することで、フルコンテキストのより代表的なカバレッジを確保し、精度を向上させることができます。
• メカニズム： 決定論的にスコアの高いトークンを選択する代わりに、VASEは重み付き確率サンプリングを採用します。
  • VASE-AttnV： 値の大きさに基づく予約と、アテンション・スコア（SnapKVから派生）に基づく確率サンプリングを組み合わせます。
  • VASE-DKV： CUR行列分解のレバレッジ・スコアを使用するCurDKVの手法を適応させ、エビクション・ステップごとにガウス投影行列 $G$ を再サンプリングします。これにより、特定の表現を持つトークンが常に低いスコアを割り当てられ、恒久的にエビクションされることを防ぎます。

3. 主な貢献

1. 決定的な要因の特定： 本論文は、(1) 大きな値の大きさを持つ値状態が推論の進行を維持し、反復ループを防ぐために極めて重要であること、および (2) エビクション決定における確率性が、キャッシュの多様性を高めることで精度を大幅に向上させることを確立しました。
2. VASEフレームワーク： 値の状態の大きさの保護と確率的サンプリングを統合した、新しいトレーニング不要のエビクション・レシピです。これは、キーベースのスコアリング、値ベースのスコアリング、および多様性の促進を組み合わせた初めてのエビクション手法です。
3. 量子化との関連性： 著者らは、大きな範囲の値状態が、トークンごとのKVキャッシュ量子化における再構成誤差の主要な原因でもあることを示しており、VASEの知見が他の圧縮技術にも一般化できることを示唆しています。

4. 実験結果

著者らは、Qwen3-4B および Qwen3-14B において、6つの推論タスク（AIME25/26, HMMT25, GPQA-Diamond, MATH, LiveCodeBench-v6）に対し、4倍のKVキャッシュ圧縮率でVASEを評価しました。

• 選択手法に対する精度： VASE-AttnVは、両方のモデルサイズにおいて、静的なメモリ・フットプリントを維持しながら、最強の選択ベースの手法（SeerAttention-R）よりも高い平均精度を達成しました。
  • Qwen3-4B： VASE-AttnV (59.09%) は、SeerAttention-R (58.81%) および最強のエビクション・ベースラインである R-KV (54.69%) を4.4%上回りました。
  • Qwen3-14B： VASE-AttnV (65.81%) は、SeerAttention-R (65.37%) と同等の性能を示し、R-KV (60.90%) を4.9%上回りました。
• アブレーション研究：
  • 値の意識（Value Awareness）： 大きな値の大きさを持つスロットを確保することで、GSM8Kの精度がベースラインと比較して最大16.2%向上しました。
  • 確率性（Stochasticity）： CurDKVに確率的サンプリングを追加することで、Qwen3-14Bの精度が9.2%向上しました。
• 効率性： VASE-DKVは、最も高いスループット（16Kトークン時においてフルモデル・ベースラインより3.1倍高速）と、テストされた全手法の中で最も低いピークメモリ使用量を達成しました。
• コード生成： LiveCodeBenchにおいて、VASE手法は、ドメインシフトに苦戦した選択ベースのSeerAttention-Rを大幅に上回りました。

5. 意義と主張

本論文は、VASEが、歴史的にエビクション手法を悩ませてきた「効率性と精度の間のギャップ」を正常に埋めたと主張しています。値の大きさを持つ状態を優先し、確率性を導入することで、VASEはフルキャッシュや選択ベースのアプローチに伴う精度低下を招くことなく、静的なメモリ・フットプリントでの推論モデルの運用を可能にします。

著者らは、値の状態の大きさの重要性に関する知見が、エビクションを超えて、特に大きな範囲の値が誤差の主要な原因となるKVキャッシュ量子化に対しても広い意味を持つことを強調しています。彼らは、将来のメモリ効率の高い推論手法が、これらの重要な高強度状態を保護する混合精度アプローチを検討すべきであることを示唆しています。

最終的に、VASEはFlashAttention2をサポートし、長い思考の連鎖を持つ推論モデルのスケール可能な推論を可能にする、シンプルで効果的な、トレーニング不要のレシピを提供します。