🤖 machine learning

Quantize What Counts: More for Keys, Less for Values

本論文は、キーに対して値よりも高い精度を優先することが量子化誤差を厳密に低減し精度を維持することを証明することにより、大規模言語モデルにおける混合精度 KV キャッシュ量子化の理論的基盤を確立し、ビット割当をヒューリスティックな調整から幾何学的に駆動された設計原理へと変容させる。

原著者： Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Quantize What Counts: More for Keys, Less for Values」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：「記憶の冷蔵庫」が満杯すぎる

大規模言語モデル（LLM）を、非常に長い食事（会話や物語）を調理する天才シェフに例えてみましょう。食事を続けるためには、シェフはこれまで加えたすべての食材を記憶しておく必要があります。コンピュータの用語では、この記憶をKV キャッシュ（Key-Value Cache）と呼びます。

食事（トークン）が長くなるにつれ、シェフはこれらの食材を保管するために、より大きくて大きな冷蔵庫が必要になります。やがて冷蔵庫が満杯になりすぎると、キッチンにスペースがなくなり、すべての作業が遅くなったり、調理が完全に停止したりします。これが、この論文が取り組む「メモリボトルネック」です。

現在の対策：食材を縮める

満杯の冷蔵庫を解決するために、エンジニアは量子化（quantization）を使用します。これは食材を圧縮することに例えられます。全体で重たいスイカ（高精度）を保管する代わりに、小さくて軽いスライス（低精度）を保管するのです。これによりスペースが節約されます。

しかし、落とし穴があります。食材を縮めすぎると、シェフがレシピを忘れたり、間違いを犯したりする可能性があります。これまで最大の疑問は常にこうでした：「料理を台無しにすることなく、Key 成分と Value 成分をそれぞれどれくらい縮めることができるか？」

これまで人々は推測（ヒューリスティック）を行ったり、何が機能するかを確認するためにランダムな組み合わせを試したりしていました。この論文は言います。「推測は止めるべきだ。数学を見てみよう。」

発見：Key は「重労働者」である

著者たちは、2 種類の食材、すなわちKeyとValueの間に根本的な違いを発見しました。

比喩：「Key」は箱のラベルであり、「Value」は箱の中身だと想像してください。
発見：この論文は、「ラベル」（Key）が「中身」（Value）よりも数学的に「重く」、より複雑であることを証明しています。技術的には、Key 行列は Value 行列よりも大きな「ノルム」（サイズとエネルギーの尺度）を持っています。

Key は重いため、より多くの「情報密度」を担っています。重い物体を強く圧縮しすぎると壊れますが、軽い物体を圧縮してもほとんど変化しません。

解決策：「Key には多くを、Value には少なくを」

この発見に基づき、著者たちは食材を縮めるための新しいルールを提案します。

Key に多くのビットを与える（大きく保つ）：Key は重く複雑なラベルであるため、比較的高い精度を維持する必要があります。
Value に少ないビットを与える（より縮める）：Value は軽く、感度が低いため、精度をあまり失わずに大幅に圧縮できます。

創造的な比喩：
旅行用のスーツケースをパッキングすると想像してください。

Keyはパスポートと航空券です。これらに落書きをしたり、小さすぎるように折りたたんだりすると、使用できず、立ち往生してしまいます。これらは鮮明でくっきりと保つ必要があります（高精度）。
Valueは靴下と T シャツです。これらはきつく折りたたんだり、丸めたり、隅に詰め込んだりできます。これらはスペースを取りますが、少しシワになっても着ることができます（低精度）。

この論文の戦略はこうです：パスポートは慎重にパッキングする（4 ビット）

結果：品質を損なわずにスペースを節約

研究者たちは、この「パスポート対靴下」戦略を、Llama、Mistral、Qwen などのさまざまなモデルと、数学、会話、執筆などのさまざまなタスクでテストしました。

従来の方法：すべてを同じように扱う（例：パスポート 4 ビット、靴下 4 ビット）。これでは靴下にスペースを無駄にしています。
新しい方法：パスポート 4 ビット、靴下 2 ビット。

結果：

節約されたスペース：冷蔵庫に必要なメモリの約**25%**が節約されました。
維持された精度：モデルは元の精度の**98.3%**を維持して動作しました。
「K4V2」の絶妙なバランス：具体的には、Key に 4 ビット、Value に 2 ビットを割り当てることで、すべてを 4 ビットに保つ場合とほぼ同等の性能を発揮しつつ、Value については半分のメモリしか使用しませんでした。

なぜこれが重要なのか

この論文は、「試行錯誤」から「科学的な設計」へとゲームを変えます。

以前：エンジニアはモデルがクラッシュするまで、設定をランダムに調整していました。
現在：モデル自体の幾何学に基づいたルールがあります：Key を優先する。

彼らはまた、このルールが他のテクニック（「回転」など、よりよく収まるようにスーツケースを再配置するようなもの）と完璧に連携することも示しました。「Key には多くを」というアプローチをこれらの他のテクニックと組み合わせると、結果はさらに向上します。

まとめ

この論文は、AI モデルのメモリにおいて、Key は決定的な重労働部分であり、Value は柔軟で圧縮可能な部分であると主張しています。Key に多くの注意（ビット）を向け、Value には少ない注意を向けることで、AI が「思考する方法」を忘れることなく、モデルのメモリフットプリントを大幅に縮小できます。これはシンプルで数学に裏打ちされたルールです：Key には多くを、Value には少なくを。

技術的概要：重要度に応じた量子化：キーには多く、値には少なく

問題定義

大規模言語モデル（LLM）は、モデルサイズとコンテキスト長に比例して線形に増加するキー・バリュー（KV）キャッシュに起因する、推論時のメモリボトルネックに直面している。KV キャッシュの量子化（BF16 から INT4 以下への精度低下）はメモリ節約への道筋を提供するが、既存の手法はしばしばキーと値間のビット割当てに対してヒューリスティックで場当たり的な調整に依存している。現在の手法は、通常、キーと値の分割をグリッドサーチで決定するか、推論時の活性化統計から導出されるハイパーパラメータとして扱っており、モデルの内在的性質に根ざした理論的基盤を欠いている。これにより、量子化誤差を最小化しつつモデルの精度を維持するために、ビット割当てを原理的かつ汎用的に決定する方法はどのように確立できるかという根本的な問いが生じる。

手法

本論文は、トランスフォーマー重み行列の内在的なスペクトルノルムとフロベニウスノルムに基づいた、幾何学的アプローチによる混合精度 KV 量子化を提案する。手法は、理論的および実証的な 2 つの段階で進行する。

ノルム格差の理論的分析: 著者は、キー（ $W_K$ ）と値（ $W_V$ ）の射影行列の学習ダイナミクスを分析する。アテンションメカニズムにおける構造的な非対称性により、 $W_K$ が $W_V$ よりも系統的に大きなスペクトルノルムおよびフロベニウスノルムを獲得することを示す。具体的には、 $W_K$ はアテンションマップを形成し、クエリと乗法的に相互作用するため、学習中に増幅された勾配信号をもたらすのに対し、 $W_V$ はアテンション後の表現にのみ影響を与える。その結果、 $W_K$ はより高い情報密度と大きさを持つことになる。
量子化定理の導出: 量子化誤差が信号エネルギー（ノルムの大きさ）に比例して増大するという観察に基づき、著者は 2 つの定理を導出する。
- キー・バリューノルム格差定理: 主要な LLM ファミリー全体において、 $W_K$ の期待スペクトルノルムおよびフロベニウスノルムが $W_V$ のそれらを上回ることを証明する。
- キー優先量子化定理: 任意の固定メモリ予算において、値よりもキーに高い精度を割り当てることで、総量子化誤差が厳密に減少することを確立する。これは、高ノルムを持つキー経路で生じる誤差が、値経路の誤差よりもネットワークを通じてより顕著に増幅されるためである。

著者は、多様なモデル（Llama-3、Mistral、Phi、Qwen、DeepSeek）、データセット（C4、MMLU、GSM8K、CoQA、EQ-Bench、LongBench）、および量子化バックエンド（Optimum Quanto および HQQ）においてこれらの定理を検証した。また、この戦略を回転ベースのアウトライア再分配手法（例：QuaRot）と統合する可能性も調査した。

主要な貢献

理論的基盤: 本論文は、KV キャッシュにおける非対称なビット割当てに対する初の理論的正当化を提供し、ヒューリスティックな調整から、トランスフォーマー重みの線形代数的性質に基づく設計原則へと移行させた。
ノルム格差定理: キー射影が値射影よりも一貫して大きなノルムを示し、その結果生じるキャッシュにおいてもこの性質が保持されることを証明する。
キー優先量子化定理: 値よりもキーに精度を優先することが、対称的または逆転した割当てよりも量子化誤差を最小化し、推論精度をより効果的に維持することを形式的に実証する。
実証的検証: 広範な実験により、キーを優遇した割当て（例：4 ビットキー、2 ビット値）が、均一な 4 ビット割当て（K4V4）の精度の最大 98.3% を維持しつつ、KV キャッシュメモリを 25% 削減することが示された。
直交性と統合: 本研究は、この幾何学的アプローチが既存のアウトライア再分配手法と直交することを示した。キー優先量子化とキーのみの回転を組み合わせることで相乗効果が得られ、タスク全体で均一なベースラインを 4.4〜18% 上回る精度を達成した。

結果

再構成誤差: 7 つのモデルと複数のデータセットにわたり、同一のビット幅（例：K2 対 V2）において、キーキャッシュは値キャッシュよりも一貫して大きな再構成誤差を負うことが確認され、量子化に対する高い感受性が裏付けられた。
下流タスクの精度:
- Optimum Quanto を用いた GSM8K 評価において、K4V2 構成（4 ビットキー、2 ビット値）は K2V4 を大幅に上回り、フル精度ベースラインの精度の約 94% を回復した。一方、値を優遇した割当ては最大で 30 パーセントポイントの損失を招いた。
- HQQ を用いて広範なビット幅（1〜8 ビット）とモデル（0.6B〜32B）で評価したところ、超低精度においてキーに 1 ビット追加するだけで大幅な改善が得られた（例：Qwen3-8B の GSM8K において、1 ビットキーから 2 ビットキーへ移行した際に +48 パーセントポイント）。
- 平均して、K4V2 は CoQA、EQ-Bench、GSM8K において K4V4 の精度の 98.3% を維持した。
回転統合: K4V2 設定においてキーのみに回転を適用すると、フル K4V4 ベースラインとほぼ同等の精度が達成され、回転の主な利点はキーのアウトライアを軽減することにあることが示された。値のみに回転を適用しても、わずかな効果か負の帰結しか得られなかった。
グループサイズ感度: キーについては、より高い情報密度により、より細かいグループサイズ（例：32）が精度を向上させるのに対し、値については、64 または 128 といった粗いグループサイズでも、精度の低下は無視できる程度で十分であった。

意義

本論文は、ビット割当てを場当たり的な設計選択から、効率的な LLM 推論のための理論的基盤を持つ幾何学的設計原則へと変革すると主張している。モデル重みの内在的ノルムに混合精度戦略を根ざすことで、著者は「キーには多く、値には少なく」という汎用的な規則を提供する。このアプローチは、推論時の内省や再学習を必要とせず、モデルあたり一回の軽量な解析コストで済む。これらの知見は、将来の KV 量子化フレームワークおよびハードウェア・アルゴリズムの共設計において、最小限の精度低下で最大のメモリ効率を達成するために、キーの精度を優先すべきであることを示唆している。また、この戦略は既存のアウトライア再分配手法を補完し、複雑性を増やすことなくさらなる性能向上を可能にすることも強調されている。