🤖 machine learning

Statistically-Lossless Quantization of Large Language Models

本論文は、パラメータあたり4ビット未満でタスク損失のない精度を、5〜6ビットで分布損失のない忠実度を達成しつつ、FP16に対して1.7〜3.7倍の推論高速化を実現する、レイヤーごとの非対称量子化手法であるStatistically-Lossless Quantization（SLQ）を導入するものである。

原著者： Michael Helcig, Eldar Kurtic, Dan Alistarh

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michael Helcig, Eldar Kurtic, Dan Alistarh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界を、本が紙ではなく純粋な数学で作られている巨大で賑やかな図書館だと想像してみてください。これらの「本」は大規模言語モデル（LLM）であり、物語を書いたり、方程式を解いたり、人間のようにチャットしたりできる超スマートなコンピュータです。しかし、そこには落とし穴があります。これらの図書館はあまりにも巨大なのです。本を読むには、巨大で高価、かつ電力を大量に消費するスーパーコンピュータが必要です。ほとんどの人が、自宅のリビングにそのようなものを置いているわけではありません。そのため、科学者たちはこれらの本を小さく、軽くする方法、つまり、普通のスマートフォンやノートパソコンに収まるようにする方法を模索してきました。このプロセスは「量子化（クオンタイゼーション）」と呼ばれます。これは、高解像度の写真を、より小さなファイルサイズに圧縮する作業に似ています。通常、ファイルを圧縮しすぎると、画像がぼやけたりピクセル化したりします（これは「非可逆的（ロスの多い）」圧縮です）。もし画像を完璧なまま保ちたいのであれば、ファイルサイズは巨大なままになります（これは「可逆的（ロスレス）」圧縮です）。科学者たちが問い続けてきた大きな疑問は、「AIの脳を、スマートフォンに収まるほど小さくしながらも、言葉が詰まったり幻覚（ハルシネーション）を起こしたりすることなく、テストに合格できるほど賢さを維持できるのか？」ということです。

「Statistically-Lossless Quantization of Large Language Models（大規模言語モデルの統計的にロスレスな量子化）」と題されたこの論文は、まさにその難しい中間領域へと踏み込んでいます。著者であるマイケル・ヘルジグ、エルダール・クルティッチ、ダン・アリスターは、ぼやけた小さなモデルか、完璧で巨大なモデルかのどちらかを選ぶ必要はないと主張しています。代わりに、彼らは「統計的にロスレス」な新しい縮小方法を提案しています。ここにある魔法のようなトリックがあります。彼らは、人間（あるいはAI自身）が質問に答えるとき、そこには常にわずかなランダム性が存在することに気づきました。もし同じAIに同じ質問を2回したとしても、気分によって友人の質問への答え方が変わるのと同じように、少し異なる答えを返すことがあります。著者たちは、もし縮小されたモデルが、その自然な「気分の浮き沈み」の範囲内に留まっていれば、それで十分であることを見出しました。彼らは、SLQ（Statistically-Lossless Quantization）と呼ばれる手法を作り上げました。これは、まるで熟練の仕立て屋のようです。AIの脳のすべての部分を同じ小さなサイズに切り取るのではなく、各部分がどれほど敏感であるかを正確に測定します。ある部分は非常に小さなスペース（わずか3.3ビット/パラメータまで）を与えられ、他の部分はもう少し多くのスペースを与えられます。

この論文は、AIの縮小に関する私たちの考え方を変える、いくつかの非常に具体的な発見を行っています。第一に、彼らは「縮小」を測定する特定の方法が極めて重要であることを証明しました。彼らはEAR（Expected Acceptance Rate：期待受容率）という指標を導入しました。これは「トークン一致スコア」のようなものです。もし元のAIと縮小されたAIが、選ぶであろう100単語のうち99単語で一致していれば、それは勝利です。彼らは、この完璧な一致を得るためには、数値をどのように縮小するかについて注意深くある必要があることを発見しました。彼らは、数値を「対称的（シンメトリック）」に縮小する方法（正の数と負の数を同じように扱う方法）は、実際には「非対称的（アシンメトリック）」な方法（データを完璧にフィットさせるためにスケールをずらす方法）よりも多くのノイズとエラーを生み出すことを数学的に示しました。これは、歪んだスーツケースを正方形の箱に押し込もうとするようなものです。もし無理やり中央に配置しようとすれば、うまく閉まりません。箱の形に合わせて、スーツケースをずらす必要があるのです。

その結果は非常に素晴らしいものです。彼らのSLQ手法を用いることで、Llama-3.3-70BやQwen3のようなモデルを、平均して3.3から4.7ビット/パラメータまで縮小しながら、「タスク・ロスレス」な精度（つまり、元の巨大なバージョンと同じテストに合格できる精度）を維持することに成功しました。もし彼らがさらに厳格になり、AIの内部的な「気分」（確率分布）をオリジナルとほぼ同一にする必要があるとすれば、5から6ビットが必要になります。しかし、最も素晴らしい点は、モデルが非常に小さくなったため、動作が大幅に高速化されたことです。著者らはこれを実際のハードウェアでテストし、縮小されたモデルが元のフルサイズのバージョンよりも1.7倍から3.7倍速いこと、そしてより少ないグラフィックスカードにも収まることを発見しました。また、GPTQやAWQといった古い手法は、この「統計的にロスレス」という目標において、ぼやけすぎているか、あるいは圧縮しすぎているかのどちらかであり、目標に達していないことが多いことも示しました。要約すると、この論文は、AIを「どこで」「どのように」縮小するかについてより賢明に対処することで、回答の質を犠牲にすることなく、巨大な脳を小さく、速く、そして驚くほど正確にできることを示唆しています。

技術要約：大規模言語モデルの統計的無損失量子化（Statistically-Lossless Quantization）

問題提起

現在の大規模言語モデル（LLM）の量子化手法は、二者択一のトレードオフに直面している。損失ありの手法（例：GPTQ、AWQ）は高い圧縮率と推論加速を実現するが、モデルの精度を低下させる。一方で、無損失の手法（例：ZipNN、エントロピー符号化表現）は忠実性を維持するが、推論の加速を実現できなかったり、高い圧縮率を達成できなかったりすることが多い。

本論文はこの両極端の間にある空白領域、すなわち**統計的無損失量子化（SLQ）**の領域を特定している。著者らは、ほとんどのオープンウェイトLLMは確率的サンプリングパラメータ（例：temperature > 0）を用いてデプロイされるため、その出力は自然に実行ごとの分散（run-to-run variance）を示すと主張している。量子化されたモデルがこの自然なサンプリングの分散内に留まっているならば、実用上の観点からは「無損失」であると言える。課題は、ビット完全な再構成を必要とせずに、標準的なサンプリング条件下でのモデルの出力特性を維持する圧縮を定義し、達成することである。

メソドロジー

提案されているSLQフレームワークは、非対称量子化グリッドを用いた層ごとの非一様スカラー量子化を利用している。このメソドロジーは、以下の3つの主要な柱に基づいている。

1. 理論的基礎：非対称量子化 vs 対称量子化

本論文は、非対称量子化が分布無損失の忠実度を得るための前提条件であり、対称量子化ではこの厳格な目標を達成するには不十分であることを証明している。

中心化の非効率性 ( $\gamma$ ): $\gamma = 2M/R$ と定義される。ここで $M$ は最大絶対値、 $R$ はダイナミックレンジである。対称分布の場合 $\gamma=1$ だが、非対称分布（LLMに典型的）の場合 $\gamma > 1$ となる。
ガンマ二乗分散則（Gamma-Squared Variance Law）: 著者らは、対称量子化が非対称量子化に対して出力ノイズの分散を $\gamma^2$ $γ^{2}$ 倍に増幅させることを証明した。
- $\sigma^2_{sym} = \gamma^2 \sigma^2_{asym}$
影響: この分散の増幅は、「決定の反転（decision flips）」（argmaxトークンの変化）の確率を高める。これは、モデルが最も自信を持っている低エントロピー領域において特に顕著である。結果として、対称量子化は、非対称量子化と同じ分布の忠実度を達成するために、大幅に多くのビット（パラメータあたり最大1.5ビット増）を必要とする。

2. 忠実度指標

ニアロスレス（無損失に近い）領域をナビゲートするために、本論文では2つの異なる「無損失」の定義と、それに対応する指標を導入している。

タスク無損失 (Task-Lossless: TL): 自然なサンプリングの分散内で、ゼロショット・ベンチマークの精度を維持する。
- 指標: 回復率（保持されたBF16精度の割合）。
- 探索戦略: シングルポイント・キャリブレーション。 ニアロスレス領域におけるKLダイバージェンスとタスク回復率の間の線形関係を利用し、網羅的な探索を行うことなく、単一のベンチマーク測定からKL閾値を導出し、ビット幅の要件を予測する。
分布無損失 (Distribution-Lossless: DL): 量子化されたモデルの次トークン分布が、元の分布と実質的に区別できないことを要求する。
- 指標: 期待受容率 (Expected Acceptance Rate: EAR)。 スペキュレイティブ・デコーディングに着想を得たEARは、最適な結合（optimal coupling）の下での、元の分布と量子化された分布の間の最大トークン一致確率を測定する。
- 定義: $EAR = \frac{1}{N} \sum_{i} \sum_{k=1}^{K} \min(p_i(k), q_i(k))$ 。ここで $k=1$ から $K$ までのトップ $K$ トークンに限定される。EARが0.99であることは、最適な結合の下で99%の一致を意味する。
- 探索戦略: キャリブレーションデータを用いたEAR制約に基づく直接最適化。

3. SLQパイプライン

感度推定: **マルチビット幅シャプレー推定（Multi-Bitwidth Shapley Estimation）**を用いて、特定のビット幅（ $\{2, \dots, 8\}$ の集合から選択）を異なる層のグループに割り当てた際の限界的な影響を評価する。これは、従来の二値選択による手法を、完全な整数ビット幅の範囲へと拡張したものである。
ビット幅割り当て: 割り当てを、整数線形計画法（ILP）によって解かれる多肢選択ナップサック問題として定式化する。ソルバーは、ビット幅の予算または忠実度の制約に従って、予測される劣化を最小化する。
実装: 非対称整数グループ量子化（グループサイズ128）を使用しており、標準的な推論カーネル（例：vLLMのHummingカーネル）と互換性がある。

主な結果

著者らは、Qwen3-8B, Qwen3-32B, Qwen3.5-27B, Llama-3.3-70B-Instructの4つのモデルを用いて、ウェイトのみの量子化によるSLQを評価した。

精度と圧縮

タスク無損失 (TL): **3.3から4.7 bpp（パラメータあたりのビット数）**という積極的なビット幅で達成された。
- 例：Llama-3.3-70Bは3.59 bppで99.1%の回復率を達成し、一様な4ビット量子化を上回った。
- 例：Qwen3.5-27Bは3.30 bppで99.1%の回復率を達成した。
分布無損失 (DL): 5.0から6.6 bppで、EAR $\ge 0.99$ $\geq 0.99$ を達成。
- 例：Qwen3-32Bは4.98 bppで100.1%の回復率に達した。
- 例：Llama-3.3-70Bは6.55 bppで99.9%の回復率に達した。
比較: SLQは、QTIPやYAQAといった最先端の手法を、分布無損失の領域において大幅に凌駕している。例えば、Llama-3.1-8Bにおいて、QTIPは4ビットで0.9519のEARを達成したが、SLQは5.59 bppにおいてより低いKLダイバージェンス（0.004）を達成した。

推論加速

最適化されたHummingカーネルを使用し、NVIDIA L40s GPU上で、SLQ構成はBF16ベースラインに対して1.7倍から3.7倍のスループットを提供した。

ハードウェア効率: モデルサイズの縮小により、より大きなモデルをより少ないGPUで実行可能になった（例：Llama-3.3-70Bが4枚ではなく2枚のGPUに収まる）。
比較: SLQは、GPUあたりのスループットにおいて、一貫してFP8ベースラインを上回った。

アブレーションと分析

非対称性: 非対称量子化を削除（対称性を強制）すると、DLターゲットに必要なビット幅が約1.5 bpp増加した。
ビット幅の範囲: 探索を二値選択（例：{4, 8}）に制限すると、フルレンジ（{2–8}）を探索した場合と比較して、平均ビット幅が高くなった。
トークンレベルの分析: DL構成では、98.1%のトークンがベースラインと正確に一致していた。乖離は、事実関係の誤りではなく、軽微な文体上のバリエーション（類義語、句読点など）に限定されていた。
思考トークン（Thinking Tokens）: DL構成は、BF16と比較して追加の「思考」トークンのオーバーヘッドを導入しなかったが、損失ありの構成（TLおよびUniform-4）では、思考トークンが2.2〜2.9%増加した。

重要性と主張

本論文は、統計的無損失量子化を定式化することにより、LLM圧縮の新しいパラダイムを確立したと主張している。その主な貢献は以下の通りである：

ギャップの定式化: タスクレベルの無損失と分布レベルの無損失を区別し、確率的デコーディングのシナリオにおいて真の忠実度を得るためには後者が不可欠であることを論じた。
$\gamma^2$ 法則: 非対称量子化のデザインとトークンレベルの決定反転を結びつける最初の形式的な証明を提供し、対称量子化が分布無損失の目標に対して根本的に非効率であることを示した。
EAR 指標: KLダイバージェンスを補完する、直接解釈可能な忠実度指標（Expected Acceptance Rate）を導入した。
実用的な効率性: 統計的無損失の圧縮が、サブ4ビット（タスク無損失の場合）および約5〜6ビット（分布無損失の場合）の幅で達成可能であり、同時に大幅な推論加速をもたらすことを示した。これにより、損失のある圧縮と無損失のストレージの間のギャップを効果的に埋めている。

著者らは、SLQをすべての量子化手法に代わるものとしてではなく、小さな分布シフトが極めて重要となる「ニアロスレス」領域のための原理的なアプローチとして位置付けており、一様な量子化器に対してパレート優位なソリューションを提供している。