🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant は、ピーク抑制直交変換 (PSOT) と適応的アウトレイヤー・トークン選択を採用して活性化分布をコンパクトでよく分散した形態へと再構成し、それによって量子化誤差を大幅に低減し、既存の低ビット LLM 展開のベースラインを上回る、トレーニング不要なポストトレーニング量子化手法である。

原著者： Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、INFOQUANT論文の説明を、創造的な比喩を用いて平易な言葉で翻訳したものです。

大きな問題：「高すぎる」箱

巨大で混沌とした砂の山があると想像してください（これは大規模言語モデル、LLM 内部のデータを表します）。この砂を、スペースを節約し、持ち運びやすくするために、小さく整然とした箱に詰め込みたいとします（これが量子化、つまりモデルを縮小して高速化し、メモリ使用量を減らすことです）。

通常、砂の大部分は普通で管理しやすい高さです。しかし、空高く突き出る巨大な砂の棘がいくつかあります（これらは外れ値と呼ばれます）。

これらのわずかな巨大な棘のために、すべてを収めるためには巨大な箱を使わざるを得ません。その巨大な箱に砂を入れた後、底にある「普通の」砂は、小さく平らな層に押しつぶされてしまいます。後で砂を取り出そうとしても、すべてが同じ場所に平らに押しつぶされているため、普通の砂の異なる層の違いが区別できなくなります。モデルは明確に「考える」能力を失ってしまいます。

従来の解決策：棘を平らにする

以前の手法は、以下のようにしてこの問題を修正しようとしました：

棘を潰す：巨大な砂の山の上端を切り落とそうとする。
棘を移動させる：重い砂をある場所から別の場所へ移動させる。

問題は、棘を切り落としても、残った砂がまだうまく小さな箱に収まらないように塊になっている可能性があることです。箱は小さくなるかもしれませんが、砂は依然として塊になっており、異なる砂粒を区別しにくくなっています。

新しいアイデア：INFOQUANT

この論文の著者であるINFOQUANTは、目標が単に砂を「小さく」することではないと気づきました。目標は、砂が箱のために設計されたように見えることです。

彼らは新しい問いを投げかけます：「小さな箱に完璧に収まる砂の山とは、どのような姿でしょうか？」

彼らの答えはこうです：それは低く（箱に収まるように）、かつ均等に広がっている（すべての砂粒が見えるように）必要があります。

INFOQUANT の仕組み（3 段階のレシピ）

1. 「回転と拡散」（ピーク抑制直交変換）
砂がくるくる回る独楽の中にいると想像してください。著者たちは、特別な数学的なトリック（直交回転）を使って砂を回転させます。

何をするか：それらの巨大な棘のエネルギーを、山全体に分散させます。
結果：巨大な棘は消え、砂は滑らかで広い丘になります。重要なのは、この丘が低く（箱に収まる）、かつ広く（砂が広がって層を区別できる）なっている点です。

2. 「賢い偵察員」（適応的外れ値トークン選択）
砂の山には、棘のように見えるが実際には重要ではない、奇妙でノイズの多い場所がいくつかある場合があります。それらを修正しようとすると、良い部分を壊してしまう可能性があります。

何をするか：INFOQUANT には「偵察員」がいて、砂を見てこう言います。「よし、あそこにある棘は本物で危険だから修正しよう。でも、あそこの小さな盛り上がり？無視しよう。」
結果：モデルは本当の問題にエネルギーを集中させ、プロセスをより堅牢にし、ノイズに混乱しにくくします。

3. 「微調整クリップ」（学習可能なアクティベーションクリッピング）
回転と拡散の後、著者たちは最後のチェックを行います。砂が隙間なく、かつ潰れることなく完璧に収まるように、箱の正確なサイズを調整します。

結果：最終的なパッケージは、箱の特定のサイズに最適化され、隅で情報が失われることがありません。

なぜこれが重要なのか

この論文は、LLaMA-2 や LLaMA-3 などの有名な AI モデルでこれをテストしました。

結果：モデルを4 ビット（100 ページの本を葉書に縮小するような、非常に小さなサイズ）に縮小した際、INFOQUANT は元の知能の**97%**を維持しました。
比較：以前の手法では、このサイズに縮小すると知能をより多く失っていました。INFOQUANT は「葉書」を読みやすく有用な状態に保ちましたが、他の手法はそれをぼやけた落書きにしてしまいました。

結論

INFOQUANTを熟練のパッカーだと考えてください。彼らは、ごちゃごちゃで棘のある砂の山を無理やり小さな箱に押し込める（これでは詳細が潰れてしまいます）のではなく、まず山を再成形して、箱に自然に完璧に収まるようにします。彼らは山を箱に収まるほど低くし、かつすべての詳細が見えるように十分に広げます。

これにより、私たちは巨大で強力な AI モデルを、その「知能」を失うことなく、より小さく安価なコンピュータで実行できるようになります。

技術概要：INFOQUANT

問題定義

低ビット活性化量子化は、大規模言語モデル（LLM）の効率的な展開における重要なボトルネックのままです。LLM の重みは通常、平坦で均一に分布していますが、活性化には、量子化範囲を拡大する少数の支配的な座標（外れ値）が含まれることがよくあります。これにより、最近接丸め量子化は、多くの通常の値を同じ少数の離散レベルにマッピングすることを余儀なくされ、結果として重大な情報損失が生じます。

既存の学習後量子化（PTQ）手法は、外れ値の抑制、チャネルのバランス調整、または再構成誤差（例：MSE）の最小化を通じてこれを緩和しようと試みています。しかし、本論文は、これらのアプローチが、実際にどの活性化分布が「量子化に友好的」であるかを明示的に定義することに失敗していると主張しています。手法は可視的なピークを低減したり数値誤差を下げたりするかもしれませんが、分布の根本的な「離散化可能性」を改善しないことが多く、量子化範囲が広すぎるままだったり、値が平均付近に崩壊したりする結果を招いています。

手法：INFOQUANT

著者らは、活性化変換を「量子化器指向の分布設計」として再定義する、学習不要な PTQ フレームワークINFOQUANTを提案します。その核心的な哲学は、低い量子化誤差には 2 つの相補的な特性が必要であるという情報理論的解析から導き出されています。

狭い数値範囲（量子化ステップサイズを低減するため）。
その範囲内での十分な分散（利用可能な量子化レベルを効果的に活用するため）。

INFOQUANT は、以下の 3 つの主要なコンポーネントを通じてこれを達成します。

1. ピーク抑制直交変換（PSOT）

PSOT は、活性化分布を再構成するための直交回転行列を学習します。固定された回転（例：アダマール変換）とは異なり、PSOT は特定の損失関数を最小化するブロック対角直交行列 $R$ を最適化します。
$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$
ここで、 $y = xRP_\perp$ （中心化された回転活性化）であり、 $\pi_T$ は大きさに基づく softmax 重み付けです。この目的関数は、高次の座標（ピーク）を明示的に罰します。直交性により全体のトークンエネルギーを保持しつつ、最大の中心化座標を抑制することで、PSOT は残りのエネルギーをより多くの次元に分散させます。これにより、クリッピングスケール（範囲の狭小化）が同時に低減され、正規化分散（ $b_n$ ）が増加します。

2. 適応的外れ値トークン選択（ASOT）

ロバストな最適化を確保するため、INFOQUANT はすべての較正トークンを均等に扱いません。「量子化感受性のある外れ値構造」を持つトークンを特定し、回転最適化中にそれらを再重み付けします。

統計的に極端な座標を少なくとも 1 つ含むトークンを選択します。
選択された外れ値の位置がサンプル間で変化するよう、閾値選択メカニズムを採用し、固定されたプロンプトレイアウトや較正のアーティファクトへの過学習を回避します。
これら選択されたトークンは損失関数において上重み付け（ $\gamma > 1$ ）され、通常のトークンは正則化器として機能します。

3. 学習可能な活性化クリッピング（LAC）

分布が PSOT によって再構成された後、この手法は学習可能なクリッピングパラメータ（ $\alpha, \beta$ ）を用いた最終的な較正ステップを適用します。これらのパラメータは、活性化ステップサイズを微調整し、量子化されたブロック出力を全精度出力に一致させ、再構成された分布に対して特に再構成誤差を最小化します。

主要な貢献

情報理論的フレームワーク: 本論文は、量子化誤差と活性化分布特性の間の理論的リンクを確立します。量子化誤差の最小化は、狭い数値範囲と高い分散を必要とする正規化クリップ済み誤差 bound の低減と等価であることを実証しています。
INFOQUANT アルゴリズム: 活性化を量子化に友好的な分布へと変形する直交変換を学習し、適応的トークン選択と学習可能なクリッピングを補完する、ハードウェア効率的かつ学習不要な手法。
実証的検証: LLaMA-2 および LLaMA-3 ファミリー（7B から 70B）および Qwen2.5 モデル全体にわたる広範な実験。

実験結果

この手法は、W4A4KV4設定（4 ビット重み、4 ビット活性化、4 ビット KV キャッシュ）を含む、さまざまなビット幅設定で評価されました。

精度保持: W4A4KV4 設定において、INFOQUANT は LLaMA-2 および LLaMA-3 モデル全体で、元の浮動小数点精度の平均**97%**を保持します。
最先端性能: W4A4KV4 において、LLaMA-2 13B モデルの性能ギャップを、以前の最先端手法（SpinQuant）と比較して**42%**削減します。
ベースラインとの比較: INFOQUANT は、回転ベースの手法（QuaRot, SpinQuant）および重み再構成手法（GPTQ, AWQ）を一貫して上回ります。また、全精度の教師信号を必要とせず、いくつかのモデル（例：LLaMA-3 8B、LLaMA-2 13B）において、蒸留ベースの OSTQuant も上回ります。
効率性: この手法により、LLaMA-2 70B モデルの量子化を24GBの GPU メモリのみで可能にします。推論中の動的変換に伴う高い FLOP オーバーヘッドを回避し（FlatQuant とは異なり）、既存の低ビットカーネルと互換性のある軽量な推論パスを維持します。

意義と主張

本論文は、現在の低ビット活性化量子化の主な限界は、単に外れ値の存在ではなく、活性化分布と低ビット一様量子化器の能力とのミスマッチであると主張しています。「外れ値抑制」から「分布形状化」へと焦点を移すことで、INFOQUANT は特定の直交変換を学習することが離散化可能性を大幅に向上させることを実証しています。

著者らは、彼らのアプローチが学習不要でありハードウェア効率的であることを強調し、コンシューマーグレードのハードウェアでの展開を実用的なものにしています。彼らは、この手法が較正データとブロック対角行列のような特定の実装選択に依存している一方で、教師あり微調整や大規模な蒸留パイプラインに対する堅牢な代替案を提供していると指摘しています。本論文は、今後の研究がベル型活性化の仮定を超えて、より広範な分布領域へこの解析を拡張すべきであると結論付けています。