🔢 mathematics

High-Rate Quantized Matrix Multiplication I

本論文は、事前の統計的較正を伴わない汎用的な行列乗算における量子化レートと歪みの間の基本的な情報理論的トレードオフを調査するとともに、absmax INT や浮動小数点といった一般的な量子化方式に対するヒューリスティック近似の分析と導出も行っている。

原著者： Or Ordentlich, Yury Polyanskiy

公開日 2026-05-14

📖 1 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Or Ordentlich, Yury Polyanskiy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で高解像度の映画を、小さく狭いトンネルの向こうへ送ろうと想像してください。この映画は、チャットボットを動かしているような大規模言語モデル（LLM）内部の複雑な数学を象徴し、トンネルはコンピュータのメモリと処理速度を象徴します。もし圧縮されていない完全な映画をそのまま押し込もうとすれば、トンネルは詰まり、コンピュータは極端に遅くなります。

これを解決するために、エンジニアは量子化（quantization）を用います。これは、その高解像度の映画を低解像度でピクセル化されたバージョンに圧縮するようなものです。完璧ではありませんが、トンネルをずっと速く通過でき、かつ画像は鑑賞できるほどに認識可能です。

Or Ordentlich と Yury Polyanskiy によって書かれたこの論文は、圧縮に関する理論物理学の報告書のようなものです。単にどの圧縮ツールが実用的に最も優れているかをテストするのではなく、著者たちはこう問いかけます：「このデータがゴミになる前に、どの程度まで圧縮できるのか、その絶対的な数学的限界は何か？」

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. 「圧縮」の 2 種類

著者たちは、数学者とエンジニアが「レート（保持するデータ量）」について話す際の混乱を指摘しています。

数学者の視点: 画素のブロック全体を丸ごと取り出し、それらをすべてまとめて一つの巧妙なコードに圧縮すると想像してください。これは最も効率的な方法ですが、リアルタイムで行うのは極めて困難です。
エンジニアの視点: 各画素を個別に見て、「あなたは少し明るすぎるので、標準的な色に最も近い値に切り捨てます」と言うことを想像してください。これが現在の AI チップの動作方法です（INT8 や FP8 などの形式を使用）。これは速く簡単ですが、著者たちはそれが理論的限界ほど効率的ではないと主張しています。

2. 「高レート」の仮定

この論文は、圧縮が（映画を棒人間に変えるような）極端なものではないシナリオに焦点を当てています。彼らは、「ノイズ」（切り捨てによって生じる誤差）が小さくなるほど、十分な詳細さを保持していると仮定しています。

アナロジー: テーブルを定規で測ろうと想像してください。もし定規に微小で正確な目盛りがある場合（高レート）、誤差はわずか数ミリの一部分に過ぎません。もし巨大な間隔がある定規を使う場合（低レート）、誤差は莫大になります。著者たちは、正確な定規を使用していると仮定しており、これにより単純な数学を使って誤差を予測できます。

3. 「完璧」と「現実」

著者たちは、根本的な限界（Fundamental Limit）を計算しました。これは、一度に全体像を見渡せる魔法のような圧縮ツールを持っていた場合に達成できる、最高精度のことです。

結果: 彼らは、完璧なシステムの場合、ビット数（より多くの詳細）を増やすにつれて誤差が非常に急速に減少することを見つけました。
現実の検証: 次に、彼らは現在 AI で広く使われているツール、すなわちINT（整数）およびFP（浮動小数点）形式を検討しました。
- 問題点: これらのツールは、しばしば「万能」のスケーリング方法を使用します（巨大な象と小さなネズミに同じ定規を使うようなものです）。データにいくつかの巨大な数値と多くの小さな数値が含まれている場合、定規は大きな数値に合わせるために引き伸ばされ、小さな数値はぼやけた点のように見えてしまいます。
- 解決策: 彼らは、圧縮する前にデータを回転させる（ジグザグの縁がグリッドと揃うように画像を回転させるような）ことで、「ぼやけ」がはるかに均一で予測可能になることを見つけました。これはランダム回転と呼ばれる手法です。

4. 「収縮」の驚き

興味深い発見の一つに、「収縮」に関するものがあります。

アナロジー: 写真を圧縮し、その後解凍しようとすると、元の画像の最善の推定値は、単に解凍された写真ではなく、実際にはわずかに「収縮」したバージョンになります。
論文の見解: この「収縮」効果は存在しますが、著者たちは研究している高品質（高レート）の世界では、その恩恵が非常に微小であるため、数学を単純化するために安全に無視できると結論付けました。

5. ツールのテスト

著者たちは、人気のある AI モデル（Llama 3）からの実世界データを用いて、彼らの理論を検証しました。

INT と FP: 標準的な整数形式（INT）の場合、最初にデータを回転させることが不可欠であることがわかりました。回転なしでは誤差が巨大になる可能性があります。回転ありでは、誤差は理論的限界に近いレベルまで低下します。
浮動小数点（FP）驚くべきことに、浮動小数点形式の場合、データを回転させることは実際には有害です。著者たちは、これらの形式が数字を扱う仕組みが、自然と「ジグザグの縁」をよりよく処理するため、データを回転させるだけで事態を悪化させると説明しています。
NestQuant: 彼らは、単純な立方体の代わりに複雑な幾何学形状（「格子」と呼ばれる）を使用する新しい高度な手法、NestQuant を検討しました。その結果、標準的なツールよりも著しく優れた性能を示し、その「魔法」のような理論的限界に近づいていることがわかりました。

結論

この論文は、AI 圧縮の未来のための青写真を提供します。それは以下を伝えています：

AI の数学をどの程度圧縮できるかには、厳密な数学的限界が存在する。
現在のツール（INT8 や FP8 など）は優れているが、データの形状を考慮していないため、しばしば「精度の断片」をテーブルの上に置き去りにしている。
回転は強力なトリックだが、両刃の剣である：整数数学には役立つが、浮動小数点数学には有害である。
より新しく複雑な手法（NestQuant など）は、私たちが「行っていること」と数学的に「可能なこと」の間のギャップを埋め始めています。

要約すると、この論文はこう述べています：「私たちは高速道路の速度制限を知っています。現在の車は速く走っていますが、エンジン（回転やより良い格子の使用）を調整すれば、衝突することなくその速度制限に大幅に近づけることができます。」

技術的サマリー：高レート量子化行列乗算 I

問題定義
本論文は、大規模言語モデル（LLM）の効率的な展開にとって不可欠な演算である量子化行列乗算（MatMul）の問題に取り組む。著者らは、因子（重みと活性化）に関する特定の事前統計的知識（較正）なしに、両方の行列を量子化しなければならない「汎用 MatMul」設定に焦点を当てる。核心的な課題は、量子化レート（エントリあたりのビット数、 $R$ ）と行列積の結果生じる歪み（誤差）との間の、情報理論的な根本的なトレードオフを特徴づけることである。本論文は、ベクトル $N$ 個のエントリをグローバルに $NR$ ビットに符号化する情報理論的な「レート」の定義と、AI において用いられる各エントリを個別または小グループごとに量子化する実用的な定義とを区別する。

手法と理論的枠組み
分析は、量子化ノイズが信号よりも著しく弱い（ $R$ が十分に大きい）と仮定する高レート量子化理論に依存する。この仮定の下、量子化誤差は加法的で独立かつ一様に分布するノイズとしてモデル化される。また、歪み分析を簡略化するため、 $O(2^{-4R})$ のオーダーである「線形収縮」効果は無視される。

本論文は、エンコーダとデコーダ、および共有ランダム性（公開コイン）を利用する可能性のあるレート- $R$ 量子化方式を用いて問題を形式化する。性能は以下の 2 つの設定で評価される：

最悪ケース: 行列 $A$ と $B$ は有界な $\ell_2$ ノルムを持つが、分布に関する仮定はない。
平均ケース（ガウス）: $A$ と $B$ のエントリは独立同一分布（i.i.d.）ガウス分布に従う。

主要な貢献と結果

汎用 MatMul の根本限界:
本論文は、汎用行列において、積 $A^\top B$ の $(i,j)$ 番目のエントリに対する最小期待歪みが以下で特徴づけられることを確立する：
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
ここで、 $a_i$ と $b_j$ はそれぞれ $A$ と $B$ の列であり、 $n$ は次元である。この上限はガウス入力に対して厳密であることが示される。著者らは、ランダム化されていない方式や単純なスケッチングアプローチは一般に次元 $n$ に比例して歪みがスケーリングする（ $\Omega(n)$ ）ことを示す一方、ランダム化（ランダム回転/ディザ）と格子量子化を組み合わせた方式は、この根本限界を達成し得ることを実証する。
一般的な量子化方式の分析:
著者らは、広く用いられる方式の歪みに対する正確なヒューリスティック近似を導出し、 $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ の形で表現する。ここで $R_{\text{eff}}$ はビット単位の「実効レート」である。
- INT 乗算器（absmax）: 標準的な INT $M$ と absmax スケーリングの場合、実効レートは $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ となる。これは $\ell_\infty$ スケーリング因子による著しいレートペナルティを示している。本論文は、量子化前にランダム回転（例えば、アダマール変換）を適用することで、歪み因子 $\Delta_{\text{INT}}$ を $2 \ln n$ 付近に集中させることを示しており、INT 量子化において回転が不可欠であることを明らかにしている。
- 浮動小数点（FP）乗算器: 「無限指数独立ノイズ（IEIN）」モデルを用いて、 $M$ 桁の仮数ビットを持つ FP について $R_{\text{eff}} \approx M + 2.23$ ビットを導出した。INT と異なり、この分析は FP 量子化においてはランダム回転がしばしば不要であり、むしろ有害さえなり得ることを示唆している。なぜなら、特定の分布において回転なしでは歪み因子 $\Delta_{\text{FP}}$ が 1 より小さくなる傾向があるからである。
- マルチスケーリング形式（NVFP4/NVINT4）: 本論文は、マルチスケーリング（グループスケーリング）を採用する 4 ビット形式（NVFP4、NVINT4）を分析する。NVFP4 は実質的に 1 仮数ビット方式のように振る舞い、実効レートは約 3.24 ビットであると論じる一方、NVINT4 は慎重に管理されない限り、標準的な INT と同様のスケーリングペナルティに苦しむ。
- NestQuant: 著者らは、ネストされた格子符号（具体的には $E_8$ 格子）とスケールのバンクを利用する NestQuant フレームワークをレビューする。NestQuant は同様のビットレートにおいて INT や FP 方式を大幅に上回り、約 0.6 ビット分の精度向上を達成していると指摘する。
実証的検証:
Llama3-8B の第 15 層からの活性化行列を用いて、本論文は理論的近似を検証する。
- 導出された INT および FP 歪みの数式は、実測された平均二乗誤差（RMSE）と驚くほどよく一致する。
- ヒストグラムは、ランダム回転が INT 量子化における歪み因子の分散を劇的に減少させる一方、FP 量子化に対しては異なる、しばしば負の影響を与えることを確認する。
- $R=4.5$ ビットにおける比較では、NestQuant が NVINT4 および NVFP4 の両方を大幅に上回ることが示された。

意義と主張
本論文は、較正統計が利用できない汎用量子化 MatMul に対する、初の情報理論的ベンチマークを提供すると主張する。その主な意義は、根本限界と制約のある実用的アプローチ（標準的な INT/FP 形式など）との間のギャップを定量化することにある。

著者らは、高レートの仮定は非常に低いビットレート（ $R < 2$ ）では成り立たない可能性があると認めつつも、LLM で通常使用されるレート（例：4 から 8 ビット）に対しては十分に正確な式を提供すると強調する。この研究は、現在の量子化戦略を評価するための理論的基盤として機能し、以下の点を浮き彫りにする：

ランダム回転は、根本限界に近づくための INT 量子化における重要な構成要素である。
FP 量子化は異なり、回転が有益であるとは限らない。
標準的な方式と理論的最適値の間には大きな性能ギャップが存在し、NestQuant のような高度な技術によって縮小可能である。

本論文は、第 II 部では、活性化の二次統計量が利用可能な重み専用量子化設定に対処することを付記して結論としている。

1. 「圧縮」の 2 種類

2. 「高レート」の仮定

3. 「完璧」と「現実」

4. 「収縮」の驚き

5. ツールのテスト

結論

関連論文