技術的概要：QAM-W

問題定義

大規模言語モデル（LLM）向けの現在のポストトレーニング量子化手法は、主にスカラー方式であり、各重みを独立して整数インデックスにマッピングする。単純である一方、スカラー符号化は重み行内に内在するペアの座標構造を無視している。著者らは、重み行内では座標が一般的に相関しており、直交回転を施すとこれらの座標は 2 次元円形ガウス分布に近似すると主張する。スカラーコードブックはこの構造を活用できず、「レート歪み余裕」を残してしまう。この余裕は、独立したスカラーとしてではなく、平面内の点としてペアを共同量子化することで回復可能である。

既存のアプローチはこの問題の一部を解決している。回転ベースの手法（例：QuIP、QuIP#）は座標の大きさを均質化するが、多くの場合スカラーまたは格子符号化に依存する。活性化感知型手法（例：AWQ）は活性化の大きさに基づいてチャネルをスケーリングするが、結合された座標構造は手つかずのまま残る。本論文は、回転、結合 2 次元符号化、および活性化感知型スケーリングを組み合わせたコーデックが、より低いビットレートで高品質を達成し得ると提唱している。

手法：QAM-W コーデック

著者らは、重み行列を行ごとに以下のパイプラインで処理するコーデック、QAM-W（重み用 Quadrature Amplitude Modulation）を導入する。

1. スケールと方向の分離: 行ノルム（$r = \|w\|_2$）をメタデータとして記録する。行を単位ベクトル $u$ に正規化する。
2. 決定論的回転: 符号マスク付きブロック・アダマール回転を正規化された行に適用する（$y = R_{fwd} u$）。この回転は実数演算において正確な等長写像であり、数学的歪みを導入することなくエネルギーを再分配して座標の相関を低減する。
3. ペアリングと較正: 隣接する回転座標を複素数値にグループ化する（$z_k = y_{2k} + i y_{2k+1}$）。各ペアは較正された係数 $\sigma_k$ でスケーリングされる。これはペアの平均振幅から経験的に推定され、これらを円形ガウス分布としてモデル化する。
4. 結合 2 次元量子化: 振幅と位相を独立して量子化する（極座標符号化）のではなく、QAM-W は各正規化されたペアを、単位円形ガウス分布上で訓練された単一の 2 次元 Lloyd-Max コードブックの最も近い重心にマッピングする。
5. 活性化感知型スケーリング: コーデック誤差を層の出力感度と整合させるため、量子化前にチャネルごとのスケーリング係数（$s_j \propto r_j^\alpha$）を適用する。ここで $r_j$ は入力チャネル活性化の RMS である。これは高 RMS チャネルの寄与を減衰させ、AWQ の論理に従う。
6. 復号: デコーダはプロセスを逆順に実行する。インデックスを解凍し、重心を検索し、$\sigma_k$ で再スケーリングし、逆回転を適用し、保存された行ノルムを乗算する。

著者らは、回転が等長写像であること、固定レートにおいて結合 2 次元符号化が極座標符号化よりも歪みを最小化すること、および層出力誤差がトレース恒等式（$\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$）によって支配されること（これが活性化感知型スケーリングを動機づける）を通じて、システムを複合的な境界連鎖として分析する。

主な貢献

• コーデック設計: 活性化感知型スケーリングを備えた、行ノルム因数分解型、ブロック・アダマール回転型、結合 2 次元 Lloyd-Max コーデック（LLM 用）。
• 理論的解析: コーデック歪み（Lloyd 歪み $D_B$）と BF16 モデルおよび量子化モデル間の Kullback-Leibler（KL）ダイバージェンスを結びつける複合単調境界。この境界は、実現された KL がコーデック歪みと同様に手法をランク付けすべきであることを示唆する。
• モデル横断の実証研究: 4 つのファミリーに属する 5 つの LLM（1.1B–13B パラメータ）および 8 つの量子化構成における評価。
• 順位相関の発見: 37 の（手法、モデル）構成において、ペアリングされた KL ダイバージェンスと $\Delta$PPL% が Spearman $\rho = 0.99$ で順位相関していることを実証し、量子化品質の診断として KL の使用を検証した。

結果

評価は、3 つの指示調整モデル（TinyLlama-1.1B、Qwen2.5-3B、Mistral-7B）と、Llama-2-7B における最先端の比較に焦点を当てている。

• 約 5.5 bpw での品質: 活性化感知型バリアントの QAM-W（QAM-W-5.5）は、すべてのテストモデルにおいて BF16 のパープレキシティから**±0.4%以内に留まる。これは約 8.1 bpw で動作するSmoothQuant W8A8の品質範囲と一致するが、約32% 少ない重みビット**で達成される。
• 結合 2 次元対極座標: 同等のビットレート（約 4 bpw）において、結合 2 次元符号化（QAM-W-4）は、量子化に耐性のあるモデル（TinyLlama、Mistral）で $\Delta$PPL が 1–3 パーセントポイント（pp）優れ、量子化に敏感な Qwen2.5 では14.6 pp優れている。
• QTIP との比較: 厳密な 4 bpw において、QTIP 手法（E8 格子トレリスを使用）は QAM-W を上回る。著者らは明示的に、QAM-W の貢献は厳密な 4 bpw の最先端ではなく、5–6 bpw の品質保持バンドであると述べている。
• 低ビットバリアント: 3.5 bpw バリアント（QAM-W-3.5）は、量子化に耐性のあるアーキテクチャ（例：Mistral 7B、+1.98% $\Delta$PPL）では競争力があるが、GPTQ と比較して敏感なモデル（Qwen 2.5、+7.5% $\Delta$PPL）では性能が劣る。
• ダウンストリームタスク: このコーデックは 6 つのダウンストリームタスク（PIQA、HellaSwag など）および MMLU でのパフォーマンスを保持し、QAM-W-5.5 はすべてのモデルで MMLU において BF16 と 0.2 pp 以内で一致する。

意義と主張

本論文は、QAM-W-5.5が LLM 圧縮のための品質保持選択肢を表しており、現在の最先端である SmoothQuant W8A8 と比較して、パープレキシティやダウンストリームタスクの精度を犠牲にすることなく、重みストレージおよびメモリ帯域幅（32% 少ないビット）の大幅な削減を提供すると主張している。

著者らは主張の範囲について謙虚である。

• 厳密な 4 bpw における優位性は主張しておらず、この領域における QTIP の支配性を認めている。
• 現在のパイプラインは行列乗算前に重みを BF16 にデ量子化するため、報告されたビットパーウェイト（bpw）の節約は、融合カーネルが実装されるまでストレージおよびメモリ帯域幅に適用され、推論レイテンシには適用されないことを指摘している。
• この研究は、標準的アテンションを備えたデコーダ専用トランスフォーマーに限定されており、Gemma 2 や Llama 3 などの現代的なアーキテクチャへの拡張や、70B 超のパラメータ規模への適用は今後の課題として残されている。
• コードブックは、チェックポイントごとの経験的分布ではなく、合成された単位円形ガウス分布上で訓練されているが、学習されたコードブックがさらなる利益をもたらす可能性が示唆されている。

要約すると、QAM-W は、回転および活性化感知型スケーリングと組み合わせた結合 2 次元符号化を通じて重みのペア座標構造を回復することが、5–6 bpw 領域での高忠実度量子化を可能にし、4 ビット手法の効率性と 8 ビット手法の品質の間のギャップを埋めることを実証している。