技術要約：飽和による量子化誤差の加法性

問題提起

大規模言語モデル（LLM）の混合精度量子化においては、厳格なメモリ予算の下で、どのレイヤーやテンソルを高精度で保持すべきかを決定する必要がある。現在の業界標準の手法（HAWQ、ModelOpt、CoopQなど）は、ある構造的な前提に基づいている。すなわち、一連のレイヤーから生じる総損失は、個別に測定されたレイヤーごと、あるいはペアごとの感度から再構成できるという前提である。これらの手法は、低次の測定値によって結合構成の損失を予測できると仮定し、ヘシアンのトレース、フィッシャー・スコア、またはペアワイズの相互作用項から導出されたスコアを集計する。

しかし、この前提は、現在デプロイされている4ビットの重みおよび活性化精度のレベルにおいて、直接検証されていない。損失関数 $f(S)$ を、サブセット $S$ のレイヤーを量子化した際の損失増加と定義すると、これはブール立方体 $\{0, 1\}^L$ 上の集合関数となる。現実的なモデルの深さでは、$2^L$ 個のすべての構成を列挙することは不可能であるため、近似が必要となる。核心となる問いは、この損失関数の分散が、一次の（レイヤーごとの）効果によって支配されているのか、それとも高次の相互作用が加法的なヒューリスティックを無効にするほど重要なのかという点である。

手法

著者らは、2つの古典的なブール立方体上の基底変換、すなわちウォルシュ変換（関数的ANOVA分解）とメビウス展開を用いて、量子化による損傷 $f(S)$ の構造を分析している。

1. 分散分解: デプロイメント分布 $\mu_p$（各レイヤーが独立して確率 $p=0.6$ で量子化される）の下でのウォルシュ基底を用い、関数 $f$ の分散を次数ごとに分解する。定理1は、最適な加法的（次数1）予測器の平均二乗誤差が、すべての高次項（次数 $\ge 2$）の分散の和に正確に等しいことを確立している。
2. 順序解析: 残存する高次エネルギーが真のレイヤー間の結合を表すのか、あるいは単なる損失スケールの曲率を表すのかを判断するため、著者らは「厳密に単調増加する変換の下での加法性」をテストしている。彼らは、いかなる加法的インデックスも違反せざるを得ない、ペアワイズの構成ランキングの最小の割合である**順序欠陥（ordinal defect）**を測定している。これは、分割半検定および一致ノイズ・ヌルを用いて、測定ノイズに対する検証が行われている。
3. カバレッジ・モデル: 著者らは、**飽和（saturation）*によって駆動される「カバレッジ・モデル」を提案している。量子化損失は天井 $c$ によって制限されるため、利用可能なヘッドルーム $h(S) = c - f(S)$ は、レイヤーが量子化されるにつれて減少する。このモデルは、各量子化レイヤーが残りの*ヘッドルームの固定割合 $a_i$ を消費すると仮定する：
   $$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$$
   これは、損傷がログ・ヘッドルームにおいて加法的であることを意味する：$-\log(1 - f(S)/c) = \sum_{i \in S} b_i$。
4. 予測器とアロケーター:
   • 加法的モデル: デプロイメント分布から導出された最適な一次予測器。
   • カバレッジ・モデル: $L+1$ 個のパラメータ（$c$ およびブレーク率 $a_i$）を持つパラメトリック予測器。これは最小二乗法により適合される。
   • オーマン＝シャプレー（Aumann–Shapley）推定量: パス積分を用いた適合フリーの手法であり、レイヤー固有の有効密度における最適な加法的係数を回収する。これは、カバレッジ・モデルの下でレイヤーのランキングが正確に保持されることを証明している。
   • アロケーション（配分）: 両モデルは、メモリ予算の下で $\Delta$LCE を最小化するように、予測される限界損傷に対するナップサック問題を解くことで、アロケーターへと変換される。

主要な知見

1. 一次効果の支配

デプロイメント分布から抽出された構成において、量子化による損傷の分散の**85–93%が、レイヤーごとの効果のみによって説明される。ノイズ補正を行った正確な格子（すべての $2^L$ 構成が測定されている場合）では、この数値は98–99%**に上昇する。説明されない高次分散は、加法的モデルが達成可能な最良の性能を示す「証明書」として機能する。

2. 飽和による構造の説明

残りの高次エネルギーは、複雑なレイヤー間の結合を示すものではなく、損失関数の飽和を示している。

• 順序欠陥: 損傷は、合計項の単調変換（$f(S) \approx g(\sum b_i)$）によって良好に近似される。測定された順序欠陥は最大でも2%（しばしばゼロと区別がつかない）であり、これは、見かけ上の非加法性がレイヤー間の相互作用ではなく、損失スケールの曲率に起因することを示している。
• メビウス・スペクトル: カバレッジ・モデルは、係数が符号を交互に変え、大きさが増大していく特定のメビウス・スペクトルを予測する。これにより、低次での打ち切りは、収束する前に真の損失を大幅にオーバーシュート（最大32倍）する。この挙動は、正確な格子を用いた実験によって確認されている。

3. 単独の感度の失敗

単独で測定された感度（例：HAWQ-v2のヘシアン・トレース）は、未量子化ネットワーク（$p \to 0$）にアンカーされている。カバレッジ・モデルの下では、これらの単独の傾きは、インコンテキスト（文脈内）の最適な傾きに対して、閉形式の因子によって膨張する：
$$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$$
これにより、単独の感度を合計すると、構成の損失の価格設定が**71–376%**誤って算出される。この膨張は、量子化されたレイヤーの数とともに指数関数的に増大する。

4. 予測器およびアロケーターの性能

• 予測: 加法的モデルおよびカバレッジ・モデル（$L+1$ 個のパラメータを持つ）は、小さな測定予算（$N \approx L$）において、ブラックボックス型のサロゲート（ランダムフォレスト、ガウス過程、RBFカーネル）と同等、あるいはそれらを凌駕する性能を示す。極めて重要な点として、これらは、ガウス過程が定常カーネルによって飽和構造をエンコードできずに2–5倍劣化するのに対し、外挿時においても最大2倍の劣化に留まる。
• アロケーション: マッチしたメモリ予算において、提案されたアロケーターは、モデルの規模（0.6Bから355Bパラメータ）に関わらず、比較されたすべての手法の中で最も低いKLダイバージェンスを達成した。
  • Qwen3-30Bにおいて、プロダクション環境のModelOptベースラインよりも**17–21%**低いKLダイバージェンスを実現。
  • Qwen3-235BおよびGLM-4.6 (355B) では、**13–37%**の差が観察された。
• サブ4ビット・レジーム: 4ビットを下回ると、標準的なアロケーターは生成が停止してしまうことが多い。提案された、適合モデルから導出された配分は、他の手法が崩壊するような実効ビット幅においても、推論能力を維持する。

意義と主張

本論文は、量子化の（見かけ上の）非加法性と、レイヤーごとのヒューリスティックの成功との間の矛盾を解決する、混合精度量子化のための閉形式の理論を提供すると主張している。

• 理論的貢献: 飽和が、どのように集中したウォルシュ・スペクトル（次数1の支配）と、発散するメビウス・スペクトル（相互作用のオーバーシュート）の両方を生成するかを証明した。また、デプロイメント前の加法的モデルの限界を定量化する証明書アイデンティティ（定理1）を提供した。
• 実用的影響: 従来の「分離して合計する」ヒューリスティックが、アンカー・バイアスによって損失を桁違いに過大評価するという、根本的な欠陥があることを示した。提案されたカバレッジ・モデルとオーマン＝シャプレー推定量は、ペアワイズのサンプリングを必要とせず、より正確で解釈可能かつ計算効率の高い代替案を提供する。
• 堅牢性: 本手法は、多様なモデル規模（0.6B〜355B）、アーキテクチャ（DenseおよびMoE）、およびタスク（推論、コード、画像生成）にわたって検証されている。論文は、得られた配分が、他の手法が失敗するサブ4ビットの予算下でも、推論タスクを確実に実行できる最初の手法であると断言している。

著者らは、「相互作用」としてしばしば帰せられるものは、主に損失スケールの曲率によるアーティファクトであると結論づけている。この飽和を明示的にモデル化することで、単純で解釈可能であり、かつ証明可能な予測器を用いて、最適な配分を実現できる。