技術概要：TORQ – MXFP4 量子化のための 2 段階直交回転

1. 問題定義

大規模言語モデル（LLM）が実用的な展開へと移行するにつれ、マイクロスケーリング FP4（MXFP4）形式は、高いダイナミックレンジとハードウェア効率性のバランスから、低ビット推論のための重要な標準として浮上しています。しかし、LLM のアクティベーション量子化に MXFP4 を直接適用すると、精度の著しい低下を招きます。本論文は、主に整数形式（例：INT4）向けに設計された既存の回転ベースの量子化手法が、MXFP4 などのブロック浮動小数点（BFP）形式固有のトポロジカル構造に対処できていないことを特定しています。

理論的解析を通じて、著者らは性能低下が、現実世界のアクティベーション分布と MXFP4 ブロック浮動小数点形式との間の 2 つの構造的な不均衡に起因することを明らかにしました。

1. 極端なブロック間分散の不均衡: 固定ブロックマイクロスケーリング下では、アクティベーション分散が極めて不均一です。少数の高分散ブロックが全体の量子化誤差を支配します。これらのブロックは、外れ値を許容するために共有スケーリング因子（指数）を上方に押し上げ、同じブロック内の大多数の小さな絶対値を持つアクティベーションの解像度を過度に粗くし、しばしば要素の 90% 以上をゼロ化させる結果となります。
2. ブロック内コードブック利用率の不均衡（コードブックの崩壊）: 現実世界のアクティベーションは、ゼロ付近に集中する重い裾を持つ分布に従うことが多く、これは MXFP4（e2m1）の幾何級数的コードブックと不一致を来します。これにより「コードブックの崩壊」が発生し、値の大多数が最小量子化区間に落ち込み、大きな値用の高容量コードワードが遊休状態となります。統計によれば、コードワード範囲の約 50% が、データの約 10% によってのみ活性化されています。

2. 手法：TORQ フレームワーク

これらの課題に対処するため、著者らは MXFP4 量子化のためのトレーニング不要なポストトレーニング量子化（PTQ）フレームワークであるTORQ（Two-level Orthogonal Rotation for MXFP4 Quantization）を提案します。TORQ は、量子化パラメータを受動的に調整するのではなく、アクティベーションの座標系を能動的に回転させ、分布特性を MXFP4 の構造的性質に整合させます。本手法は、最適化を 2 つの数学的に直交する部分問題に分解します。

A. マクロ均衡回転（ブロック間）

• 目的: 分散をすべてのブロックに均等に再分配することで、高分散ブロックの支配性を排除すること。
• 理論的基盤: シュール・ホーン定理と凸最適化理論に基づいています。著者らは、凸誤差モデルの下では、ブロック間分散を均等化することが大域的な平均二乗誤差（MSE）を最小化することを証明しています。
• メカニズム: 変換された共分散行列の対角要素が均一（すなわち、すべてのブロック分散が等しくなる）となるように、直交変換を構築します。これは「ソフトな外れ値抑制」メカニズムとして機能し、高分散ブロックが共有スケーリング因子を押し上げるのを防ぎ、小さな絶対値を持つ要素の精度を維持します。
• 実装: 回転行列を構築するために効率的な反復ギブンス回転アルゴリズムが使用され、$O(B^2)$ 時間内での収束が保証されます。

B. マイクロ整列回転（ブロック内）

• 目的: ブロック内のアクティベーション分布を再構成して MXFP4 全体のコードブック容量を利用することで、「コードブックの崩壊」を緩和すること。
• 理論的基盤: 最大エントロピーの原理に基づいています。目標は、正規化された FP4 空間内の各コードワード区間にアクティベーション分布が均一に「流れる」ようにすることです。
• メカニズム: 経験的なコードワード使用率と一様分布との乖離を測定するコードブック占有均衡損失を定義します。
• 最適化: 交互座標降下法を採用します。
  • S ステップ: ブロックスケーリング因子を更新し、最大アクティベーション値を最大 MXFP4 コードワードにマッピングします。
  • R ステップ: ギブンス回転を用いてブロック内直交回転行列を更新します。ヒューリスティックにより、高い不均衡と統計的相補性を持つ列のペアを選択し、損失関数の区分的定数性質を利用した有限列挙を通じて最適回転角度を検索します。

推論効率

TORQ は、最小限のオーバーヘッドを設計しています。逆回転行列は、オフライン較正段階中に隣接する線形層の重みに融合されます。したがって、オンライン推論段階では、回転が実質的に重行列乗算に吸収されるため、追加の計算コストは無視できるレベルです。

3. 主な貢献

1. 問題の形式化: 本論文は、MXFP4 の性能を阻害する 2 つの構造的課題（ブロック間分散の不均衡とブロック内コードブック利用率の不均衡）を初めて体系的に特定し、形式化しました。
2. 二重レベルフレームワーク: ブロック浮動小数点構造のために明示的に設計された初の二重レベル回転フレームワークである TORQ を提案します。マクロ分散均衡とマイクロコードブック整列を統合することで、量子化誤差の体系的な最小化を実現します。
3. 理論的基盤: 凸誤差モデルの下では分散均衡が近似最適であり、MXFP4 の幾何構造の下ではコードワード占有均衡が量子化誤差の最小化を近似することを示す厳密な証明を提供します。
4. 効率的な PTQ パイプライン: 最小限の較正データ（例：128 サンプル）のみを必要とし、パラメータフットプリントがほぼゼロであるハードウェア親和性の高いパイプラインを確立しました。

4. 実験結果

8B から 70B パラメータにわたる主要な LLM（LLaMA3 シリーズおよび Qwen3 シリーズ）において実験が行われ、Dense 構造と Mixture-of-Experts（MoE）構造の両方を網羅しました。評価には、WikiText2 上のパープレキシティと、ARC、HellaSwag、MMLU、GSM8K、HumanEval などのタスクにおけるゼロショット精度が含まれました。

• 性能の優位性: TORQ は、既存の最先端（SOTA）手法（RTN、GPTQ、QuaRot、OSTQuant、FlatQuant、BRQ を含む）を大幅に上回りました。
  • Qwen3-32Bにおいて、TORQ は WikiText パープレキシティを8.43に低減しました（RTN は 274.93、OSTQuant は 14.62）。これは BF16 ベースラインの 7.61 に近づいています。
  • Qwen3-32B のゼロショットタスクにおける平均精度は、38.40%（RTN）から73.63%（TORQ）に向上し、BF16 ベースラインの 74.82% にほぼ匹敵しました。
  • LLaMA3-70Bにおいて、TORQ は3.49のパープレキシティ（RTN は 3180.43）と**76.28%**の平均精度を達成しました。
• 推論能力: TORQ は、複雑な推論タスクにおける「深い知性」の回復を強く示しました。Qwen3-8B の GSM8K において、精度は**86.82%まで回復しました（GPTQ は 67.37%）、HumanEval の精度は61.15%**に達しました。
• 汎用性: この手法は、異なるマイクロスケーリング形式（MXINT4、NVFP4）や MoE 構造（Qwen3-30B-A3B）においても有効であることが証明され、フォーマット非依存性を確認しました。
• 効率性: TORQ の較正は、競合手法よりも大幅に高速です（例：Qwen3-32B における FlatQuant の約 10 倍）。Qwen3-30B-A3B において BF16 に対して3.5 倍の推論速度向上が観測され、メモリ使用量は 56.9GB から 15.3GB に削減されました。

5. 意義と主張

本論文は、TORQ が 4 ビット浮動小数点量子化と全精度推論の間のギャップを効果的に埋め、MXFP4 アクティベーション量子化固有の精度低下を解決すると主張しています。局所パラメータ調整から「構造認識型直交変換」への最適化パラダイムの転換により、TORQ は MXFP4 アクティベーション量子化に対する初の体系的な解決策を提供します。

著者らは、この研究が LLM の効率的な展開における低ビット浮動小数点形式の応用にとって重要な基盤を築くものであると位置付けています。また、現在の焦点が 1 次統計量（尖度などの高次モーメントの無視）にあることや、固定ブロックサイズの使用といった限界を認め、これらの要因に対する適応戦略は今後の研究課題であると指摘しています。しかし、現在の結果は、低ビット浮動小数点アクティベーション量子化のための新たな最適化パラダイムを確立しています。