技術要約: FOCUS – 結合緩和（Coupled-Relaxation）と二重粒度スケーリングによるFP4の最適化

問題提起

大規模言語モデル（LLM）は、その膨大なパラメータ数に起因する重大なデプロイメント上の課題に直面しており、効率的な圧縮技術を必要としています。事後学習量子化（PTQ）は標準的な手法となりましたが、4ビット浮動小数点（FP4）形式（MXFP4やNVFP4など）への量子化を推進することは依然として困難です。これらのフォーマットは、現代のアクセラレータ（例：NVIDIA Blackwell）において、ブロック単位のスケーリングスキーム（例：32または16の値が共通の低精度スケールを共有する）を通じて、ネイティブなハードウェアサポートを提供しています。

しかし、FP4精度下でモデルの精度を維持することは、永続的なボトルネックとなっています。既存手法における決定的な制限は、量子化スケール（$S_q$）と逆量子化スケール（$S_{dq}$）の間の**強い結合（tight coupling）**です。現在のアプローチでは、両方のスケールが同じ離散的な低精度ハードウェアフォーマット（例：MXFP4におけるE8M0）および同じブロック粒度に適合することを強制しています。これは以下の理由から最適ではありません：

1. 冗長な制約: 推論時には逆量子化スケール（$S_{dq}$）のみが保存・使用され、ハードウェアの制約に従う必要があります。一方、量子化スケール（$S_q$）は、オフラインの量子化プロセス中に最適なFP4重み割り当てを決定するためにのみ使用され、その後は破棄されるため、ハードウェアの制約に従う必要はありません。
2. 離散的な最適化空間: $S_q$を離散的な低精度フォーマットに強制することで、既存の手法は最適化のランドスケープを制限し、勾配ベースの学習による最適な重み割り当ての発見を妨げてしまいます。
3. 粒度の不一致: 単一のブロックレベルのスケールでは、ブロック内の局所的な重みの変化を捉えることができず、量子化誤差につながります。

手法

著者らは、FP4の精度を高めるために「量子化スケールの自由度」を活用する、事後学習量子化フレームワークであるFOCUSを提案しています。このフレームワークは、推論オーバーヘッドを導入することなく、精度と粒度の2つの次元で動作します。

1. ベースライン: エンドツーエンドのスケール学習

著者らはまず、モデルの重みを固定し、知識蒸留損失（KL-Top）を用いてブロック単位のスケールをエンドツーエンドで学習するベースラインを確立しました。従来のPTQとは異なり、このベースラインは非微分的な量子化操作を扱うためにストレートスルー推定器（STE）を使用して勾配降下法によりスケールを最適化します。しかし、このベースラインでも依然として $S_q = S_{dq}$ を強制しており、強い結合を維持しています。

2. 結合緩和スケーリング (Coupled-Relaxation Scaling: CRS)

精度に関する制約に対処するため、FOCUSは**結合緩和スケーリング（CRS）**を導入します。

• メカニズム: CRSは、学習可能なフルプレシジョン係数 $c_i$ を導入することで、量子化スケールをハードウェア指定のフォーマットから切り離します。
• 定式化: 量子化スケールは $S_q = S_{dq} \cdot c_i$ と定義されます。ここで、$S_{dq}$ はハードウェア準拠のスケール（E4M3またはE8M0に量子化される）であり、$c_i$ は1に初期化されたフルプレシジョン（FP16）の学習可能パラメータです。
• 効果: これにより、量子化スケールと逆量子化スケールの間の強い結合が緩和され、量子化スケールの最適化が離散的な低精度空間から連続的なフルプレシジョン空間へと引き上げられます。これにより、モデルは $S_{dq}$ がハードウェア要件に適合することを保証しつつ、より優れたFP4重み割り当てを見つけることが可能になります。係数 $c_i$ はトレーニング後に破棄されます。

3. 二重粒度スケーリング (Dual-Granularity Scaling: DGS)

粒度の制約に対処するため、FOCUSは**二重粒度スケーリング（DGS）**を導入します。

• メカニズム: DGSは、各ハードウェアブロック（MXFP4の場合はサイズ32、NVFP4の場合はサイズ16）を、より小さなサブブロック（例：サイズ8）に分割します。各サブブロックには、独立したフルプレシジョン緩和係数（$c_k$）が割り当てられます。
• 定式化: サブブロック $k$ の量子化は $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ となりますが、$S_{dq}$ はブロック全体で共有されたままとなります。
• 効果: これにより、量子化スケールが逆量子化スケールよりも細かい粒度で動作できるようになり、単一のブロックレベルのスケールでは捉えきれない、ブロック内の局所的な重みの変化を捉えることが可能になります。CRSと同様に、これらの係数はトレーニング後に破棄されます。

4. デプロイメントと互換性

FOCUSは、推論オーバーヘッドやフレームワークの変更を必要とする構造的な変換（例：アダマール回転）に依存しません。最終的にデプロイされるモデルは、標準的なFP4重みとハードウェア準拠の逆量子化スケールのみで構成されるため、既存の推論エンジンとのシームレスな互換性とゼロの追加推論コストを保証します。

主な貢献

1. 洞察の特定: 本論文は、量子化スケールは逆量子化スケールとは異なり、ハードウェアの制約から自由であるという事実を特定し、精度と粒度の両面でこの自由度を活用することを提案しました。
2. 結合緩和スケーリング (CRS): 量子化スケールと逆量子化スケールの結合を緩和するために学習可能なフルプレシジョン係数を導入し、連続的な勾配ベースの最適化を可能にする技術。
3. 二重粒度スケーリング (DGS): 量子化スケールをサブブロックレベルで割り当てることで、ブロック単位のスケーリングでは表現できないブロック内の重みの変化を捉える手法。
4. 最先端の性能: 広範な実験により、FOCUSが複数のLLMファミリー（Qwen, LLaMA）において、推論オーバーヘッドなしでMXFP4およびNVFP4フォーマットの下でSOTA（State-of-the-Art）のFP4精度を達成することを実証しました。

実験結果

著者らは、5つのLLM（Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B）について、WikiText2、C4、および5つのゼロショット推論ベンチマーク（ARC, HellaSwag, PIQA, Winogrande）を用いて評価を行いました。

• 精度の回復: NVFP4環境下のQwen3-4Bにおいて、FOCUSはFP16のゼロショット精度を**98.2%**回復し、RTN、GPTQ、MR-GPTQ、4over6、RaZeRといったベースラインを大幅に上回りました。
• パープレキシティ: FOCUSは、ほぼすべての設定において最も低いパープレキシティを達成しました。Qwen3-8Bでは、WikiText2（NVFP4）において9.47のパープレキシティに達し、FP16のベースラインである9.73に肉薄しました。
• 推論能力: Chain-of-Thought（CoT）タスク（GSM8K, MMLU）において、FOCUSは競合する手法を一貫して上回り、他のFP4量子化手法よりも多段階の推論能力をより良く保持しています。
• 効率性: 量子化プロセスは軽量です。単一のNVIDIA H20 GPUを使用した場合、Qwen3-4Bの量子化には19分かかり、これは以前のSOTA手法であるMR-GPTQよりも34%高速です。

意義と主張

本論文は、量子化スケールの役割を再考することにより、FOCUSがFP4量子化におけるパラダイムシフトを象徴していると主張しています。量子化スケールは保存される必要がなく、ハードウェアの制約に従う必要もないという事実を認識することで、著者らはこれまで未開拓であった重要な最適化空間を解放しました。

その意義は、ゼロの推論オーバーヘッドとシームレスなハードウェア互換性を維持しながら、FP4推論において最先端の精度を実現したことにあります。計算コストを追加したりフレームワークの適応を必要としたりする変換ベースの手法とは異なり、FOCUSは純粋にスケールの最適化空間内で動作します。著者らは、彼らのアプローチがFP4とフルプレシジョン（FP16）モデルの間の性能ギャップを効果的に埋め、高効率なW4A4推論を実用的なデプロイメントにおいてより実行可能なものにすると断言しています。