💬 NLP

Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling

本論文は、大きな値をより適切に処理するためにブロックスケールを動的に調整することで量子化誤差を低減し、最小限の計算オーバーヘッドでBF16に近いトレーニングおよび推論性能を達成するNVFP4量子化のための適応的ブロックスケーリング手法「Four Over Six（4/6）」を導入する。

原著者： Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な図書館の書籍を、小さく携帯可能なスーツケースに詰め込むと想像してください。その書籍は大型言語モデル（AI）の「脳」を表し、スーツケースはコンピュータのメモリを表します。すべてを収めるには、書籍を縮小する必要があります。

長らく、BF16（標準的な高精度フォーマット）という手法が使われてきました。これは書籍を頑丈で重い箱に詰めるようなものです。正確ですが、スーツケースはすぐに満杯になってしまいます。最近、エンジニアたちははるかに小さいフォーマットであるNVFP4への切り替えを試みました。NVFP4は、小さく軽量な折り紙の箱のセットのようなものです。これにより、スーツケースにははるかに多くの書籍を収められ、AI の実行も高速化されます。しかし、欠点があります。箱が小さすぎるため、「大きな」書籍の一部がつぶれたり、しわくちゃになったり、ページが失われたりするのです。この「しわくちゃ化」は量子化誤差と呼ばれ、AI が誤りを犯す原因となります。

問題：小さな箱の「粗い縁」

この論文は、NVFP4 には奇妙な癖があると説明しています。保持できる特定のサイズは 0.5、1、1.5、2、3、4、6 です。

書籍が正確にサイズ 4 なら、完璧に収まります。
書籍がサイズ 5 なら、収まりません。サイズ 4 の箱かサイズ 6 の箱に無理やり押し込む必要があります。
サイズ 5 の書籍をサイズ 4 の箱に無理やり押し込むと、多くの情報が失われます（つぶされます）。サイズ 6 の箱に押し込むと、多くのスペースが浪費されます（ガタガタ揺れます）。

著者らは、「つぶれ」が最も頻繁に発生するのは、最大の箱とほぼ同じ大きさの書籍（「最大値に近い」値）であると発見しました。標準的な手法では、スーツケースは絶対的に最大の書籍（サイズ 6）を収められるように設計されています。しかし、これによりサイズ 5 の書籍がひどくつぶされる巨大な隙間が生まれてしまいます。

解決策：「4 Over 6」（4/6）

著者であるジャック・クックと彼のチームは、Four Over Six（4/6）と呼ばれる巧妙なトリックを考案しました。

スーツケースを詰める場面を想像してください。すべてのアイテムを「サイズ 6」の箱に無理やり収めるのではなく、アイテムの各グループを確認します。

従来の方法：すべてのグループに「サイズ 6」の箱が必要だと仮定します。グループにサイズ 5 の書籍があれば、それを潰してしまいます。
4/6 の方法：グループを確認します。その特定のグループで最大の書籍がサイズ 5 だけなら、「このグループにはサイズ 6 の箱は不要だ。代わりにサイズ 4の箱を使おう」と判断します。

その特定のグループでより小さな「サイズ 4」の箱に切り替えることで、「サイズ 5」の書籍（箱の制限に対して相対的に小さくなった）は、はるかに快適に収まります。もう縁に押し潰されることはありません。

比喩：
ビデオゲームのキャラクターがジャンプする場面を想像してください。

標準 NVFP4：ゲームはキャラクターが最大 10 フィートまでジャンプできると仮定します。9 フィートのジャンプを試みると、ゲームはそれを 8 フィートに切り捨てます（大きな低下）。
4/6 方式：ゲームは特定のレベルを確認します。もし最も高いプラットフォームが 6 フィートしかないなら、「ジャンプ制限」を 6 フィートに切り替えます。これで、5 フィートのジャンプは 6 フィート（または 4 フィート）に、より正確に丸められます。キャラクターはそれほど遠くまで落ちません。

実務での仕組み

この論文は、パッキングする前にデータの小さな断片（「ブロック」と呼ばれる）をすべて確認するスマートなアルゴリズムについて説明しています。

ブロックを「サイズ 6」の箱にパッキングし、失われる情報を計算します。
同じブロックを「サイズ 4」の箱にパッキングし、損失を計算します。
ダメージが少ない（誤差が少ない）方の箱を選択します。

通常、非常に大きな数値を含むブロックでは、「サイズ 4」の箱が勝者となります。なぜなら、これにより「最大値に近い」数値がより良く収まるからです。

結果

チームは、Nemotron 3 Nano（300 億パラメータ）と呼ばれる巨大な AI モデルでこれをテストしました。

トレーニング：4/6 を使用して AI をトレーニングしたところ、標準的な NVFP4 方式と比較して、AI はより良く学習し、誤りを減らしました。重く遅い「BF16」方式のパフォーマンスに大幅に近づきつつ、NVFP4 の速度とサイズ上の利点を維持しました。
速度：この「スマートなパッキング」はコンピュータの速度を低下させないことが示されました。追加の作業量は 15% 未満であり、はるかに高い精度を得るためのわずかなコストです。
既存モデル：彼らはまた、すでにトレーニング済みのモデル（Llama や Qwen など）でもこれを試しました。再トレーニングなしでも、4/6 を使用することで、これらのモデルは読解力や論理パズルなどのテストにおいて、より賢く、正確になりました。

結論

この論文は、異なるデータグループに対してどの箱のサイズを使用するかをより賢く選択すること（時には「6」の代わりに「4」を使用すること）によって、重要な情報の「つぶれ」を防ぐことができると主張しています。これにより、低精度 AI（NVFP4）の精度が大幅に向上し、現在のハードウェア上で、その「知能」を失うことなく、より大きく、高速な AI モデルを実行できるようになります。

彼らはコード（カーネル）も公開しており、他の人々が NVIDIA の最新 Blackwell GPU でこの「スマートなパッキング」手法を使用できるようにしています。

技術的サマリー：Four Over Six (4/6)

問題定義

大規模言語モデル（LLM）のスケール拡大に伴い、トレーニング速度の向上とメモリ使用量の削減を目的とした、NVFP4 などの低精度数値フォーマットへの関心が高まっています。しかし、精度の低下によりモデル性能が劣化する NVFP4 への量子化は依然として課題となっています。

この研究で特定された核心的な問題は、浮動小数点フォーマットに固有の非一様なステップサイズです。整数フォーマットとは異なり、FP4（具体的には E2M1）は動的なステップサイズを持ちます：0 から 2 の間は 0.5、2 から 4 の間は 1、4 から 6 の間は 2 です。標準的な NVFP4 ブロックスケーリング量子化では、値が [-6, 6] の全範囲にスケーリングされます。これにより、最大値に近い値に対して顕著な量子化ギャップが生じます。具体的には、ブロックの最大値が 6 にスケーリングされた場合、表現可能な FP4 値「4」は、ブロックの最大絶対値の 66.6% に相当するに過ぎません。その結果、ブロックの最大値の 66.6% から 100% の間の値は正確に表現できず、これらの最大値に近い値に対して大きな量子化誤差が生じます。

著者による Llama-3.1-8B の分析によると、スケールファクターの量子化誤差の影響は最小限である一方、最大値に近い値（具体的にはスケーリングされた値 5 付近）の丸めによって生じる誤差が、NVFP4 量子化モデルの性能劣化の主要な要因であることが示されました。

手法：Four Over Six (4/6)

本論文は、最大値に近い値に対する量子化誤差を低減するように設計された、NVFP4 ブロックスケーリング量子化アルゴリズムの修正版であるFour Over Six (4/6) を提案します。

中核メカニズム

すべてのブロックを最大 FP4 値である 6 に均一にスケーリングするのではなく、4/6 は特定のブロックを最大値 4 に適応的にスケーリングします。

標準 NVFP4（スケール = 6）: 値は [-6, 6] 全体に分布します。表現可能な値 4 と 6 の間のギャップは 2 ユニットです。
4/6（スケール = 4）: 選択されたブロックでは、値は [-4, 4] 全体に分布します。表現可能な値 3 と 4 の間のギャップは 1 ユニットです。

特定のブロックで 5 と 6 という極端な値を表現する能力を犠牲にすることで、この手法はブロックの絶対値の 75% から 100% の範囲における表現可能な値のより均一な分布を可能にします。例えば、ブロックの最大値の 75% を表す値は、スケール 4 のブロックでは「3」として正確に表現できますが、スケール 6 のブロックでは大きな誤差ギャップに陥ることになります。

適応的ブロックスケーリングアルゴリズム

すべてのブロックを 4 にスケーリングすることは、6 にスケーリングする場合と比較してブロックのダイナミックレンジを 50% 削減するため、普遍的に有益ではないため、この手法は適応的な選択プロセスを採用しています：

二重量子化: 各ブロックに対して、アルゴリズムは値を 2 回量子化します。1 回はスケールファクター 6 で、もう 1 回はスケールファクター 4 で行います。
誤差計算: 両バージョンの量子化誤差を、元の高精度値に対して計算します。
選択ルール: アルゴリズムは誤差を最小化するスケール（4 または 6）を選択します。論文では 3 つの選択ルールが評価されています：
- 最小最大誤差
- 最小平均絶対誤差（MAE）
- 最小平均二乗誤差（MSE）
- 知見: 学習後量子化（PTQ）の場合、MSE が最良の結果をもたらします。事前学習の場合、MAE がわずかに優れたパフォーマンスを示します。

実装詳細

テンソルスケーレ調整: ブロックを 4 にスケーリングする場合（6 にスケーリングされたブロックと比較してスケールファクターが 1.5 倍大きくなる必要があるため）、FP8 E4M3 スケールファクターでのオーバーフローを防ぐため、グローバルテンソルスケーレ $\alpha$ は、標準の 448 の代わりに最大 FP8 値 256 を使用して計算されます。
ハードウェア効率: この手法は、CUDA カーネル内の NVIDIA Blackwell GPU PTX 命令（cvt ファミリー）を使用して実装されています。すべての中間値と誤差計算は、メモリアクセスのオーバーヘッドを最小化するためにレジスタファイル内に保持されます。
オーバーヘッド: 著者によると、4/6 は NVFP4 量子化カーネルへの計算オーバーヘッドを 15% 未満に抑えています。

主要な貢献と結果

1. 事前学習のパフォーマンス

著者は、1 兆トークンのデータセットを使用して Nemotron 3 Nano 30B-A3B モデルアーキテクチャ上で 4/6 を評価しました。

損失の低減: 4/6 は、標準的な NVFP4 トレーニングレシピと比較して、トレーニング損失を BF16 ベースラインに13.0% 近づけました。
最適構成: 驚くべきことに、アクティベーションのみに 4/6 を適用することは、アクティベーション、重み、勾配のすべてに適用した場合と同等のパフォーマンスを示し、計算オーバーヘッドは少なくなりました。
スケール選択: 事前学習では、スケール選択に MSE を使用するよりも MAE を使用した方が優れていました。

2. 学習後量子化（PTQ）

この手法は、WikiText-2 と C4 のパープレキシティ指標において、既存の PTQ 手法（RTN、GPTQ、AWQ、SmoothQuant）と組み合わせて、1B から 70B パラメータまでの Llama 3 および Qwen 3 モデルでテストされました。

一般的な改善: 4/6 は、AWQおよびSmoothQuantと組み合わせた場合、パープレキシティ指標を均一に改善し、単語のパープレキシティをそれぞれ BF16 パフォーマンスに**19.9%および5.3%**近づけました。
GPTQ との相互作用: 現在の実装では、GPTQ と組み合わせた場合、4/6 はパフォーマンスをわずかに低下させましたが、著者は GPTQ 最適化プロセスを 4/6 を取り入れるように修正することで、将来的な改善が得られる可能性があると指摘しています。
下流タスク: BoolQ、ARC-Easy、ARC-Challenge、HellaSwag などのタスクにおいて、4/6 は AWQ および SmoothQuant と組み合わせた場合、ほぼすべてのケースで平均タスクパフォーマンスを向上させました。

3. 効率性

この実装は、現代のハードウェアアクセラレータ（NVIDIA Blackwell）向けに設計されており、量子化誤差の低減による恩恵が過剰な計算オーバーヘッドによって相殺されないことを保証しています。

意義と主張

本論文は、4/6 が、浮動小数点フォーマットが最大値に近い値に関して抱える特定の弱点に対処する、軽量かつ効率的な NVFP4 量子化アルゴリズムの修正版であると主張しています。

精度とオーバーヘッド: 高価な「修復」フェーズや高精度のフォールバックに頼ることなく、最小限の計算オーバーヘッド（15% 未満）で BF16 ベースラインに近い顕著な精度向上を達成し、NVFP4 トレーニングの実用性を高めています。
ハードウェア互換性: この手法は現在の NVIDIA Blackwell GPU とネイティブに互換性があり、NVFP4 に対する既存のハードウェアサポートを活用しています。
汎用性: NVFP4 に焦点を当てていますが、適応的ブロックスケーリングの概念は、ブロックスケーリング浮動小数点フォーマットにおける最大値に近い値の表現を改善するための一般的な手法として提示されています。ただし、著者はスケールファクターの精度（FP8 E8M0 対 E4M3）の違いにより、MXFP4 には直接適用できないと指摘しています。

著者らは、4/6 が大規模 LLM における低精度 FP4 トレーニングと推論を実用的にするための前進であり、量子化の速度とメモリ上の恩恵を維持しつつ、性能を高品質なベースラインに近づけるものであると結論付けています。