Finer is Better (with the Right Scaling)

技術的サマリー：適切なスケーリングがあれば、より微細な粒度が優れている

問題定義
データセンターおよびエッジアーキテクチャにおける大規模言語モデル（LLM）の展開は、メモリおよび帯域幅のボトルネックを緩和するため、4 ビット以下の超低精度フォーマットへの依存度を高めています。マイクロスケーリングは、データの小ブロック（例：サイズ 16 または 32）に個別のスケーリング係数を適用する手法であり、これらの領域においてモデル品質を維持するための重要な技術です。しかし、最近の文献 [1] で指摘されたパラドックスは、より微細なブロックサイズが量子化誤差を低減するという直感的な期待に反しています。具体的には、E4M3 スケーリング係数を用いた標準的な絶対最大値（abs-max）スケーリングを使用する場合、ブロックサイズを縮小すると逆説的にモデル品質が低下し、平均二乗誤差（MSE）の増大および下流タスクにおけるパープレキシティの増加を招きます。本論文では、この現象の根本的なメカニズムを調査し、それが微細粒度に固有の限界なのか、それとも解決可能なアルゴリズム上の課題なのかを明らかにします。

手法
著者は数値解析と完全モデル評価を組み合わせた二段階の調査を実施しました。

1. 数値研究: 著者は、データに FP4（OCP E2M1）、スケーリング係数に E4M3 を使用し、様々なブロックサイズ（4、8、16、32）における量子化挙動を分析しました。理論的な MSE 挙動を孤立させるため、正規分布からサンプリングを行いました。
2. スケーリング戦略: 本研究では、以下の複数のスケーリング手法を評価しました。
   • 標準 Abs-Max: ベースライン手法であり、ブロック内の絶対最大値をスケーリング係数とし、E4M3 フォーマットで表現可能な最も近い値に丸めます。
   • Prevent-Zero: 0 へのアンダーフローを防ぐための修正手法です。スケーリング係数を、0 にアンダーフローするとブロック内のすべての値が 0 に崩壊してしまうことを防ぐため、表現可能な最小の非ゼロ値（$\epsilon_{SF}$）にクリップします。
   • 4-over-6: アルゴリズム的な介入 [2] であり、特定のブロックの MSE を最小化するため、FP4 範囲内で表現可能な 2 つの最大の値（4.0 と 6.0）からスケーリング係数を選択します。これにより、量子化幾何学を適応的に調整します。
   • 総当たり探索: 理論的な最小 MSE を見つけるために利用可能なすべてのスケーリング係数を探索する最適ベースラインであり、性能の上限を確立します。
   • 階層的スケーリング: テンソルごとのグローバルスケーリングに続き、ローカルブロックスケーリングを行う 2 段階のプロセスです。
3. 下流評価: 提案された戦略を、Granite-3.3-8B、Llama-3.1-8B、DeepSeek-LLM-7B-Base、Qwen2.5-14B の 4 つの異なる LLM の重みおよび活性化の量子化（特に MLP レイヤー）に適用しました。性能は、非量子化ベースラインに対するパープレキシティのギャップを通じて測定されました。

主要な発見と結果
本研究は、より小さなブロックサイズで観察される劣化が微細粒度に固有の欠陥ではなく、FP4（E2M1）フォーマットの粗い上位量子化ビンと相互作用する重たい裾を持つテンソル分布の結果であることを特定しました。

• 領域 A（極めて小さなスケーリング）: 標準的な abs-max スケーリングは頻繁にスケーリング係数が 0 にアンダーフローし、MSE にスパイクを生じさせます。Prevent-Zero 調整は、スケーリングを最小の正の値に強制することで、この局所的な誤差を完全に排除します。
• 領域 B（中程度のスケーリング）: ゼロ防止を行っても、より小さなブロックがより高い MSE を生むという逆説的な逆転は持続します。これは、ブロック内の最大値が粗い E4M3 グリッドと不適切に整合し、最大絶対値ビン（6.0）での過剰なクリッピングを引き起こすためです。4-over-6 手法は、4.0 と 6.0 のスケーリング係数から適応的に選択することでこれを解決し、値が FP4 範囲のより均一な部分に収まり、強いクリッピングを回避できるようにします。
• 最適ベースライン: 総当たり探索は、理想的なスケーリング係数が選択された場合、ブロックサイズが減少するにつれて MSE が厳密に改善されることを確認し、「微細であるほど優れている」という理論的妥当性を裏付けました。
• モデル固有の挙動: 下流の LLM 評価において、DeepSeek や Qwen などのモデルは直感的に振る舞い、より小さなブロックサイズでパープレキシティが改善されました。一方、Granite と Llama は、標準スケーリング下でブロックサイズ 4 および 8 において逆説的な劣化を示しました。
  • Prevent-Zero の適用は局所的な改善をもたらしますが、Granite と Llama における U 字型のパープレキシティ曲線を完全に解消するものではありません。
  • 4-over-6 の適用はパープレキシティギャップを大幅に縮小します（例：ブロックサイズ 4 において Llama のギャップを 0.725 から 0.270 に削減）。これにより、パラドックスは実質的に排除されました。
  • フォーマットの相互交換性: 本論文は、標準的な E4M3 スケーリング係数に階層的スケーリングと 4-over-6 戦略を組み合わせることで、UE5M3 のようなカスタム・広指数フォーマットを使用した場合と同等の結果が得られることを示しています。UE5M3 は本質的に広い絶対範囲を提供しますが、アルゴリズム的なレシピ（E4M3 + 4-over-6 + 階層的スケーリング）は同様の品質改善を達成します。

意義と主張
著者は、劣化がブロックサイズそのものではなく、テンソル分布と量子化幾何学間の特定の相互作用によって駆動されていることを実証することで、「ブロックサイズパラドックス」を完全に解決したと主張しています。

• アルゴリズム的解決: この研究は、正しいアルゴリズム的レシピ（特に 4-over-6 と階層的スケーリング）を適用すれば、標準的なハードウェア準拠フォーマット（OCP E4M3 など）が、カスタム・広指数フォーマット（UE5M3 など）の性能と同等の性能を達成し得ることを確立しました。
• ハードウェアのトレードオフ: 本論文はトレードオフを強調しています。UE5M3 は階層的スケーリングを必要とせずにより大きな柔軟性を提供しますが、4-over-6 アルゴリズムは計算オーバーヘッド（ブロックごとに 2 回の量子化と MSE 計算が必要）を伴います。このオーバーヘッドはオフライン重み量子化では許容されますが、動的活性化量子化では禁止的となる可能性があります。
• 将来の方向性: 著者は、現在のヒューリスティックが総当たり探索によって確立された理論的最小 MSE にまだ達していないことに言及しており、最適なスケール選択アルゴリズムの設計が将来の研究における重要な領域であることを示唆しています。

結論として、本論文は、適切なスケーリング戦略を用いれば、より微細なマイクロスケーリング粒度の理論的利点を実際には実現でき、多様な LLM アーキテクチャ全体で堅牢な下流パープレキシティの改善が可能であると主張しています。