Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

この論文は、Ascend NPU 向けに設計された HiFloat 形式（HiF8 および HiF4）を評価し、特に 4 ビット領域での精度低下の回避や、既存の量子化フレームワークとの完全な互換性を実証することで、LLM の高効率推論を実現する解決策を提示しています。

要約

🎒 1. 背景：AI の「荷物が重すぎる」問題

最近の AI（LLM）は非常に賢いですが、その分「荷物（データ）」が重すぎて、動かすのに巨大なエネルギーとメモリが必要です。
これを解決するために、研究者たちは**「量子化（Quantization）」**という技術を使います。

• イメージ： 高解像度の写真（元のデータ）を、画質を少し落としてファイルサイズを小さくすること。
• 従来の方法： 荷物を「整数（1, 2, 3...）」という箱に詰め替えるのが主流でした。しかし、AI のデータには「極端に大きい数字」や「極端に小さい数字」が混じっていることが多く、整数の箱では詰めきれない（精度が落ちる）という問題がありました。

🧩 2. 新登場！「HiFloat」という新しい箱

この論文では、Huawei の Ascend という AI チップ（NPU）向けに開発された**「HiFloat（ハイフロート）」**という新しい詰め方（データ形式）を評価しました。
これは「浮動小数点（小数点の位置が動く数字）」の一種ですが、AI の特性に合わせて工夫されています。

🔹 HiF8（8 ビット版）：「8 個の箱」

• 特徴： 数字の大きさに合わせて、箱の「整数部分」と「小数部分」の比率を自動で変えることができます。
• 発見：
  • 重み（Weight）： AI の「知識」そのもの（重み）は、ほとんどが「0 に近い小さな数字」の集まりです。これには**「整数（INT8）」**の方が、無駄なく細かく詰められるため、HiFloat よりも優秀でした。
  • 活性化（Activation）： AI が計算している途中の「一時的な思考」は、突然大きな数字が出たりします。これには、大きさを柔軟に扱える**「HiFloat」の方が得意**でした。
  • 結論： 「知識（重み）」は整数で、「思考（活性化）」は浮動小数点で、使い分けるのがベストです。

🔹 HiF4（4 ビット版）：「4 個の箱」

ここが今回の最大の発見です。

• 問題： 箱をさらに小さくして「4 ビット」にすると、整数（INT4）では**「荷物が崩壊」**します。極端な数字が入ると、箱が溢れてしまい、AI がバカになってしまいます。
• HiF4 の解決策： **「3 段階のピラミッド構造」**を採用しました。
  • イメージ：
    • 大きな荷物を運ぶトラック（ブロック全体）
    • 中に入る大きな箱（サブブロック）
    • 一番細かい小箱（マイクロブロック）
    • このように**「全体・中・細部」の 3 つのレベルでスケール（大きさの基準）を変える**ことで、極端な数字があっても、他の数字の精度を犠牲にせずに収容できます。
• 結果： 4 ビットという極限の環境でも、HiF4 は AI の性能をほぼ維持しました。他の方法（整数や、他の浮動小数点）はここで崩壊しましたが、HiF4 は生き残りました。

🏗️ 3. 具体的な実験結果：なぜ HiF4 がすごいのか？

研究者たちは、Qwen3-8B や openPangu-7B という最新の AI モデルを使ってテストしました。

• 8 ビットの場合：
  • 重みには「整数（INT8）」、活性化には「HiF8」を使うと、元の AI とほぼ同じ性能が出ました。
• 4 ビットの場合（超圧縮）：
  • 整数（INT4）は、AI が全くまともに動かないレベルで精度が落ちました（「壊滅的」）。
  • HiF4 は、元の AI の 97% 以上の性能を維持しました。
  • さらに、AI が長い文章を記憶する「KV キャッシュ（メモリの役割）」まで 4 ビットで圧縮しても、HiF4 は安定して動きました。

💡 4. 重要な教訓：「万能な箱」は存在しない

この研究から得られた最大の教訓は、**「データの種類によって、最適な詰め方が違う」**ということです。

• 狭い範囲のデータ（重み）： 均一な「整数の箱」が得意。
• 変動が激しいデータ（活性化）： 柔軟な「浮動小数点の箱」が得意。
• 極限の圧縮（4 ビット）： 単一の箱では無理で、**「3 段階のピラミッド構造（HiF4）」**が唯一の解決策。

🚀 まとめ

この論文は、**「HiFloat（特に HiF4）」**という新しい技術が、AI をより小さく、より速く、かつ低コストで動かすための「鍵」になることを証明しました。

特に、**「4 ビットという極限の圧縮でも、HiF4 のピラミッド構造なら AI を壊さずに動かせる」**という点は、今後の AI 普及（スマホや PC での実行など）にとって非常に大きな進歩です。

一言で言うと：

「AI の荷物を小さく詰め替える際、『重み』には整数の箱、『思考』には柔軟な箱を使い分け、さらに『4 ビット』という超圧縮では『3 段階のピラミッド構造』の箱を使うのが最強だと証明しました！」

技術概要

論文要約：Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

この論文は、華為技術（Huawei Technologies）の研究チームによって執筆され、昇騰（Ascend）NPU 向けに設計された低ビット浮動小数点形式「HiFloat（HiF8 および HiF4）」の大規模言語モデル（LLM）推論における性能を包括的に評価したものです。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の急激な拡大に伴い、計算スループットとメモリ帯域幅への負荷が深刻化しています。これを緩和する手段として、量子化（Quantization）が重要なパラダイムとなっています。

• 既存の課題: 従来の量子化研究は、主に整数形式（INT8, INT4 など）に焦点が当てられてきました。しかし、LLM の重みやアクティベーションには「外れ値（outliers）」や「高い変動性（high-variance）」が存在し、均一な間隔を持つ整数形式では、特に 4 ビットのような超低ビット幅において精度が急激に劣化する（Accuracy Collapse）という問題が発生します。
• 浮動小数点の台頭: Microscaling (MX) 形式や NVIDIA の NVFP4 などの低ビット浮動小数点形式が登場し、動的範囲の広さを活かした精度向上が期待されています。しかし、昇騰 NPU 向けに最適化された HiFloat 形式が、ポストトレーニング量子化（PTQ）の文脈でどのように機能するかは未評価でした。

2. 手法と評価対象 (Methodology)

本研究では、昇騰 NPU 向けに設計された HiFloat フォーマットファミリーを評価対象とし、重み（Weights）、アクティベーション（Activations）、KV キャッシュ（KV Cache）の 3 つのコンポーネントに対して包括的な評価を行いました。

• 評価対象フォーマット:
  • HiF8 (8-bit): IEEE 754 標準を拡張し、動的な仮数（mantissa）割り当てを行う形式。重み分布に合わせてビット配分を調整します。
  • HiF4 (4-bit): 3 レベルの階層的スケーリング構造を採用。64 要素のブロックを共有するスケール（E6M2）、8 要素サブブロックのスケール（E1）、4 要素マイクロブロックのスケール（E1）を組み合わせ、局所的な変動を捉えます。
• 比較対象:
  • 整数形式：INT8, INT4
  • 浮動小数点形式：MXFP (Microscaling), NVFP4, E4M3, E5M2 など
• 評価手法:
  • 分布分析: 重み、アクティベーション、KV キャッシュの統計的分布と量子化後の信号対量子化雑音比（SQNR）を層ごとに分析。
  • エンドツーエンド性能評価: Qwen3-8B および openPangu-7B に対して、Wikitext-2, C4, MMLU, ARC-Challenge などのベンチマークでパープレキシティ（PPL）と正解率を測定。
  • 既存フレームワークとの相乗効果: SmoothQuant や SVDQuant などの外れ値抑制技術との組み合わせによる性能検証。

3. 主要な貢献と知見 (Key Contributions & Insights)

3.1 数学的定式化と分布特性の解明

• HiFloat 形式の量子化・逆量子化ロジックを正式に定義し、昇騰 NPU での実装基盤を提供しました。
• 重み（Weights）: 重み分布は狭い範囲に集中しているため、INT8 が最も適していることが判明しました。浮動小数点形式は、重み分布で使われない動的範囲（指数ビット）にビットを割くため、量子化粒度が粗くなり、精度が低下する傾向があります。
• アクティベーション（Activations）: アクティベーションは外れ値が多く変動が激しいため、浮動小数点形式（HiF8, MXFP8）が優位です。動的範囲の広さが外れ値を捉えるのに不可欠です。
• 4 ビット領域での決定的な差: 4 ビット（W4A4）では、均一な間隔を持つ整数形式（INT4）は精度が崩壊します。これに対し、HiF4 の階層的スケーリング構造が外れ値を局所的に分離し、精度を維持する鍵となります。

3.2 HiF4 の優位性

• HiF4 vs NVFP4: 4 ビット領域において、HiF4 は NVFP4 と同等かそれ以上の性能を示しました。特に、重みとアクティベーションの両方を 4 ビットに量子化する（W4A4）シナリオや、KV キャッシュも 4 ビットに圧縮する（QKV4）極限の条件下でも、HiF4 はモデルの整合性を維持しました。
• 外れ値への耐性: HiF4 の 3 レベル階層構造は、ブロック内の局所的な変動に適応し、単一レベルの MXFP4 や均一な INT4 が抱える「ビンニングの粗さ」を解決します。

3.3 既存 PTQ フレームワークとの親和性

• HiFloat は SmoothQuant や SVDQuant などの既存のポストトレーニング量子化フレームワークと完全に互換性があり、これらと組み合わせることで、さらに精度を向上させる相乗効果を確認しました。

4. 実験結果 (Results)

• 8 ビット推論 (W8A8):
  • 重みには INT8 が、アクティベーションには浮動小数点形式が適していますが、全体としての精度差は小さく、HiF8 は SmoothQuant と組み合わせることで BF16 ベースラインに極めて近い性能を達成しました。
• 4 ビット推論 (W4A4):
  • INT4: 精度が崩壊し、正解率が 30% 以下になるなど実用不可能なレベルでした。
  • MXFP4: 整数よりは優れていますが、依然として大きな精度低下（Qwen3-8B で約 10% 低下）がありました。
  • HiF4: Qwen3-8B で BF16 ベースラインの 96.5% 以上、openPangu-7B で 97.0% 以上の精度を維持しました。RTN（Round-to-Nearest）のみでも良好な結果を示し、SmoothQuant/SVDQuant と組み合わせるとさらに精度が向上しました。
• KV キャッシュ量子化:
  • 4 ビット KV キャッシュ（QKV4）を適用した場合、HiF4 は他のすべての 4 ビット形式（NVFP4, MXFP4, INT4）を上回る性能を発揮しました。特に長文脈（LongBench）タスクにおいて、誤差蓄積に対する耐性が強く、HiF4 の階層構造の重要性が浮き彫りになりました。

5. 意義と結論 (Significance & Conclusion)

この研究は、昇騰 NPU における超低ビット LLM 推論のための実用的なソリューションを提供するものです。

1. 形式選択の指針: 「重みには整数（INT8）、アクティベーションには浮動小数点」という 8 ビット領域の知見に加え、「4 ビット領域では階層的浮動小数点（HiF4/NVFP4）が必須であり、均一整数は機能しない」という明確な結論を示しました。
2. HiF4 の実用性: HiF4 は、4 ビットという厳しい制約下でも、外れ値を効果的に処理し、モデルの精度を維持する唯一の実用的なフォーマットとして確立されました。
3. 昇騰 NPU 向け最適化: 昇騰ハードウェアの特性に合わせた HiFloat 形式が、既存の MX 形式や NVFP4 と競合し、あるいは凌駕する性能を持つことを実証しました。

結論として、HiFloat（特に HiF4）は、昇騰 NPU 上での高効率かつ高精度な LLM 推論を実現するための基盤技術として、低ビット量子化の新たな標準となり得る可能性を秘めています。