🤖 machine learning

Normalized Architectures are Natively 4-Bit

本論文は、重みと隠れ状態を単位超球面上に制約するアーキテクチャである nGPT が、構成的な信号蓄積を通じて自然に信号対雑音比を向上させることで、複雑な精度維持介入を不要としつつ、安定かつ効率的なエンドツーエンドの 4 ビット学習を可能にすることを示す。

原著者： Maxim Fishman, Brian Chmiel, Ron Banner, Daniel Soudry, Boris Ginsburg

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maxim Fishman, Brian Chmiel, Ron Banner, Daniel Soudry, Boris Ginsburg

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「正規化アーキテクチャはネイティブに 4 ビットである」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：低精度でコードを解読する

巨大で極めて複雑なレゴの城（大規模言語モデル）を建てようとしていると想像してください。通常、城が高く立ち、崩れないようにするために、巨大で頑丈なレンガ（高精度の数学）を使用します。

しかし、城をより速く建て、保存コストを削減するために、エンジニアは小さく壊れやすい 4 ビットのレゴレンガを使用したいと考えています。問題は、標準的な設計でこれらの小さなレンガを使用すると、城がしばしば崩壊したり、ぐらついたりすることです。これを修正するために、建設者は通常、構造が崩壊しないようにするために、高価な足場、追加の接着剤、そして複雑な測定ツール（「ランダム化ハダマード変換」や「テンソルごとのスケーリング」など）を追加しなければなりません。これらの修正はすべてを遅くします。

解決策：新しい設計図（nGPT）

この論文は、nGPTと呼ばれる新しい設計図を紹介しています。追加の接着剤で壊れやすい 4 ビットのレンガを補修しようとする代わりに、著者たちはレンガ自体の形状を変更しました。

nGPT では、モデルのすべての部分が「単位超球面」上に留まるように強制されます。

比喩: 標準的なレゴレンガは、小さな小石から巨大な岩まで、あらゆるサイズになり得ると想像してください。これでは、すべてが小さければ整然と積み重ねるのは困難です。
nGPT の工夫: nGPT では、すべてのレンガが完璧な大理石のように、正確に同じサイズと形状になるように強制されます。それらはすべて、見えない球体の表面に収まるように制約されています。

この形状の制約により、モデルはネイティブに頑健であると論文は主張しています。追加の足場や接着剤なしに、小さな 4 ビットのレンガだけで完全に構築できます。それは単に機能します。

なぜ機能するのか？「合唱」効果

研究者たちは問いかけました：なぜこの球体の形状がモデルをこれほど強くするのか？

彼らはモデルがどのように数学を行うかを確認しました。モデルは、数千の数字を取り、それらを掛け合わせ、すべてを足し合わせる（「ドット積」）ことでこれを行います。

標準的な方法（GPT）: 4,000 人の歌手の合唱団を想像してください。標準的なモデルでは、歌手たちは異なる音量で異なる音程を歌っています。それらを足し合わせると、ノイズ（小さな 4 ビットのレンガによる誤り）は相殺されますが、実際の歌（信号）は混沌の中に失われます。信号は弱いです。
nGPT の方法: すべての歌手（数字）が同じサイズ（球面上）になるように強制されるため、彼らは自然とわずかに協調した方法で歌い始めます。完全に同期しているわけではありませんが、弱い正の相関を持っています。
- 比喩: スタジアムで人々が「ウェーブ」を行うようなものです。ウェーブが小さくても、全員が同じ方向に動いているため、ウェーブは巨大で力強い動きへと成長します。
- 結果: nGPT では、「信号」（意図された数学）が協調したウェーブのように建設的に積み上がります。「ノイズ」（小さなレンガからの誤り）は、ランダムな雑談のように相殺されます。

これにより、はるかに明確な信号が生まれます。論文はこれを高い**信号対雑音比（SNR）**と呼んでいます。

「平坦な景観」の利点

信号が非常に強く明確であるため、モデルは非常に安定します。

比喩: 山を歩いていると想像してください。
- 標準モデル: 荒々しく岩だらけの崖を歩くようなものです。わずかに間違った一歩（不適切な学習率や小さな数学的誤り）を踏むと、崖から転落する可能性があります。非常に慎重でなければなりません。
- nGPT モデル: 広大な平坦な高原を歩くようなものです。大きなステップでも小さなステップでも、転落することはありません。クラッシュすることを心配することなく、どの方向へも歩くことができます。

これは、エンジニアが「学習率」（モデルが学習する速度）を何時間も微調整する必要がないことを意味します。大きく重いレンガに機能する設定は、小さな 4 ビットのレンガにも完璧に機能します。

彼らがテストしたもの

著者たちは理論について語るだけでなく、これらのモデルを構築してテストしました：

小規模: 12 億パラメータのモデルをテストしました。
大規模: 最大 300 億パラメータを持つ大規模な「エキスパート混合（Mixture of Experts）」モデルをテストしました。
結果: すべてのケースにおいて、nGPT モデルは 4 ビット数学のみを使用して正常に学習しました。標準モデルが要求する追加の「接着剤」（RHT やスケーリング）は必要ありませんでした。実際、nGPT モデルは数学的誤りを修正するための追加作業を行わなかったため、しばしばより正確で高速でした。

結論

この論文は、低精度の数学を複雑なパッチで修正しようとするべきではないと主張しています。代わりに、アーキテクチャ自体を「量子化対応」に設計すべきです。モデルを球体の形状に強制することで、数学は自然に、小さな 4 ビットのレンガを処理するのに十分な頑健さを持ち、AI をより速く、安価に、品質を損なうことなく学習しやすくします。

技術的概要：正規化アーキテクチャはネイティブに 4 ビットである

問題定義

大規模言語モデル（LLM）を 4 ビット精度で展開することは効率化に不可欠ですが、これらのモデルのトレーニングは依然として不安定です。標準的なトランスフォーマー・アーキテクチャは、低ビットトレーニング中の安定性を維持するために、複雑でオーバーヘッドの多い介入を通常必要とします。これらの介入には、外れ値を分散させるためのランダム化ハダマード変換（RHT）、動的なテンソルごとのスケーリング、および混合精度の例外処理が含まれます。これらの手法が 4 ビットトレーニングを可能にしている一方で、根本的な疑問を提起します：そのような「量子化トリック」に依存することなく、アーキテクチャ自体が低精度演算に対して本質的な頑健性を持つことは可能でしょうか？

手法

著者らは、モデル重みと隠れ表現の両方を単位超球面上に制約するトランスフォーマー・アーキテクチャであるnGPTを調査しました。本研究は、Blackwell GPU がネイティブにサポートする NVIDIA の NVFP4 形式に焦点を当てています。

核心的な手法には、量子化の頑健性の起源を追跡するための、nanoGPT ベースラインに基づく 36 億パラメータのトランスフォーマーの構造的分析が含まれます。著者らは、NVFP4 量子化下での行列乗算操作（$Y = WX$）を信号成分とノイズ成分に分解しました。具体的には以下の点を分析しました：

信号対雑音比（SNR）： 個々の要素レベルにおける SNR と、最終的なドット積の総和における SNR を測定。
相関構造： ドット積の総和内の要素ごとの積（ $w_k x_k$ ）間のペアワイズ相関を定量化。
スケーリング則： 隠れ次元サイズ（ $D$ ）に応じて SNR の優位性がどのようにスケーリングするかを検証。
実証的検証： RHT や動的スケーリングなしで NVFP4 を使用し、12 億パラメータの密結合モデルおよび 4 億から 300 億パラメータにわたるハイブリッド Mamba-トランスフォーマー混合専門家（MoE）モデルを含む多様なアーキテクチャをトレーニング。

主要な発見とメカニズム

1. 頑健性はノイズ抑制ではなく、信号の蓄積に由来する

低ビットの頑健性は量子化ノイズを低減することが必要であるという支配的な論理とは対照的に、著者らは nGPT が個々の重みや活性化を量子化しやすくしているわけではないことを発見しました。個々の要素およびその要素ごとの積の SNR は、標準的な GPT と nGPT の間でほぼ同一です（それぞれ約 19 dB および約 16.5 dB）。

乖離が生じるのは総和のステップ（ドット積）のみです。

標準的な GPT： 信号は非干渉的に蓄積し、ノイズはゆっくりと平均化されるため、最終的なドット積の SNR は約 18.6 dB となります。
nGPT： 超球面制約が信号の構成的な蓄積を誘発します。最終的なドット積の SNR は約 26 dB に達し、約 7.4 dB の優位性を示します。

2. 正の相関の役割

この優位性を駆動するメカニズムは、信号蓄積の整合性です。

標準的な GPT では、ネットワークはドット積を支配する少数の大きく無制限の座標に依存できます。
nGPT では、正規化制約がこの経路をブロックします。大きな出力を生成するには、モデルは数千の次元にわたる分散されたアライメントを学習しなければなりません。
このダイナミクスは、要素ごとの積（ $w_k x_k$ ）間で弱くても体系的な正の相関を誘発します。ノイズ相関は両方のアーキテクチャでほぼゼロのままですが、nGPT における信号相関は GPT よりも約 14 倍大きくなります（ $\bar{\rho}_s \approx 1.32 \times 10^{-3}$ 対 $9.31 \times 10^{-5}$ ）。
これらの正の相関により、総和中に真の信号が非干渉的なノイズよりも速く成長し、実質的に SNR を増加させます。

3. 幅とのスケーリング

SNR の優位性は静的ではなく、モデルの幅とともに増幅します。理論的分析は、隠れ次元 $D$ に基づく 3 つの領域を示唆しています：

小規模な幅： 有意な差はない。
中間的な幅（現在のモデル、例： $D=4096$ ）： SNR 比は $D$ とともに線形に成長する。
大規模な幅： 比は理論的最大値である約 14.2 で飽和する。
著者らは、現在のモデルが成長領域で動作していると指摘しており、モデルがより大きな隠れ次元（例： $D=16384$ ）にスケールするにつれて、nGPT の優位性がさらに顕著になることを示唆しています。

4. 平坦な損失ランドスケープとハイパーパラメータの頑健性

改善されたレイヤーごとの SNR は、平坦な損失ランドスケープに変換されます。重みが擾乱された場合（量子化ノイズをシミュレート）、nGPT の検証損失は標準的な GPT よりも 3.5 倍遅く劣化します。

学習率への非感応性： nGPT は、BF16 および NVFP4 の両方で広い範囲の学習率にわたって平坦な最適解を維持します。BF16 用の最適学習率は、再調整なしで直接 NVFP4 に転送されます。一方、標準的な GPT は、NVFP4 に対しては別途、著しく高い学習率のスイープを必要とします。

実験結果

著者らは、複数の構成においてこれらの発見を検証しました：

12 億パラメータの密結合モデル： 1 兆トークンでトレーニング。RHT やスケーリングなしの NVFP4 における nGPT は、NVFP4 における標準的な GPT よりも低い相対誤差を達成し、下流タスク（MMLU、GSM8K など）において BF16 における標準的な GPT を凌駕しました。
ハイブリッド Mamba-トランスフォーマー MoE： 4 億/6 億および 30 億/300 億パラメータモデルで評価。nGPT は安定性を維持し、標準的な介入なしで 30 億/300 億パラメータ構成においてほぼ 0% の相対誤差を達成しました。
スループット： RHT と動的なテンソルごとのスケーリングの計算オーバーヘッドを排除することで、nGPT NVFP4 は、大規模な隠れサイズにおいて Blackwell GPU 上で BF16 GPT ベースラインに対して3.3〜3.6 倍の高速化を達成しました。

意義と主張

本論文は、低精度モデル設計のパラダイム転換を主張しています。著者らは、量子化を事後アルゴリズムで修正すべき圧縮問題として扱うのではなく、量子化の頑健性はアーキテクチャ的であるべきであると論じています。

主な意義は、nGPT の超球面幾何学が、モデルを信号が 4 ビット演算に対して異常に良く生存する表現へと本質的にバイアスさせることを実証した点にあります。この構造的性質は、オーバーヘッドの多い修正メカニズム（RHT、動的スケーリング）の必要性を排除し、標準的なアプローチよりも効率的かつ頑健な、安定したエンドツーエンドの NVFP4 トレーニングを可能にします。著者らは、業界が 4 ビット精度以下へ移行するにつれて、標準的なアーキテクチャの上に重ねられるますます複雑な修正メカニズムよりも、このような構造的性質の方が価値がある可能性があると示唆しています。