🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

この論文は、レイヤーノーマライゼーションが平均中心化によって出力を原点を通る超平面に制限し、重み行列の局所学習係数を出力次元の半分だけ減少させるのに対し、RMS ノーマライゼーションは球面への射影によりその複雑さを維持することを、幾何学的制約とデータ多様体の曲率に基づいて理論的に証明し、実験的に検証したものである。

原著者： Sungbae Chun

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sungbae Chun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍎 核心となる発見：「整理整頓」には代償がある

AI を訓練する際、LayerNorm（レイヤーノーマライゼーション）や RMSNorm（RMS ノーマライゼーション）という「データの整理整頓」を行うステップが一般的です。これらはどちらもデータを扱いやすくする役割を果たしますが、その「整理の仕方が違う」ことで、AI の能力（パラメータの自由度）に劇的な違いが生まれます。

この論文は、**「LayerNorm は AI の自由度を削ぐが、RMSNorm は削がない」**ということを、数学的に証明しました。

1. 2 つの整理方法の違い

AI の入力データを「部屋の中の家具」と想像してください。

LayerNorm（平均中心化）：
- 仕組み： 「家具の中心を部屋の真ん中に合わせ、高さを揃える」という作業です。
- 結果： 家具がすべて「床（平面）」の上に収まります。
- 問題点： 家具が「床」という平らな面に限定されてしまうと、「天井方向への動き」が失われます。 AI は「天井方向」の情報を扱う必要がなくなるため、その分の「脳みそ（計算能力）」が不要になります。つまり、AI の複雑さが減る（コストが下がる）のです。
- 論文の結論： この「天井方向の失い」は、AI の学習に必要なパラメータの数を正確に半分（m/2）減らす効果があります。
RMSNorm（球面投影）：
- 仕組み： 「家具を部屋の中心から同じ距離になるように配置する」という作業です。
- 結果： 家具は「球（ドーナツのような立体）」の上に散らばります。
- メリット： 球の上には「上・下・左・右・前・後」すべての方向があります。家具が平らな床に限定されていないため、AI はすべての方向を自由に扱えます。
- 結論： 自由度は減らず、AI の複雑さはそのまま維持されます。

2. 「平らさ」が鍵となる「境界線」

この論文で最も面白い発見は、**「曲がっていれば OK、平らならアウト」**という明確な境界線があることです。

平らな地面（直線・平面）：
- LayerNorm が作る「床」は完全な平らな平面です。ここが**「自由度が削がれるトリガー」**になります。
少しの曲がり（曲面）：
- もし地面が「お椀」や「山」のように少しでも曲がっていれば、AI は「あ、ここは平らじゃないな」と認識し、すべての方向を扱う必要が出てきます。
- 驚くべき事実： 曲がりが「プラス」でも「マイナス」でも、「0 でない（少しでも曲がっている）」だけで、自由度は削がれません。 曲がりの大きさや向きは関係なく、「平らかどうか」だけが全てです。

3. 実験室での「見えない壁」

研究者たちは、AI に「平らな地面」と「少し曲がった地面」のどちらで学習させるかを実験しました。

結果：
- 平らな地面では、AI の「頭の良さ（複雑さ）」が理論通り半分になりました。
- 曲がった地面では、どんなに小さな曲がりでも、AI の頭の良さは減りませんでした。
- データが少ない場合： 小さな曲がりだと、AI は「平らな地面」と勘違いしてしまうことがあります。これは、AI の「目」が少しぼやけているため、小さな凹凸が見えないからです。しかし、理論的には曲がっていれば平らではないのです。

4. 「隠れたバイアス」の罠（ソフトマックスの話）

もう一つの発見は、**「ソフトマックス（Softmax）」**という技術に関するものです。
これは AI が「確率」を出す時に使われる技術で、データの合計が「1」になるように調整します。

罠：データの合計が「1」になるということは、データが「平らな壁」に押し付けられている状態です。
結果： もし AI の次のステップに「バイアス（偏り）」という調整ネジがついていると、この「平らな壁」が AI の自由度を半分に削いでしまいます。
比喩： 「合計が 1 になる」というルール自体は、AI が「隠れた調整ネジ（バイアス）」を使っているのと同じ効果を生んでしまい、結果として AI の能力を無駄に削いでしまうのです。

📝 まとめ：何が重要なのか？

この論文は、AI を設計する人たちに以下の重要なメッセージを伝えています。

LayerNorm は「コスト削減」の魔法：
LayerNorm を使うと、AI の必要なパラメータ（計算リソース）が自動的に減ります。これは、AI が「平らな世界」しか見ないため、余計な計算をしなくて済むからです。
RMSNorm は「完全な自由」：
RMSNorm は、AI がすべての方向を自由に扱えるようにするため、パラメータの数は減りません。
「平らさ」が全て：
AI の複雑さが減るかどうかは、データの「曲がり具合」ではなく、「平らかどうか」で決まります。

日常への例え：

LayerNormは、**「机の上でだけ作業する」**ような状態です。天井や床の下の空間は使えないので、作業スペースは狭くなります（コスト減）。
RMSNormは、**「3 次元の部屋全体で作業する」**ような状態です。天井も床も使えて、自由度は最大です。

この発見は、今後「より効率的な AI」を作る際、LayerNorm と RMSNorm のどちらを選ぶべきか、あるいは「平らなデータ」が AI の学習にどう影響するかを設計する上で、非常に重要な指針となるでしょう。

論文サマリー：正規化の幾何学的コスト - 神経ネットワークのベイズ的複雑性に対するアフィン境界

タイトル: THE GEOMETRIC COST OF NORMALIZATION: AFFINE BOUNDS ON THE BAYESIAN COMPLEXITY OF NEURAL NETWORKS
著者: Sungbae Chun (Universität Bonn)
日付: 2026 年 3 月 31 日（プレプリント）

1. 問題提起

ディープラーニングにおいて LayerNorm と RMSNorm はしばしば交換可能な設計選択として扱われていますが、両者はモデルの「有効なパラメータ数（複雑性）」に対して構造的に異なる影響を与えます。
従来の研究では、損失関数の連続対称性（重み空間の対称性）がモデルの複雑性を低下させることは知られていましたが、正規化層そのものが入力データの多様体（manifold）に制約を課すことで、損失関数に対して「見えない」重みの方向を生み出し、結果としてモデルのベイズ的複雑性を構造的に減少させるというメカニズムは定量化されていませんでした。

本論文は、正規化操作がデータ多様体の幾何学的性質（特にアフィン平坦性）を通じて、次の重み行列の Local Learning Coefficient (LLC) にどのような「幾何学的コスト」を課すかを厳密に証明し、実験的に検証することを目的としています。

2. 手法と理論的枠組み

2.1 局所学習係数 (LLC) と特異学習理論 (SLT)

本論文は、Watanabe によって開発された特異学習理論（Singular Learning Theory, SLT）に基づき、モデルのベイズ的複雑性を測る指標である局所学習係数 (Local Learning Coefficient, LLC) を用います。LLC は、事後分布から見たモデルの有効パラメータ数を表します。損失関数に連続対称性（パラメータ空間内で損失を変化させない方向）が存在する場合、LLC は名目上のパラメータ数よりも厳密に小さくなります。

2.2 ホロノミック拘束としての正規化

正規化層は、データを特定の幾何学的曲面（部分多様体）に制限する「ホロノミック拘束」として機能します。

LayerNorm: 平均中心化（mean-centering）により、データを原点を通る線形超平面 $\{1^\top x = 0\}$ に射影します。この超平面の線形スパン次元は $d-1$ となります。
RMSNorm: 平均中心化を行わず、単位球面上にデータを射影します。球面は全方向の基底を含むため、線形スパン次元は $d$ のままです。

2.3 主要な理論的発見

入力データが次元 $d$ の空間内の多様体 $M$ 上にあり、その線形スパン次元が $d_s$ である場合、次の重み行列 $W \in \mathbb{R}^{m \times d}$ に対して、 $M$ に直交する方向の重みは損失関数に対して「見えない（盲点）」となります。
このとき、LLC の減少量 $\Delta \lambda$ は以下の式で厳密に決定されます：
$\Delta \lambda = \frac{m(d - d_s)}{2}$
ここで $m$ は出力次元です。

LayerNorm の場合: $d_s = d-1$ となるため、 $\Delta \lambda = m/2$ だけ LLC が減少します。これは訓練開始前に構造的に保証されます。
RMSNorm の場合: $d_s = d$ となるため、 $\Delta \lambda = 0$ です。LLC は変化しません。

2.4 有限サンプルにおける相転移

理論的には「平坦（曲率ゼロ）」か「非平坦（曲率あり）」かの二値的な閾値ですが、有限サンプル数と SGLD（Stochastic Gradient Langevin Dynamics）推定器のノイズを考慮すると、滑らかなクロスオーバー（相転移）が観測されます。

曲率の存在だけでなく、データ分布のどの部分がその曲率を体験しているか（曲率とデータの重なり）が、観測される LLC の値を決定します。
狭い範囲に集中した曲率では、データが平坦な領域に多く存在する限り、LLC の減少は観測されにくくなります。

2.5 シンプルクスと「隠れたバイアス」(Smuggled Bias)

Softmax 関数はデータを標準単体（simplex, $\sum x_i = 1$ ）上に射影します。これは原点を通らないアフィン超平面です。

**純粋な線形層 ($Wx $)**: 単体の線形スパンは$ d$ であるため、対称性は生じず LLC は減少しません。
**アフィン層 ($Wx + b $)**: 明示的なバイアス項がある場合、単体上の制約$ \sum x_i = 1 $とバイアス項が区別できなくなり（「隠れたバイアス」$ b_{smuggled} = \frac{1}{d}W\mathbf{1} $が生じる）、$ m $次元の対称性空間が生まれ、$ \Delta \lambda = m/2$ の減少が発生します。

3. 実験結果

著者は、wrLLC フレームワークを用いた制御された単一層スケーリング実験により、理論的予測を検証しました。

3.1 幾何学的閾値の検証

曲率の影響: 正の曲率（放物面、双曲面）、負の曲率（鞍面）、ゼロ曲率（平坦な超平面）を持つ多様体上で実験を行いました。
結果: 曲率がゼロでない限り（符号や大きさに関わらず）、LLC はガウス基底（制約なし）とほぼ同じ値を維持しました。一方、平坦な超平面では理論予測通り $m/2$ だけ LLC が減少しました。これは「曲率の有無」が二値的な閾値であることを示しています。
有限サンプル効果: 平坦な平面にガウスバンプ（曲率）を追加した実験では、バンプの幅が広い場合、小さな振幅で LLC が回復しましたが、幅が狭い（曲率が局所的）場合、振幅が十分に大きくなるまで LLC は減少したままでした。これは推定器がデータ分布と曲率の重なりを感知する必要があることを示しています。

3.2 LayerNorm と RMSNorm の比較

LayerNorm: 出力次元 $m$ を変化させた実験で、LLC の減少量が $m/2$ に比例して増加することが確認されました（ $m=10$ 付近では推定器の不安定さが観測されましたが、傾向は理論と一致）。
RMSNorm: 入力次元 $d$ や出力次元 $m$ を変化させても、LLC の減少は観測されませんでした（ $\Delta \lambda \approx 0$ ）。

3.3 Softmax とバイアスの相互作用

単一層の線形モデルに Softmax 出力（単体制約）を入力とした場合、バイアス項がないときは LLC の減少は観測されませんでした。
明示的なバイアス項を追加した場合、理論予測通り $\Delta \lambda \approx m/2$ （実験値 2.26、理論値 2.0）の減少が観測され、「隠れたバイアス」による対称性の活性化が実証されました。

4. 主要な貢献

LLC 減少の幾何学的閾値の証明: 入力データがアフィン的に平坦な多様体（線形超平面）上に制限される場合のみ、次の重み行列の LLC が $m/2$ 減少することを証明しました。
有限サンプル相転移の定量化: 理論的な二値的閾値が、有限サンプル数と推定器の特性により、曲率の「存在」ではなく「データ分布との重なり」に依存する滑らかな遷移として現れることを示しました。
LayerNorm と RMSNorm の厳密な比較: LayerNorm が構造的にパラメータ効率を高める（LLC を下げる）一方、RMSNorm はそれを維持することを、代数予測と実験の両面から実証しました。
Simplex-Bias Duality (単体 - バイアス双対性): Softmax 出力と明示的バイアスの組み合わせが、隠れた対称性を引き起こし LLC を減少させることを理論的に証明し、実験的に確認しました。

5. 意義と結論

本論文は、正規化層が単なる訓練の安定化ツールではなく、モデルのベイズ的複雑性を構造的に再定義する幾何学的制約であることを明らかにしました。

LayerNorm のコストと利点: LayerNorm はデータを超平面に制限することで、次の層の有効パラメータ数を $m/2$ だけ削減します。これは、モデルがより低ランクな解や、特定の構造（例：Attention Sink の形成）を学習しやすくなる可能性を示唆しています。
RMSNorm の特性: RMSNorm は球面上にデータを保持するため、線形スパンを維持し、LLC を減少させません。これは、RMSNorm が LayerNorm と同様の訓練安定性をもたらしながらも、モデルの表現能力（有効パラメータ数）を犠牲にしない理由を説明します。
今後の展望: 本理論は単一層で証明されましたが、深層ネットワークにおける層ごとの加算性や、Attention Sink の形成、Grokking（学習の突然の一般化）ダイナミクスへの影響など、より広範な現象を説明する枠組みを提供します。

要約すれば、正規化の選択は「幾何学的な制約の平坦性」を通じて、モデルが学習すべき複雑性の量そのものを決定づけるという、これまで定量化されていなかった重要な側面を明らかにした画期的な研究です。