技術要約：ニューラル熱力学：深層および普遍的表現学習におけるエントロピー力

問題提起

確率的勾配降下法（SGD）とその変種を用いて訓練された現代のニューラルネットワークは、複雑な創発的挙動（能力の出現、損失景観の漸進的な鋭利化と平坦化、相転移のようなダイナミクス、および異なるモデル間での普遍的な表現の整列など）を示す。これらの現象は、損失最小化の観点のみでは説明が困難である。これらの挙動は有限温度の物理系と類似しているが、それらを駆動する（しばしば「暗黙のバイアス」と呼ばれる）正確な数学的性質は依然として解明されていない。既存の理論は、定常性の特性や修正された損失関数に依存することが多いが、これらのダイナミクスを対称性の破れや普遍的な構造の出現へと完全に結びつけるには至っていない。

手法

著者らは、ニューラルネットワークの学習ダイナミクスをモデル化するための厳密なエントロピー力理論を提案する。コアとなる手法は以下の通りである：

1. エントロピー損失関数の導出:
   パラメータの対称性理論に基づき、著者らは有効な「エントロピー損失」$\phi_\eta$（およびその期待値 $F_{\eta, \gamma}$）を定義する。この損失関数は、学習率 $\eta$ を持つ離散時間・確率的ダイナミクスとしてのSGDを近似するように導出される。
   エントロピー損失は次のように定式化される：
   $$F_{\eta, \gamma}(\theta) = \mathbb{E}_x[\ell(x,\theta)] + \gamma\|\theta\|^2 + \frac{1}{4}\mathbb{E}_B\|\sqrt{\Lambda}\mathbb{E}_{x\in B}\nabla\ell(x,\theta)\|^2 + O(\|\Lambda\|^2)$$
   ここで、第3項は離散化誤差と勾配ノイズから生じる有効エントロピー（$S(\theta)$）を表す。このエントロピー項の勾配 $\nabla S$ が、エントロピー力として定義される。

2. 対称性解析:
   論文では、これらのエントロピー力が損失景観におけるパラメータの対称性とどのように相互作用するかを分析する。著者らは $K$-不変性（連続的な対称性）を定義し、エントロピー項が総有効損失の不変性をどのように修正するかを検討する。

3. 理論的証明:
   著者らは、エントロピー力が連続的なパラメータ対称性を系統的に破る一方で、離散的な対称性は保持することを実証する一連の定理を証明する。これは、統計物理学における等分配定理に類似した「勾配バランス」現象をもたらす。

4. 実験的検証:
   本理論は、様々なアーキテクチャ（ResNet18、ReLUネットワーク、深層線形ネットワーク、自己注意層、Vision Transformer）およびデータセット（CIFAR-10、MNIST、ImageNet）を用いた実験を通じて検証される。主要な指標には、勾配共分散バランス、表現の整列（CKA）、および損失景観の鋭利さが含まれる。

主な貢献

1. エントロピー損失と対称性の破れ

本論文は、エントロピー力項がほぼすべての連続的なパラメータ対称性（特に非コンパクトなリー群の対称性）を破る一方で、離刻な対称性（例：直交変換）を保持することを確立している。

• 定理 2 & 3: エントロピー損失の下でのロバストな不変性には、ノルム保存変換が必要であることを証明しており、これにより、初期値依存の解をもたらす可能性のある連続的な対称性を事実上排除している。

2. 勾配バランスと等分配定理

対称性の破れは、一連の「マスターバランス定理」を生じさせる。これらの定理は、局所解において、異なる層またはニューロン間の勾配変動（二次モーメント）がバランスしていなければならないことを予測する。

• 定理 5 (層のバランス): ReLUネットワークにおいて、重み減衰がゼロのとき、勾配共分散行列のトレースは層間でバランスされる（$\mathbb{E}\text{Tr}[g_i g_i^\top] = \mathbb{E}\text{Tr}[g_j g_j^\top]$）。
• 定理 6 (ニューロンのバランス): 個々のニューロンに対しても同様のバランスが成立する。
• 定理 7 (勾配の整列): 行列分解および自己注意層（$\ell(x, W, U) = \ell(x, WU)$ の場合）において、$W$ と $U$ の勾配共分散は整列している。
  これらの結果は、学習という非平衡ダイナミクスへの、物理的な等分配定理の拡張として解釈される。ここでは、エントロピーがネットワークのパラメータ全体に均等に拡散している。

3. プラトン的表現仮説 (PRH) の証明

著者らは、異なるモデルが同様のデータで訓練されると普遍的な表現に収束するというプラトン的表現仮説に対して、理論的な証明を提供している。

• 定理 8: 深層線形ネットワーク（および線形近似可能な非線形ネットワーク）において、エントロピー損失のグローバルな最小値は、初期値やデータのビュー変換（行列 $M_1, M_2, M_3$ で表される）に関わらず、独立して訓練された2つのネットワーク間の完全な整列をもたらす。
• メカニズム: エントロピー力は、初期条件に関する情報を消去するユニークな解へとシステムを駆動し、普遍性を導く。
• 対比: 本論文は、重み減衰が支配的である場合（または学習率 $\eta \to 0$ の場合）、システムが勾配バランスではなく重みバランスを優先し、これが普遍的な整列を壊すことを示している（定理 9）。

4. 鋭利さのパラドックスの解決

本論文は、SGDが「平坦な」最小値（汎化）を求めることと、「安定性の境界（Edge of Stability; EOS）」現象（訓練がしばしば「鋭い」最小値へと導くこと）との間の明白な矛盾に対処している。

• 定理 10: 解の鋭利さは、入力特徴量とラベルノイズのバランスによって決定される。ノイズスペクトルが不均衡な場合（例：言語モデルにおけるトークンのランダム性の差異）、SGDは任意に鋭い解へと収束する。
• 統合: エントロピー力と対称性の破れは、モデルが鋭い解に収束するか平坦な解に収束するかを決定する主要な要因である。漸進的な鋭利化と普遍的な整列は、同じ基礎的なエントロピーメカニズムによって駆動される、表裏一体の現象であることが明らかになった。

結果

• 対称性の破れ: 実験により、訓練中に連続的な対称性が破れる一方で、離散的な対称性は維持されることが確認された。
• 勾配バランス: ReLUおよび線形ネットワークにおいて、勾配共分散のトレースは等価性に収束し、これは損失の減少よりもエントロピーの減少と強く相関している。
• 普遍的な整列: 独立して訓練された2つのネットワーク（異なるアーキテクチャやデータの変換であっても）は、隠れ表現においてほぼ完全な整列を示す。この整列は入力変換に対してロバストであるが、重み減衰が大きい場合には消失する。
• 鋭利さのダイナミクス: 理論的予測は、不均衡なラベルノイズがより鋭い解をもたらし、バランスの取れたノイズがより平坦な解をもたらすという経験的観察と一致している。「安定性の境界」の境界は、特徴量とラベルの不確実性に基づいて、本理論によって予測される。

意義と主張

本論文は、ディープラーニングの熱力学に類する原理的な枠組みを確立したと主張している。その意義は以下の点にある：

1. 統一: 普遍的な整列、勾配バランス、鋭利さ／平坦化ダイナミクスといった、バラバラであった現象を、エントロピー力と対称性の破れという単一の形式の下に統合した。
2. メカニズムの特定: 学習における不可逆性が、普遍的な表現学習を可能にする鍵となるメカニズムであることを特定し、プラトン的表現仮説に対する物理的な説明を提供した。
3. 予測力: ハイパーパラメータ（学習率、重み減引）やデータの特性（ノイズのバランス）が、学習された解の幾何学的構造にどのように影響するかについての予測力を提供する。
4. 基礎的な洞察: エントロピーによる損失と最適化の両方によって形作られる「エントロピー損失景観」が、創発現象を理解するための基礎であることを示唆している。これは、単なる損失最小化を超えた視点である。

著者らは、現在の理論が明示的な対称性を持つ問題に焦点を当てていることを限界として指摘しており、近似的な対称性や、より複雑な非平衡訓練手順へとこれらの結果を拡張するための今後の課題があるとしている。