技術的サマリー：ドロップアウトの普遍性：エッジ・オブ・カオスにおけるスケーリング則と最適スケジューリング

問題定義

「エッジ・オブ・カオス（臨界点）」で初期化された深層ニューラルネットワークは、情報が多層構造を横断することを可能にする発散する相関長によって特徴づけられる、最適な信号伝播と勾配浸透を示す。しかし、アクティベーションをランダムにマスクする標準的な正則化手法であるドロップアウトの導入は、この臨界状態を破壊する。従来の平均場理論（MFT）は、ドロップアウトが完全整列の固定点（$c^*=1$）を破壊し、臨界初期化であっても相関長を有限にする可能性を示唆していた。

本論文で扱われる中心的な問題は以下の二つである：

1. 理論的側面：ドロップアウトはエッジ・オブ・カオスの位相図を定量的にどのように歪ませるか、また、異なる活性化関数（滑らかか、あるいは「きし」があるか）は、この歪み下で異なる普遍性クラスに属するか？
2. 実用的側面：固定されたドロップアウト予算が与えられた場合、実効相関長を最大化し、テスト損失を最小化するために、ドロップアウトをネットワークの深さ全体にどのように配分すべきか？標準的な均一なドロップアウトは最適ではない可能性があるが、最適な空間的スケジューリングの理論的基盤は欠けていた。

手法

著者らは、事前活性化がガウス統計に従う大巾数極限における深層ネットワークを扱う**平均場理論（MFT）**の枠組みを採用する。分析は以下の主要なステップを経て行われる：

1. 臨界伝播の摂動：ドロップアウトは、活性化後に適用される乗法的ベルヌーイノイズとしてモデル化される。著者らは、ドロップアウト下での事前活性化の分散と共分散の漸化式を導出する。彼らは、ネットワークが臨界点（$\chi_\perp = 1$）で初期化されていても、ドロップアウトが対称性を破る「場」（$h$）として作用し、相関マップの固定点を$c^*=1$からずらすことを示す。
2. 普遍性クラスの分類：分析は、完全整列近傍における解析的構造に基づき、活性化関数を二つのクラスに区別する：
   • 滑らかな活性化（例：tanh, GELU）：$c=1$ 近傍でテイラー展開が可能。
   • きしのある活性化（例：ReLU）：非解析的な「きし」（不連続な微分）を有し、相関マップに分岐点を生じさせる。
     著者らはエルミートスペクトル分析を用いて、滑らかな活性化はエルミート係数が指数関数的に減衰するのに対し、きしのある活性化はべき乗の尾部を示し、これが異なるスケーリング挙動を駆動することを示す。
3. ランダウ理論とスケーリング則：ずれた固定点の周りで相関マップを展開することにより、著者らは非整列秩序パラメータ $m \equiv 1 - c^*$ に対するランダウの物性方程式を導出する。これにより臨界指数（$\beta, \gamma, \delta, \nu, \alpha$）が得られ、臨界点からの距離（$t$）とドロップアウト場（$h$）を含む二パラメータのスケーリング収束が確立される。
4. 変分最適化：ドロップアウト率を深さ依存の場として扱い、著者らは固定された総ドロップアウト予算の下で実効相関長（$\xi_{eff}$）を最大化する制約付き変分問題を定式化する。平均場目的関数は「飽和した（ステップ状の）」配分を支持する。この解の置換不変性（すなわち、ドロップアウトを「どこ」に配置するか）を解決するため、著者らはランクフローのタイブレーカーを導入し、ランク崩壊と共適応が最も差し迫っている初期層においてドロップアウトが最も効果的であると論じる。

主要な貢献

1. ドロップアウトに対する異なる普遍性クラス

本論文は、滑らかな活性化ときしのある活性化が、異なる臨界指数によって特徴づけられる、ドロップアウト歪み下で異なる普遍性クラスに属することを確立する：

• 滑らかクラス：二次項（$m^2$）を伴う標準的なランダウスケーリングに従う。相関長は $\xi \sim h^{-1/2}$ とスケーリングする（ここで$h$はドロップアウト場の強さ）。
• きしのあるクラス：活性化のきしに起因する非解析的な $m^{3/2}$ 項によって支配される。相関長は $\xi \sim h^{-1/3}$ とスケーリングする。
  この区別は、きしのあるクラスがより広いクロスオーバーウィンドウを持つため、ReLU ネットワークが滑らかなネットワークよりも不完全なチューニングに対して寛容であることが多い理由を説明する。

2. 普遍スケーリング収束

著者らは、異なるドロップアウト強度とチューニングズレにわたる秩序パラメータ $m$ の挙動を収束させる普遍的二パラメータスケーリング関数を導出する。

• 滑らかな活性化の場合：$\tilde{m} = \sqrt{1 + \tilde{t}^2} - \tilde{t}$。
• きしのある活性化の場合：$m \sim h^{2/3} F(t/h^{1/3})$ を含むスケーリング形式。
  これらの予測は平均場漸化式に対して検証され、理論的スケーリング則が漸近的な臨界近傍領域で成立することが示された。

3. 最適ドロップアウトスケジューリング

本論文は、ドロップアウトの最適空間分布の理論的導出を提供する：

• 大きさ：平均場汎関数は、均一分布ではなく、層の割合に最大ドロップアウトを適用し残りをゼロとする飽和したステップ状の配分を支持する。
• 位置：平均場の相関ダイナミクスは置換不変であるが、著者らはランクフローのタイブレーカーを導入する。ランクの多様性は深さとともに（特にアテンション機構において）指数関数的に減衰するため、ドロップアウトが防止できる「将来の崩壊」は深さに対して単調減少する。したがって、最適戦略はフロントローディング、すなわちドロップアウト予算を初期層に集中させることである。

結果

理論的予測は、MFT の仮定が成立する制御された過剰パラメータ領域（巾 $\gg$ 深さ）において、CIFAR-10 および CIFAR-100 データセットを用いたMLPと**ビジョントランスフォーマー（ViT）**でテストされた。

• 損失低減：フロントローディングされたスケジュール（ステップ状または線形減少）は、一定のドロップアウト基準と比較して、保持された交差エントロピー損失を一貫して低減させた。
  • MLP において、損失低減は活性化関数と予算に応じて**18% から 35%**の範囲であった。
  • ViT において、線形減少スケジュールは4.2% の損失低減と統計的に有意な精度向上（例：CIFAR-100 において 49.38% 対 48.69%）を達成した。
• 精度向上：精度の改善は過学習の低減と一致する二次的な効果として観察された。
• ロバスト性：ドロップアウト率が摂動領域内に留まる限り、異なる活性化関数（ReLU, GELU）、ネットワークの巾、ドロップアウト予算にわたって利益は持続した。
• コンポーネントアブレーション：トランスフォーマーにおいて、アテンションブロックと MLP ブロックの両方にフロントローディングされたドロップアウトを適用することが最良の結果をもたらした。これは、このメカニズムが現代のアーキテクチャにも適用可能であることを確認した。

意義と主張

本論文は、臨界信号伝播の統計力学とドロップアウトスケジューリングの実用性を結びつける統合された理論的枠組みを提供すると主張する。

• 理論的洞察：ドロップアウトを単なる正則化器ではなく、活性化の滑らかさに基づいて異なる普遍性クラスを持つ新たな臨界面を定義する関連摂動として再定義する。これは、異なるアーキテクチャが正則化下でなぜ異なる挙動を示すのかについての深い理解を提供する。
• 実用的ルール：この研究は、複雑な平均場理論をシンプルで実行可能な設計ルールに変換する：ドロップアウトをフロントローディングせよ。初期層にドロップアウトを集中させることで、実践者はネットワークの実効相関長を維持し、計算コストを増やすことなく汎化性能を向上させることができる。
• 範囲：著者らは明示的に、彼らの分析は信号伝播に焦点を当てた初期化理論であると述べている。完全なトレーニングダイナミクス（特徴学習やカタパルトダイナミクスなど）をモデル化するものではなく、すべてのアーキテクチャ（例：完全な ResNet や CNN の空間モードは将来の課題として残されている）に対する完全な理論を提供するものではないと主張している。結果は、有限巾の補正が小さい広巾ネットワークにおいて最も信頼性が高い。

要約すると、本論文は、ドロップアウトを深さ依存の場として扱うことが、最適スケジューリングを規定する普遍スケーリング構造を明らかにし、均一なドロップアウトというヒューリスティックに対する原理的な代替案を提供すると論じている。