Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

技術的サマリー：「深層ネットワークは初期化を忘れるのか？実践的帰納バイアスに関する忘却時間尺度の視点」

問題提起
現代のニューラルネットワークは高度に過剰パラメータ化されており、その容量単独では汎化を説明できない。トレーニングパイプライン（アーキテクチャ、オプティマイザ、正則化など）が仮説クラスから特定の関数を選択する一方で、最終的な予測器を決定する際の初期ランダム重みの役割は依然として不明瞭である。既存の文献は、2 つの対立する見解を示している：

1. バイアスの源泉としての初期化： 理論的研究は、ランダムなネットワークがトレーニングを生き延びて汎化を駆動する可能性のある、関数に対する内在的な「単純性バイアス（事前分布）」を有していると示唆している。
2. 訓練可能性のメカニズムとしての初期化： 実践的な大規模トレーニングでは、初期化を単に信号伝播を安定させ、発散/消失勾配を防ぐためのツールとして扱うことが多く、トレーニングが収束すれば最終的な予測器は初期のシードからほぼ独立していると仮定されている。

本論文は、以下の精密な部分疑問を検証する：現代のトレーニングパイプラインによって選択される最終的な予測器は、ランダム初期化のスケールにどの程度依存するか？ 具体的には、トレーニングプロセスは初期条件を「忘れる」のか、それとも初期バイアスが最終解に持続するのか？

手法
著者は、CIFAR-10 データセット上の ResNet を用いた制御された実証研究を実施した。彼らは、検証で選択された予測器が初期化スケール $\sigma_w$ に依存する度合いとして定義される診断指標である初期化メモリを導入した。

• 実験設計： 構造、データ分割、オプティマイザ、バッチサイズ、学習率スケジューリング、トレーニング期間などの他のすべての要因を一定に保ちながら、ランダムカーネル初期化のグローバルスケール $\sigma_w$ を掃引する。
• 指標：
  • テスト精度のばらつき： 最適検証損失のチェックポイントにおいて、異なる $\sigma_w$ 値間で得られる最良と最悪のテスト精度の差。
  • 補間エポック ($\tau_{interp}$)： トレーニング精度が 99.5% に達するエポック。
  • フロベニウスノルム ($\|W\|_F$)： 「半径方向のメモリ」（最終重みノルムが初期ノルムと結合したままかどうか）を測定するために使用される。
  • 修復ギャップ： 補間時点と最終チェックポイント間の検証精度の変化。
• 変数： 本研究では、オプティマイザ（SGD、モーメンタム付き SGD、Adam、AdamW、Muon）、バッチサイズ（$b \in \{16, 32, 64, 128, 256\}$）、初期化スケール（$\sigma_w \in [0.1, 2.5]$）、ネットワークの深さ（ResNet-9, 56, 110）、および明示的正則化（L2 重み減衰）を変化させた。
• 理論的枠組み： 著者は、離散オプティマイザを修正された目的関数上の勾配流として解釈するために後方誤差解析を採用した。彼らは、単純なエポック数ではなく、正則化メカニズムの蓄積された強度に基づいて「忘却時間尺度」を提案した。

主要な結果

1. オプティマイザへの依存性：

   • SGD は記憶する： 低学習率の下では、バニラ SGD は強い初期化メモリを保持する。バッチサイズ $b=128$ の ResNet-9 において、トレーニング精度が $\ge 99.5\%$ に達しているにもかかわらず、テスト精度は初期化スケール間で26.5 パーセントポイント変動する。最終的な重みノルムは初期ノルムと結合したままとなる。
   • 適応的メソッドは忘れる： Adam、AdamW、Muon は、初期化スケールへの依存性をほぼ消去する。同様の条件下では、これらのテスト精度のばらつきは最小限である（例：Muon で約 4.0 パーセントポイント）。これらは初期スケールに関係なく、共通の最終ノルムスケールに収束する。

2. ハイパーパラメータへの依存性：

   • トレーニング時間だけでは不十分： 低学習率の SGD を 5,000 エポックに延長しても、初期化のばらつきは顕著に減少しない。メモリは持続する。
   • 正則化と学習率： トレーニングレシピにより大きな学習率または明示的な L2 正則化（重み減衰）を含めれば、SGD は初期化を忘れるようにできる。例えば、$\eta=10^{-2}$ の L2 減衰を追加すると、ばらつきはほぼゼロに減少する。
   • バッチサイズ： 大きなバッチサイズは SGD における忘却プロセスを遅らせ、ばらつきを増大させる。

3. 深さとアーキテクチャ：

   • より深いネットワーク（ResNet-56、ResNet-110）では、悪い忘却ダイナミクスは異なる形で現れる：単に汎化性能の低い補間を行うのではなく、大きな初期化スケールではネットワークが十分にトレーニングできず（補間に失敗する）ことが多い。

4. 忘却時間尺度：
   著者は、忘却がエポック数ではなく、累積的な「時計」によって支配されていることを特定した：

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$：確率的有限ステップ効果（ミニバッチノイズ）の時間尺度。低学習率の SGD は微小な $T_{SGD}$ を持ち、メモリ保持につながる。
   • $T_{L2} = \lambda \sum \eta_k$：明示的なノルム減衰の時間尺度。
   • $T_{adapt} = \sum \eta_k$：適応的前処理の時間尺度。
     適応的メソッドは $T_{adapt}$ スケールで動作し、これは低学習率の SGD の $T_{SGD}$ スケールよりも著しく大きく（忘却が速い）。

意義と主張
本論文は、トレーニングされたネットワークの「実践的帰納バイアス」が、初期化時に存在するアーキテクチャ事前分布のみにあるのではなく、むしろトレーニングパイプラインの忘却ダイナミクスによって濾過されたアーキテクチャ事前分布であると主張している。

• パラドックスの解決： 著者は、単純性バイアスの理論と実践的なトレーニングの安定性との間の明らかな矛盾を解決する。彼らは、汎化を改善するメカニズム（重み減衰、適応的オプティマイザ、大きな学習率など）は、まさに初期化の記憶を消去するものであると論じる。
• 初期化の役割： 正則化に富む現代のトレーニングパイプラインにおいて、初期化は主に訓練可能性の装置（最適化の安定化、深さの実現）として機能し、持続的な帰納バイアスの源泉としては機能しない。実務において重要となる「オッカムの剃刀」は、初期パラメータマップではなく、軌道上で蓄積された正則化によって課される。
• 限界： 著者は、彼らの発見が CIFAR-10 上の BatchNorm ResNet に基づいていることを認めている。提案された時間尺度の式は、線形およびスケール不変の議論から導かれた組織原理であり、非線形 BatchNorm ネットワークに対する普遍的な定理ではない。しかし、観察された実証的な階層（SGD は記憶し、適応的メソッドは忘れ、正則化は記憶を消去する）は、これらの理論的時計と整合している。

要約すると、本論文は、深層ネットワークが自動的に初期化を忘れるわけではないことを示している。それらは、特定のトレーニングダイナミクス（確率性、適応性、または明示的正則化）が初期幾何学的バイアスを上書きするのに十分な「忘却時間」を提供する場合にのみ、それを忘れるのである。