Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

技術要約：原点を超えた均質ニューラルネットワークの勾配流ダイナミクスの理解に向けて

問題提起
勾配ベースの手法で訓練される現代の深層ニューラルネットワークは、過剰パラメータ化されているにもかかわらず、強力な汎化性能を示すことが多く、これは訓練アルゴリズムによって誘発される暗黙的な正則化に起因するとされている。ニューラルタンジェントカーネル（NTK）領域（大きな初期値）や訓練の後半段階における訓練ダイナミクスについては、かなりの進展が見られる一方で、「小さな初期値」領域については依然として理解が進んでいない。この領域では、ネットワークは特徴学習モードで動作するが、重みの高度に非線形な進化が解析上の課題となる。

先行研究（例：Maennel et al., 2018; Kumar and Haupt, 2024, 2025）は、小さな初期値を持つ均質ニューラルネットワークにおいて、重みが長時間原点の近くに留まることを確立した。このフェーズにおいて、重みはその方向においてニューラル相関関数（NCF）のカルシュ・クーン・タッカー（KKT）点へと収束する。これは「初期方向収束」として知られる現象である。さらに、これらの初期段階のKKT点はしばしばスパース性を示す。しかし、重みが原点から脱出した後の勾配流の挙動、およびこの遷移の間に創発されるスパース構造の保持に関する特性は、完全には解明されていなかった。本論文は、重みが原点から脱出した直後から、最初に遭遇する鞍点（サドルポイント）に至るまでの勾配流ダイナミクスを分析することで、この空白を埋めるものである。

手法と設定
本論文では、$L$-正次同次（$L \ge 2$）である、すなわち $H(x; cw) = c^L H(x; w)$ （$c \ge 0$）を満たす均質ニューラルネットワーク $H(x; w)$ を対象とする。分析は、深層線形ネットワークや多項式ReLU活性化関数（$p \ge 2$）を含む、勾配が局所リプシッツ連続であることを前提としているが、原点での非微分性により標準的なReLUネットワーク（$p=1$）は明示的に除外している。ただし、経験的な結果は潜在的な拡張を示唆している。

訓練目的関数は、勾配流による損失関数 $\mathcal{L}(w)$ の最小化である：
$$\dot{w} = -\nabla \mathcal{L}(w)$$
著者らは、$\bar{e}_y = -\ell'(0, y)$ と定義されるNCFへの、単位球面上の制約付き最適化問題に基づき、NCF $N(u) = \bar{e}_y^\top H(X; u)$ を構築する。

核となる手法は以下の通りである：

1. 極限軌道の構成： 原点脱出後の勾配流の経路を表す極限解 $p(t)$ を定義する。これは、初期化スケール $\delta$ に依存する項 $\ln(1/\delta)$ によって、$\psi(t, \delta w_0)$（$\delta$ は初期化スケール）を時間シフトすることによって達成される。
2. 安定性解析： 制約付きNCFの $\Delta$-二次正のKKT点の性質を利用する。著者らは、初期の重みの方向が、そのようなKKT点の安定集合内に存在すると仮定する。
3. ゼロ保持部分集合： 「ゼロ保持部分集合」という概念（原点付近でゼロの大きさを持つ重み）を導入する。これは、訓練中にゼロのまま留まる重みを分析するために用いられる。これを用いて、スパース性の保持を分析する。

主要な貢献と結果

1. 脱出後の勾配流ダイナミクス（定理4および定理10）
十分小さな初期値に対して、原点脱出後の勾配流の軌跡は、初期の方向がNCFの二次正のKKT点の安定集合と一致する場合、特定の初期化スケール $\delta$ に関わらず、特定の極限パス $p(t)$ を密接に追従することを確立する。

• 2次均質ネットワーク ($L=2$): 定理4は、時間スケーリング $O(\ln(1/\delta))$ の後、軌跡 $\psi(t, \delta w_0)$ が誤差界 $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$ で $p(t)$ に収束することを示す。
• 深層均質ネットワーク ($L > 2$): 定理10は、これを$L$次均質ネットワークに拡張する。脱出時間は $O(\delta^{-(L-2)})$ でスケールし、軌跡は同様に、特定の誤差界を伴って極限パス $p(t)$ に収束する。
• 示唆： 原点脱出直後の勾配流の挙動は、主に重みが原点付近で接近していたNCFのKKT点によって決定される。

2. 最初の鞍点の特性化（系5, 6, 11, 12）
著者らは、極限軌道 $p(t)$ が訓練損失の停留点（鞍点）に収束することを証明する。したがって、十分小さな初期値の場合、実際の勾配流の軌跡 $\psi(t, \delta w_0)$ は、原点脱出後に同じ鞍点へと接近する。

• 本論文では、鞍点が有限である場合（有界な軌跡）と、無限にある場合（ロジスティック損失などで一般的な、非有界な軌跡）を区別している。
• これらの結果は、勾配流が「鞍点から鞍点へ」の軌跡を辿ることを示唆しており、具体的には原点の後に遭遇する最初の鞍点を特徴付けている。

3. フィードフォワードネットワークにおけるスパース性の保持（セクション4および定理18）
重要な貢献は、「原点付近」のフェーズで創発されたスパース構造が、原点脱出後から最初の鞍点に至るまで保持されることの証明である。

• ゼロ保持部分集合： 著者らは、フィードフォワード均質ネットワークにおいて、NCFのKKT点におけるゼロ強度のエントリに対応する重みの行と列が、「ゼロ保持部分集合」を形成することを証明する。これらの重みがゼロで初期化されている場合、訓練中を通じてゼロのままである。
• スパース性の保持： 小さな初期値を用いた勾配流は、特定のスパース性（特定の重みがゼロである）を持つKKT点へと方向的に収束するため、これらのゼロの重みはゼロ保持部分集合となり、原点脱出および最初の鞍点への接近過程においてもそのスパース構造が維持される。
• 定理18： $L=2$ および $L>2$ の両方のネットワークにおいて、ゼロ保持部分集合における重みの大きさが、脱出時間後であっても無視できる程度（$O(\delta^{\text{exponent}})$）であり、事実上スパースパターンを保持していることを定式化している。

実験的検証
平方活性化関数（$L=2$）および多項式ReLU活性化関数を用いた数値実験（図1, 4, 5, 6）を提供する。

• 平方活性化： 実験により、重みが原点を脱出する前にスパースになり、そのスパース性が次の鞍点において保持されることが確認された。
• ReLU活性化： 理論的枠組みは標準的なReLU（$L=1$）を除外しているが、ReLUネットワークを用いた実験では、重みが完全にスパースにはならない（多項式の場合よりも非ゼロのエントリが多い）ものの、相対的なスパース構造（小さな重みが小さなまま留まること）は保持されていることが示された。これは、原点での局所リプシッツ連続性の欠如にかかわらず、本知見がReLUネットワークにも経験的に拡張可能であることを示唆している。

意義と主張
本論文は、訓練ダイナミクスの特定のセグメント、すなわち「原点付近」のフェーズから最初の鞍点への遷移を厳密に特徴付けるものであると主張している。

• 暗黙的正則化のメカニズム： 小さな初期値領域で見られる暗黙的正則化を、NCFの幾何学およびネットワークが接近する特定のKKT点と結びつけている。
• スパース性の安定性： なぜ初期訓練中に観察されるスパースパターンが持続するのかについて、フィードフォワードアーキテクチャにおける特定の重みの集合の「ゼロ保持」という性質に帰着させることで、理論的な説明を提供している。
• 限界： 著者らは、その範囲の謙虚さを明示している。結果は以下に限定される：
  1. 局所リプシッツ連続な勾配を持つ均質ネットワーク（標準的なReLUを除く）。
  2. ダイナミクスは、原点脱出後に遭遇する「最初の」鞍点まで。この点を超えた挙動（例：鞍点から脱出してグローバルな最小値へ向かう挙動）はカバーされておらず、今後の研究課題として特定されている。
  3. 初期方向が、二次正のKKT点の安定集合内にあるという仮定。

要約すると、本論文は、初期の方向収束と、その後の訓練フェーズ（特徴を学習し始め、最初の鞍点に接近するフェーズ）との間のギャップを埋めるものであり、特にスパース性のような構造的特性が、原点付近に留まっている間に確立されたものが、ネットワークが最初の鞍点に接近する際の軌跡と安定性を決定することを実証している。