技術要約：平坦な極小値の多様体の近傍における、大きなステップサイズを用いた勾配降下法のダイナミクス

問題設定

勾配降下法（GD）の古典的な収束理論は、安定条件 $\eta < 2/\lambda_1(x)$ に依存している。ここで $\eta$ はステップサイズ、$\lambda_1(x)$ は目的関数のヘッセ行列の最大固有値（鋭さ/sharpness）である。ディープラーニングにおいて、この条件は頻繁に破られているが、大きなステップサイズを用いたGDはしばしば収束し、「安定性の端（edge of stability）」のダイナミクスや、「平坦な極小値（鋭さが小さい極小値）」への暗黙的なバイアスといった現象を示す。

MacDonaldら [39] による先行研究は、余次元1の最小二乗問題（単一のスカラー出力）における、孤立した平坦な極小値の近傍における大きなステップサイズのGDに対し、厳密な力学系分析を提供した。しかし、この設定は実用上制限的であり、以下のケースをカバーできていない：

1. 高余次元の問題： ベクトル値の出力を持つ、任意の観測数を持つ過剰パラメータ化された回帰。
2. 極小値の多様体： 行列分解などの多くのディープラーニングの問題は、孤立した点ではなく、連続的な多様体としての平坦な極小値を保持している。

本論文は、これらのより広範な設定へと [39] の理論を拡張し、高次元の分岐および多様体に沿って発生する特異偏微分方程式（PDE）の技術的課題に対処するものである。

手法

1. 幾何学的枠組みと仮定

著者らは、過剰パラメータ化された最小二乗目的関数 $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ （ここで $f: \mathbb{R}^p \to \mathbb{R}^q, p > q$）を検討している。彼らは、正規形（normal form）の存在を保証するために、以下の幾何学的仮定の階層を確立している：

• 仮定 3.1: ターゲット $\tau$ は正則値であり、解集合 $M = f^{-1}(\tau)$ が滑らかな部分多様体であることを保証する。
• 仮定 3.3: ヘッセ行列のトップ固有値 $\lambda_1$ は、非空な開部分集合上で単純（$\lambda_2$ と区別される）であり、これにより、定義されたトップ固有ベクトル場 $\nu_1$ が許容される。
• 仮定 3.4: $\lambda_1$ の局所的な極小値の集合として、部分多様体 $F \subset M$ が存在し、$\lambda_1$ は $M$ 内の $F$ に対する法方向において Morse-Bott である（強凸である）。
• 仮定 3.5: 高次の導関数から導出される係数 $\alpha_\eta$ に関する正則性条件。これは、正規形に必要な特異PDEの可解性を保証する。

2. 正規形の導出

核心となる技術的貢献は、$F$ の近傍におけるGDの正規形の導出である。著者らは一連の座標変換を行う：

1. 管状座標（Tubular Coordinates）: $M$ の近傍を $M \times \mathbb{R}^q$ へと写像する。
2. 中心多様体簡約（Center Manifold Reduction）: 中心多様体定理を用いて、$q$ 次元の直交ダイナミクスを、トップ固有方向 $\nu_1$ に対応する1次元のシステムへと簡約する。
3. 特異PDEの解法: $X$ というベクトル場が多様体 $F$ 上で消失する、 $Xu = \alpha u + \beta$ という形式のPDEを解くことが重要なステップとなる。孤立点のケース [39] とは異なり、ここでの特異性は多様体に沿って発生する。著者らは、対数展開と不変葉層（invariant foliations）を用いた新しい手法を開発し、多様体の座標と直交ダイナミクスの結合に関する [39] の不備のある証明を修正しつつ、 $C^1$ 解の存在を証明した。
4. 強安定葉層（Strong-Stable Foliation）: 中心多様体上のダイナミクスから、収縮方向を分離する。

得られる正規形は、GDのダイナミクスを以下のように分解する：

• $M$ に接する方向 ($x$): $M$ 上の鋭さ $\lambda_1$ に沿ったリーマン勾配降下法（RGD）。ステップサイズは直交距離の二乗 $y_1^2$ によって制御される。
• トップ直交方向 ($y_1$): $(1 - \eta\lambda_1)y_1 + y_1^3$ によって支配される、フリップ分岐（周期倍分岐に類似）のダイナミクス。
• その他の直交方向 ($y_{2:q}$): 指数的に収縮する安定方向。

3. ケーススタディ：ディープ行列分解

著者らは、ディープ行列分解がこの枠組みに適合することを検証している。彼らは、平坦な極小値の集合 $F$ が、球面の直積上の滑らかなファイバー束を形成することを証明している。さらに、鋭さ $\lambda_1$ がこの多様体に沿ってMorse-Bottであることを示し、必要な幾何学的仮定を満たしていることを証明している。

主な貢献と結果

1. 一般化された正規形

本論文は、任意の余次元を持つ平坦な極小値の多様体の近傍における、大きなステップサイズを用いたGDの正規形を確立した。これは、孤立した極小値（余次元1）を扱った [39] の結果を、連続的な多様体が存在する高次元の設定へと一般化したものである。

2. 収束定理

ステップサイズ $\eta$ と安定閾値 $2/\lambda_1|_F$ の関係に基づき、3つの収束レジームを証明している：

• 亜臨界レジーム ($\eta < 2/\lambda_1|_F$):
  初期の過渡状態の後、イテレートは劣最適ながらも平坦な大域的最小値へ指数関数的に収束する。イテレートが多様体に近づくにつれ、ステップサイズは指数関数的に減衰する。
• 臨界レジーム ($\eta = 2/\lambda_1|_F$):
  イテレートは、平坦な極小値の多様体 $F$ の中の点へと、$\Theta(t^{-1/2})$ のレートで非単調に収束する。
  • 注記: 一般的なケースの証明は、通常の放物型力学系における強安定葉層定理に類似した、正規放物型力学系における安定葉層の存在に関する予想（Conjecture D.7）に依存している。$\lambda_1$ のヘッセ行列が $F$ 上で単位行列のスカラ倍である場合、または当該の予想が成立する場合、結果は厳密に証明される。
• 超臨界レジーム ($\eta > 2/\lambda_1|_F$):
  イテレートは、トップ固有ベクトル場 $\nu_1|_F$ のスパンに沿った安定な周期2軌道へと指数関数的に収束する。この振動の振幅は $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ に比例する。

3. 行列分解に関する構造的結果

ディープ行列分解について、本論文は新たな構造的知見を提供している：

• 平坦な極小値の多様体 $F$ は、球面の直積上のファイバー束である。
• 鋭さ $\lambda_1$ は $F$ に沿ってMorse-Bottである。
• $F$ の法束に対する $\lambda_1$ のヘッセ行列の固有値は、厳密に正であり、特定の最小値（例：$L=2$ の場合、下限は $4\sigma_1/(\sigma_1 - \sigma_{d_L})$）が導出される。

4. 数値検証

理論的予測は、3層の $2 \times 2$ 行列分解問題を用いた数値実験によって検証されている。実験は以下を確認している：

• 亜臨界レジームにおける指数関数的収束。
• 臨界レジームにおける $t^{-1/2}$ 収束。
• 超臨界レジームにおける周期2サイクルへの指数関数的収束。

重要性と主張

本論文は、ディープラーニングの最適化に関する理論的理解の重要なギャップを埋めることを主張している：

1. 余次元1を超えて: 「単一データ」という非現実的な設定から、ベクトル出力を持つ一般的な過剰パラメータ化された回帰へと、大きなステップサイズのGDの理論を移行させた。
2. 極小値の多様体: ディープラーニングの損失景観にはしばしば極小値の多様体が含まれるという実態に対処し、「安定性の端」のダイナミクスが、これらの高次元かつ連続的な設定においても持続することを示した。
3. 技術的新規性: 多様体に沿った特異偏微分方程式の解法、および座標間の結合に関する [39] の証明の修正は、力学系理論における独立した技術的貢献として提示されている。
4. 暗黙的バイアス: 大きなステップサイズのGDが、解多様体に沿って鋭さに対してリーマン勾配降下法を暗黙的に実行していることを厳密に定式化しており、平坦な極小値へのバイアスに対するメカニズム的な説明を提供している。

著者らは、臨界レジームに関する議論については、現在の範囲外ではあるものの、放物型葉層に関する予想に依存していることを明記し、控えめな姿勢を保っている（ただし、双曲型システムとの類似性から妥当であると論じている）。また、これらの結果は局所的（平坦な極小値の多様体の近傍）であり、学習中に観察されるグローバルな「漸進的鋭鋭化（progressive sharpening）」フェーズをまだ説明するものではないことも述べている。