技術要約：離散から誕生し、滑らかに成る：浅いニューラルネットワークの変分定式化

問題提起

高度に過剰パラメータ化された非凸なニューラルネットワークの目的関数における勾配ベースの最適化の理論的理解は、依然として未解明である。既存のフレームワークには、以下のような明確な限界が存在する：

• 平均場（Mean-Field）/ ワッサースタイン（Wasserstein）的アプローチ： 勾配降下法を粒子系として解釈し、相互作用する粒子系との関連性を提供する一方で、これらの手法は最小化子の正則性が限定的である場合が多く、無限幅の連続体モデルから有限幅のネットワークへと移行するために非自明な近似を必要とする。
• ニューラル・タンジェント・カーネル（NTK）フレームワーク： このアプローチは全域的な凸性を達成するが、それは初期値の周囲でのネットワークの線形化によってのみ達成される。そのため、特徴量が大きく変化しない「レイジー・トレーニング（lazy-training）」の領域に理論的保証を制限してしまう。

対処される中心的な課題は、浅いニューラルネットワークの非線形な連続体モデルが、線形化を行うことなく、一意で安定した最小化子を高い正則性を持って持ち得るか、そしてこの連続体定式化が、離散的な学習問題の厳密な緩和（relaxation）として機能するかどうかである。

手法

著者らは、浅いニューラルネットワークの離散的な学習問題を、パラメータ密度上で定義された、ウェルポーズド（well-posed）な連続体変分サロゲートに置き換えるというパラダイムシフトを提案している。

1. 変分定式化

ターゲット関数 $f$ を近似する浅いネットワークの学習を、重み付きソボレフ空間 $W = W^{1,2}(\Omega) \cap L^2_\omega(\Omega)$ におけるパラメータ密度 $u(\theta)$ 上の、リスク汎関数を最小化する問題として再定式化する。パラメータ空間 $\Omega$ は隠れユニットを表し、活性化関数 $\sigma$ は連続（例：ReLU、シグモイド）であると仮定される。

正則化された目的関数 $F^{(f)}_{\alpha, \beta}(u)$ は次のように定義される：
$$F^{(f)}_{\alpha, \beta}(u) = R(f, u d\theta) + \alpha \|u\|^2_{L^2_\omega} + \beta \|\nabla u\|^2_{L^2}$$
ここで、

• $R(f, u d\theta)$ は二乗リスク（データ忠実度）である。
• $\alpha \|u\|^2_{L^2_\omega}$ は強圧性（coercivity）と $\lambda$-凸性を提供する。
• $\beta \|\nabla u\|^2_{L^2}$ はソボレフ正則化項として機能し、滑らかさを促進し、ワッサースタイン定式化におけるエントロピー正則化に類似した拡散効果を誘起するが、これはヒルベルト空間の設定内で行われる。

2. 解析的フレームワーク

解析は、線形ヒルベルト空間内における古典的な変分法および楕円型PDE理論に基づいている。主要な理論的ツールは以下の通りである：

• 凸解析： 関数ルの $\lambda$-凸性の確立。
• 楕円型正則性： 最小化子に関連するオイラー＝ラグランジュ方程式の解析。
• 勾配流理論： Hille-Yosida および Brézis-Komura 定理を利用した、連続時間極限（$L^2_\omega$ における勾配流）の研究。

主要な貢献と結果

1. 正確な変分特性（ラブレントヴィウス・ギャップの不在）

本論文は、リスクのインフィマム（下限）が、以下のいずれの操作によっても同一であることを証明している：

• 原子測度（有限幅のネットワーク）。
• ソボレフ密度。
• 滑らかなコンパクト支持関数。

定理1 は、「ラブレントヴィウス・ギャップ（Lavrentiev gap）」が存在しないこと、すなわち、この連続体定式化が離散問題の厳密な緩和であることを確立している。さらに、命題2 は、有限幅のネットワークが連続体の最適解に収束することを定量化しており、幅 $N$ のネットワークが誤差率 $O(1/N)$ で連続体の解を達成することを示している。

2. 全域的なウェルポーズド性と凸性

NTKフレームワークとは異なり、この定式化は非線形問題に対して全域的な凸性を達成する：

• この汎関数は空間 $W$ 上で $2\min(\alpha, \beta)$-凸であり、一意の最小化子 $u^*$ の存在と一意性を保証する。
• 汎関数は $L^2_\omega(\Omega)$ 上で $2\alpha$-凸であり、これは関連する勾配流が平衡状態 $u^*$ へと指数関数的に速く（速度 $e^{-2\alpha t}$ で）収束することを意味する（系9）。

3. 最小子の近-$C^3$ 正則性

最小子 $u^*$ の正則性は重要な知見である。

• 定理3 は、$u^*$ が以下の明示的なオイラー＝ラグランジュ方程式の古典的な解であることを示している：
  $$-\beta \Delta u^*(\theta) + \alpha \omega(\theta) u^*(\theta) - Q(\theta) + \int_\Omega K(\theta, \vartheta) u^*(\vartheta) d\vartheta = 0$$
• 最小子 $u^*$ は、すべての $s < 1$ に対して $C^{2,s}_{loc}(\Omega)$ に属する。この「近-$C^3$」の滑らかさは、パラメータ空間における病的な質量の集中を防ぎ、ネットワークの予測が滑らかな関数のグラフの周囲に集中することを示唆している。この正則性は、局所リプシッツ連続な活性化関数に対しても保持され、これはワッサースタイン的アプローチで見られる正則性の制約とは対照的である。

4. 安定性と汎化

このフレームワークは、明示的な安定性制御を提供する：

• 命題4 および 命題6 は、最小子がターゲットデータ $f$ に対して線形的かつリプシッツ連続に依存することを示す。
• 系7 は、汎化誤差がノイズレベル $\varsigma$ に対して線形にスケールし、$1/\alpha$ によって制御されることを確立している。これは、滑らかで汎化性能の高い解への暗黙的なバイアスに関する具体的な形式を提供している。

5. 計算上の含意

汎関数の二次的な性質と問題の凸性により、最小子は単一の線形方程式系を解くことによって得られる（選択された基底におけるリッジ回帰に帰着する）。これにより、連続体極限において、反復的な最適化や確率的勾配降下法を完全に回避できる。

意義と主張

本論文は、変分法を通じて過剰パラメータ化を理解するための原理的なフレームワークを提供することで、NTKと特徴量学習（feature-learning）の間の溝を埋めることを主張している。

• 線形化を超えて： 著者らは、彼らの $\lambda$-凸性が、NTK解析に必要な線形化の仮定を必要とせずに、無限幅極限において生じる同一の非線形問題に対して成立することを断言している。
• 非過学習のメカニズム： 最適なパラメータ密度の近-$C^3$ の滑らかさは、過剰パラメータ化されたネットワークにおける非過学習現象に対する具体的な説明を提供しており、パラメータ空間における低次元の滑らかな多様体への暗黙的な引力を示唆している。
• 相補性： このアプローチは、既存の平均場およびソボレフ・ペナルティに関する文献に対する相補的なものとして提示されている。先行研究が最適化の条件付けや粒子の近似に焦点を当てていたのに対し、本研究は目的関数の変分構造と、その最小子の正則性に焦点を当てている。
• 限界： 著者らは、現在の定式化が浅い（単一層の）ネットワークに限定されていることを明記している。これを深いアーキテクチャへと拡張することは強い非線形性を導入するため、オイラー＝ラグランジュ系は結合された非線形PDEとなり、滑らかな最小子の存在には追加的な構造的仮定（例：小さな初期条件）が必要となる。

要約すると、本論文は、浅いネットワークの学習をパラメータ密度上の変分問題として捉えることで、全域的な凸性、楕円型正則性、および勾配流理論を同時に解き放ち、有限幅のネットワークと厳密に結びついた、解析的に制御可能で動的に安定したモデルを提供することを提唱している。