Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

技術要約：多変量ReLUネットワークにおけるSGDの暗黙的バイアス：有効幅の崩壊（Effective Width Collapse）

問題提起
過剰パラメータ化されたニューラルネットワークは、訓練データを補間する無限に多くの解を持つが、確率的勾配降下法（SGD）は一貫して強い汎化特性を持つ解を選択する。この現象は、最適化アルゴリズムの「暗黙的バイアス」に起因する。暗黙的バイアスは、線形モデルや「レイジー（lazy）」な（カーネル）レジームの広範なネットワークにおいては十分に理解されているが、非線形ネットワークにおける特徴学習レジームでのバイアスについては、完全には解明されていない。具体的には、ノイズを含むSGDが、特に学習された特徴のスパース性や、結果として得られる予測器の幾何学的構造に関して、多変量回帰の設定においてどのように特定の解を選択するかについて、厳密な特性付けが欠如している。

手法
著者らは、**平均場レジーム（mean-field regime）**を用いて、広範な2層ReLUネットワークの訓練ダイナミクスを分析している。このフレームワークでは、ネットワークのパラメータはニューロン上の確率測度としてモデル化される。ノイズを含むSGDの訓練ダイナミクスは、ワッサースタイン勾配流（Wasserstein gradient flow）によって近似される。

主な手法ステップは以下の通りである：

1. 平均場近似（Mean-Field Approximation）： $N$個の隠れユニットを持つネットワークの訓練は、パラメータ分布 $\rho_t$ の進化を支配する偏微分方程式（PDE）によって記述される。ガウスノイズ（温度 $\beta^{-1}$）と重み減衰（$\lambda$）の導入により、 $t \to \infty$ において一意の定常測度 $\rho^*$ の存在が保証される。
2. ReLUの近似： 標準的なReLUニューロンは非有界かつ非平滑であり、平均場収束定理の仮定を満たさないため、著者らはReLU関数の有界で平滑な近似（$\sigma_{m,\tau}$）を採用している。そして、平滑化パラメータ $\tau \to \infty$ および切断パラメータ $m \to \infty$ の極限を分析することで、実質的にReLUの挙動を復元している。
3. 消失温度極限（Vanishing Temperature Limit）： 本研究は、ノイズレベル $\beta^{-1} \to 0$（消失温度）の極限、すなわち重み減衰を伴う標準的なSGDに焦点を当てている。著者らは、一意の極限の存在を事前に仮定することなく、この極限における定常測度および対応する解関数の構造的特性を調査している。
4. 幾何学的分析： 証明は、解関数のヘシアン（Hessian）とパラメータ空間の幾何学の分析に基づいている。具体的には、「二次正定値条件（Quadratic Positivity Condition）」を利用してヘシアンを拘束し、定常測度のサポートがパラメータ空間内の特定のレイ（ray）上に集中することを証明している。

主要な貢献と結果

1. 区分的アフィン解（定理4）：
   著者らは、$N \to \infty$ かつノイズが消失するにつれて、ノイズを含むSGDによって選択される解が、連続な区分的アフィン関数に収束することを証明した。この関数は、有限個の超平面の補集合の連結成分上でアフィンである。

   • 複雑性の境界： キンク（折れ曲がり）超平面の数 $K$ は、$K \le 2P - 1$ と抑えられる。ここで $P$ は、訓練入力に対して実現可能な線形二分（linear dichotomies）の数である。この境界は、ネットワークの幅や周囲の次元には依存せず、訓練データの組合せ幾何学のみに依存する。

2. 有効幅の崩壊（Effective Width Collapse）（定理5）：
   本論文は、ネットワークが無限に過剰パラメータ化されているにもかかわらず、学習された予測器が実質的に有限の表現を持つことを確立している。

   • 特徴の整列： 訓練されたネットワークの入力重みとバイアスは、パラメータ空間内の高々 $2P - 1$ 個の異なる方向（レイ）に沿って整列する。
   • 崩壊： その結果、無限幅のネットワークは、最大で $2P - 1$ の有効幅へと崩壊する。この解は、この有限個の隠れニューロンを持つ浅いReLUネットワークによって正確に表現できる。

3. 特徴の非冗長性（定理6）：
   著者らは、学習された方向に関する強い非冗長性を確立している。

   • 異なるパターン： 各学習された方向は、訓練データに対して一意の三値活性化パターン（入力を $\{-1, 0, 1\}$ に写像するもの）を誘発する。
   • 比較不能性： これらのパターンは、特定の半順序（あるパターンが $\pm 1$ のラベルを $0$ に変えることで別のパターンの「退化」となる関係）の下で比較不能である。具体的には、任意のバイナリ符号パターンに対して、学習された三値パターンは高々2つしかそこから退化し得ない。

4. 対称データに対する具体的な特性付け（命題7）：
   対称な2点データセットに対して、著者らはキンク超平面の位置を明示的に特定しており、それが入力データのノルムとラベル構成（偶数または奇数のラベル）に依存することを示している。

意義と主張
本論文は、一般的な訓練データを用いた多変量回帰における、ノイズを含むSGDの暗黙的バイアスとしての**「有効幅の崩壊」の最初の導出であると主張している。先行研究は、制限的な仮定（例：直交または対称なデータ）に依存していたり、静的な変分問題（例：最小 $L_1$ ノルム補間）を分析したりしていたが、本研究は、ノイズを含むSGDの訓練ダイナミクス**から直接、有限幅の構造を導出している。

これらの結果は、静的な最適化の特性付けと動的な訓練プロセスとの間の溝を埋めるものであり、訓練データの組合せ幾何学（具体的には線形二分数）が学習された予測器の複雑さを支配していることを示している。著者らは、解析が平均場フレームワークを利用するためにネットワークが十分に広いことを必要とし、定常測数の解析の妥当性を確保するために正の重み減衰パラメータ（$\lambda > 0$）を必要としていることを述べている。また、次元 $d > 1$ において、ヘシアンが消失しない「失敗集合」に対する非漸近的な境界を得ることは、単変数（univariate）の場合と比較して依然として未解決の課題であることを認めている。

本研究は、Shevchenkoら（2022）の知見を単変数から多変数設定へと拡張し、関数空間だけでなく、パラメータ空間における定常測度の構造を独自に特性付けている。