Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information

技術的概要：フィッシャー情報行列のスペクトル分解に基づく単純な ReLU ネットワークの近似

問題提起
本論文は、ランダムに固定された隠れ層重みと学習可能な出力重みを持つ、バイアスなしの 2 層 ReLU 神経ネットワークが表現する関数空間を調査する。具体的には、著者らはフィッシャー情報行列（FIM）の主要な固有空間に対応する特定の関数形式を特定することを目的としている。Takeishi らによる先行研究 [7, 8, 9] は、そのようなネットワークにおいて、FIM の固有値分布が最初の 3 つの固有空間に強く集中し、隠れユニットの数（$m$）に関わらず、行列のトレースの約 97.7% を占めることを確立していた。スペクトル特性は既知であったが、これらの主要な固有空間によって誘導される具体的な関数空間は未特定であった。

手法
本研究は、入力 $x \in \mathbb{R}^d$ が標準ガウス分布 $N(0, I_d)$ に従い、出力が $y = f_v(x) + \epsilon$ となるモデルを分析する。ここで、$f_v(x) = X(x)^\top v$ である。$X(x) = \sigma(x^\top W)$ は ReLU 活性化関数 $\sigma(\cdot)$ を用いた隠れ層の出力を表し、$W \in \mathbb{R}^{d \times m}$ には i.i.d. ガウス重み $N(0, 1/m)$ が含まれ、$v \in \mathbb{R}^m$ は学習可能な出力重みベクトルである。

手法は以下の通り進行する：

1. スペクトル分析：著者らは、先行文献で導出された FIM の近似スペクトル分解、$J = \mathbb{E}_{x}[X(x)X(x)^\top]$ を利用する。彼らは、最大の固有値に対応する 3 つの支配的な固有空間に焦点を当てる：
   • 固有値 $\approx (2d+1)/4\pi$ を持つ第 1 固有空間（重複度 1）。
   • 固有値 $1/4$ を持つ第 2 固有空間（重複度 $d$）。
   • 固有値 $\approx 1/(2\pi(d+2))$ を持つ第 3 固有空間（重複度 $d(d+1)/2 - 1$）。
2. 関数空間へのマッピング：関数空間における内積を $\langle f, g \rangle = \mathbb{E}_{x \sim N(0, I_d)}[f(x)g(x)]$ として定義することで、著者らはパラメータ空間（$v$）の近似固有ベクトルを、$m \to \infty$ の極限における対応する漸近的関数形式にマッピングする。
3. 漸近的導出：論文は、3 つの主要なクラスターに関連する特定の固有ベクトルに対する $X(x)^\top v$ の極限を導出し、球面調和関数を含む特定の関数への確率収束を証明する。
4. 検証：理論的結果は、さまざまな入力次元（$d$）と隠れ層サイズ（$m$）にわたる数値シミュレーションを通じて検証され、実現されたネットワーク出力と導出された漸近極限との間の平均絶対誤差（MAE）が測定される。

主要な貢献と結果
主な貢献は、FIM のトレースの 97.7% に対応する関数空間を張る特定の基底関数を特定することである。$m \to \infty$ において、3 つの主要な固有空間に対応するネットワーク出力は、以下の形式に収束する：

1. 第 1 固有空間：関数はユークリッドノルムに比例する放射状成分に収束する：
   $$F_0(x) \propto \|x\|$$
2. 第 2 固有空間：関数は座標固有の線形項に収束する：
   $$F_l(x) \propto x_l \quad \text{for } l \in \{1, \dots, d\}$$
3. 第 3 固有空間：関数はノルムで正規化された座標の積を含む項に収束し、特に 2 次の球面調和関数に関連する：
   $$F_{\alpha\beta}(x) \propto \frac{x_\alpha x_\beta}{\|x\|} \quad (\alpha < \beta)$$
   $$F_\gamma(x) \propto \frac{x_\gamma^2}{\|x\|} - \text{補正項} \quad (\gamma \in \{1, \dots, d-1\})$$

著者らは、これらの関数がフィッシャー計量下で関数空間においてほぼ直交する基底を形成することを示す。シミュレーション結果は、$m$ が増加するにつれて、ネットワークの実現とこれらの理論的極限との間の平均絶対誤差が減少することを確認し、漸近近似を検証している。

意義と主張
本論文は、これらの結果が無限幅極限における単純な ReLU ネットワークの「学習ダイナミクス」の厳密な特徴付けを提供すると主張している。FIM のスペクトル分解を特定の関数形式と結びつけることで、著者らは以下を論じている：

• 勾配降下による優先順位付け：勾配降下は、ヘッセ行列（最適点近傍では FIM を近似する）のより大きな固有値に対応する方向に沿ってより速く収束するため、ネットワークは $\|x\|$ に比例する特徴の学習を優先し、次に $x_l$、そして二次項 $x_\alpha x_\beta / \|x\|$ を学習する。
• ニューラルタンジェントカーネル（NTK）との関連：これらの結果は、2 層ネットワークにおけるニューラルタンジェントカーネルのメルセル分解の最初の 3 つの次数の固有値と固有関数を特定するものとして解釈される。これは、有限幅の FIM 解析を無限幅の NTK 文献、特に Bietti と Ma [3] の研究と結びつける。
• 関数空間のダイナミクス：この研究は、過剰パラメータ化されたネットワークがどのように関数を表現するかを理解するための枠組みを提供し、初期のトレーニング段階が低次の球面調和関数（0 次、1 次、2 次）によって支配されていることを示唆している。

限界
著者らは明示的にいくつかの限界を指摘している：

• 入力分布：直交性と特定の関数形式は、入力 $x$ が回転不変（特に標準ガウス分布）であることに強く依存している。非ガウス分布または回転不変でない分布は、基底関数の階層性を変化させる可能性がある。
• 有限幅：この解析は無限幅極限（$m \to \infty$）を仮定している。有限幅のネットワークは、確率的効果により逸脱を示す可能性がある。
• データ多様体：現在の枠組みは、FIM が退化する可能性がある低次元多様体上に分布するデータには対応していない。
• アーキテクチャ：本研究は、バイアスなしの 2 層 ReLU ネットワークに限定されており、より深いアーキテクチャや異なる活性化関数への拡張は扱われていない。