技術的概要：特徴学習が関数空間をどのように再構築するか

1. 問題提起

現代のニューラルネットワーク（NN）は、ランダム特徴モデルやラジーな学習 regime（レジーム）などの固定カーネル手法とは異なり、訓練中にデータ構造に合わせて内部表現を適応させる特徴学習を行う点で区別される。NN の成功はしばしばこのメカニズムに帰せられるが、特徴学習が誘発する関数空間に及ぼす正確な影響については、依然として十分に理解されていない。カーネルとニューラルネットワークに関する既存の記述は主に静的であり、初期化時や無限幅極限における関数空間を記述するものの、勾配降下法に代表される訓練アルゴリズムがどのようにこの空間を動的に再構築するかを説明するには至っていない。

本研究は、以下の問いに取り組む：勾配更新の下でカーネル（および関連する関数空間）はどのように進化し、何が段階的に学習されるのか？ 著者らは、高次元比例 regime（レギーム）で学習可能な最も一般的な関数クラスを捉えることが知られているガウス単一インデックスモデルに対する 2 層ニューラルネットワークの訓練の初期段階に焦点を当てる。

2. 手法

著者らは、2 層ネットワークの第 1 層重みに対する単一の大きな勾配降下ステップに続く関数空間の進化を分析する。設定は以下の通りである：

• データモデル：$y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$ なるガウス単一インデックスモデル。ここで $x_i \sim \mathcal{N}(0, I_d)$。
• ネットワーク構造：ReLU または一般的なリプシッツ連続な活性化関数を持つ 2 層ネットワーク $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$。
• 訓練レジーム：サンプル数 $n$、隠れユニット数 $m$、次元 $d$ が固定比（$\alpha = n/d, \beta = m/d$）で無限大に発散する「比例レジーム」。ステップサイズ $\eta$ は $\Theta(d^\zeta)$（$\zeta \in [1/2, 1)$）としてスケーリングされ、重みの大幅な更新を可能にする。
• 2 段階訓練：
  1. 特徴学習：第 2 層 $a$ を固定したまま、第 1 層重み $W$ を単一の勾配ステップで更新する。
  2. 線形読み出し：新しいサンプルのセット上で、リッジ回帰を通じて第 2 層重みを最適化する。

核心的な分析アプローチは、更新後の特徴分布を特徴付け、結果として生じるデータ適応型カーネルを導出することである。著者らは、ランダム行列理論、積分作用素のスペクトル解析、およびテイラー展開に似た展開を用いて、更新されたカーネルを初期の等方性カーネルに関連付ける。

3. 主要な貢献と結果

A. 目標依存スパイク付きガウスによる近似

本論文は、大きな勾配ステップの後、学習された特徴の分布が目標依存スパイク付きガウスによってよく近似されることを証明する。具体的には、特徴重みの共分散行列が等方性の形式から以下のように変換される：
$$\Gamma = A I_d + B w^* (w^*)^\top$$
ここで、$A$ と $B$ はステップサイズ、データ次元、およびリンク関数 $g$ に依存する定数である。これにより、以下のように表現されるデータ適応型カーネル $k_1$ が導かれる：
$$k_1(x, x') = k_0(\Gamma^{1/2}x, \Gamma^{1/2}x')$$
この定式化は、特徴学習をパラメータ空間における分布変換（重み分布のシフト）または入力空間における変換（データ表現の変換）として解釈する。

B. スペクトル展開とカーネル変形

著者らは、初期の等方性カーネル $k_0$ の周りで新しいカーネル $k_1$ のテイラー展開を行う。彼らは、「スパイク」（$w^*$ に整列したランク 1 の更新）が次元が増大するにつれて消滅する高次項を導入し、支配的な一次摂動を残すことを示す。

• 結果：特徴学習プロセスは、実質的に追加の目標依存カーネル成分を課す。
• メカニズム：この成分は、目標方向 $w^*$ に整列した固有値を選択的に増幅し、主要な固有関数を混合する。

C. ReLU 活性化関数に対する明示的な特徴付け

ReLU 活性化関数の特定のケースについて、著者らは正確なスペクトル解析を提供する：

1. 線形固有空間：目標に整列した線形関数 $\psi^*(x) = \langle x, w^* \rangle$ は、その固有値に対して選択的なブーストを受ける。$w^*$ に直交する線形関数は影響を受けない。
2. 主要固有空間の混合：更新された作用素の主要固有関数は、初期カーネルにおけるように純粋な定数調和関数ではなく、定数放射モード（$Y_0$）と信号に整列した二次調和関数（$Y_2$）の重ね合わせとなる。
3. 結合：これは、特徴学習が主要な放射モードを信号に整列した二次調和関数と結合し、実質的に信号を含む方向を優先するように関数空間の幾何学を再構築することを明らかにする。

D. 数値的検証

合成データを用いた実験は、理論的知見を確認する：

• 整列：更新されたカーネル（$k_1$）の主要固有ベクトルは、スパイク強度 $B$ が増加するにつれて二次特徴 $Y_2$ との整列が増加するのに対し、初期カーネル（$k_0$）はこのような整列を示さない。
• 汎化性能：単一の勾配ステップで訓練されたニューラルネットワークは、スパイク付きカーネル $k_1$ の性能に収束し、特に目標関数が非線形成分を含む場合、固定カーネル $k_0$ よりも目標関数の学習において優れた性能を示す。

4. 意義と主張

本論文は、初期段階の特徴学習に対する精密な関数空間の視点を提供する。その主要な主張は、勾配降下が単に固定されたカーネルを再スケーリングするのではなく、関数空間にデータ適応型の変形を誘発するということである。

• 学習のメカニズム：特徴学習は、データ中の信号に整列した関数空間内の方向を優先的に強化する変換として特徴付けられる。
• ステップサイズ依存性：この変形の大きさはステップサイズによって調節される。大きなステップはより強い変形を誘発し、線形および高次非線形特徴の両方の寄与を増加させる。
• 理論的架け橋：この結果は、データ適応型カーネルとニューラルネットワークの間のギャップを埋め、特徴学習の「魔法」が、カーネルのスペクトル構造が目標関数に整列するようにどのように修正されるかという観点から理解できることを示唆する。

著者らは、これらの分布シフトを理解することが、これらの適応型カーネルでネットワークを直接初期化することによって訓練の初期段階を「スキップ」する可能性のある道筋を提供すると結論付けているが、これは将来の研究の方向性として示唆されており、現在の作業で実証された応用ではないことに留意している。