技術要約：ニューラル・タンジェント・カーネル（NTK）の再考

問題提起

ニューラル・タンジェント・カーネル（NTK）フレームワークは、無限幅の極限において、勾配降下法で訓練された過剰パラメータ化されたニューラルネットワークの学習ダイナミクスを記述し、ネットワークが固定されたカーネルを持つカーネル法のように振る舞うと仮定している。このレジームは、個々の隠れニューロンの活性化が初期値に極めて近い状態に留まるため、「レイジー・トレーニング（怠惰な学習）」と呼ばれることが多い。しかし、この特徴付けには2つの重大な理論的課題が存在する：

1. 幅の軸（The Width Axis）: 「レイジー・レジーム」は、特徴量（隠れニューロンの活性化）が静的かつランダムであることを示唆しており、実用的な深層ネットワークで見られる「特徴学習（feature learning）」を説明できていない。先行研究では、NTKは複雑な依存関係を捉える一方で、意味のある特徴を抽出することはないとされており、これは、その汎化性能の高さと特徴進化の欠如というパラドックスを生んでいる。
2. 深さの軸（The Depth Axis）: 無限幅の極限においてネットワークの深さが増すと、NTKはデータに依存しない予測器（定数行列）へと収束し、訓練データに含まれていないデータ点とデータを区別できなくなる。これは、標準的なNTKのスケーリング条件下では、モデルが表現力と汎化能力を失い、理論的な行き止まりに突き当たることを示唆している。

本論文は、NTKが特徴学習に関して純粋に「レイジー」であるという結論、および深いNTKが必然的に自明な予測器へと退化するという結論に対して異議を唱えるものである。

手法

著者らは、標準的なガウス初期化と平均二乗誤差（MSE）損失を用いた、全結合ReLUネットワークに対する理論的な漸近解析と経験的な検証を組み合わせて用いている。

理論的枠組み

• 記法と定義: 本論文は、Jacotら（2018a）およびAroraら（2019b）によって確立された、NTK（$\Theta^{(L)}_\infty$）およびニューロンの共分散（$\Sigma^{(L)}$）の再帰的な定義を利用している。研究の焦点は、NTKが決定論的なカーネルに収束する無限幅の極限にある。
• 特徴分析（幅）: 著者らは、個々のニューロンではなく、隠れ層の集合的な挙動を分析する。彼らは、隠れ層の活性化の内積 $\langle h_t(x), h_t(x') \rangle$ に関する閉形式の解を導出し、個々のニューロンの偏差は消失するものの、偏差の集合的なノルムは消失しないことを示す。
• 深さの分析: 本論文は、深さ $L \to \infty$ の極限を調査する。正規化されたカーネル $\bar{\Theta}^{(L)}_\infty$ を導入し、その収束特性を分析する。著者らは、カーネル行列と予測関数の固有値に関する漸近的な境界を導出する。
• スケーリング戦略: 深さの退化に対処するため、本論文は、深さ $L$、停止時刻 $t$、およびデータセットサイズ $n$ が結合された特定のスケーリング・レジームを提案する。具体的には、$t \to \infty$ または $L \to \infty$ を単独で仮定することを避け、カーネル・ダイナミクスの「秩序相（ordered phase）」に留まるために $L$ が $n$ と $t$ に応じて適切にスケールすることを要求する。

経験的検証

• トイモデルとデータセット: 合成データ、text8 データセット（one-hot エンコーディングを使用）、および MNIST に対して実験が行われる。
• 指標: 著者らは、最後の隠れ層の初期値からの偏差（$\|h_t - h_0\|_2$）、および深さが増すにつれてのカーネル値と固有値の収束率を測定する。

主な貢献

1. 「レイジー・レジーム」の再評価（幅の軸）

本論文は、「レイジー（静的な特徴）」と「特徴学習（動的な特徴）」という二項対立的な区別を否定する。

• 集合的ダイナミクス: 幅が増大するにつれて個々のニューロンの活性化は初期値に収束するが、最終隠れ層における偏差の集合的なノルムは消失しない。
• 理論的証明（命題4）: 著者らは、少なくとも2つの隠れ層を持つReLUネットワークについて、異なる入力に対する隠れ層の活性化の内積 $\langle h_t(x), h_t(x') \rangle$ が、訓練ステップ $t$ の厳密に非定数な関数であることを証明する。これは、無限幅の極限においても、データ点間の統計的な相関が訓練中に進化することを実証している。
• 示唆: 「レイジー・レジーム」は特徴学習を排除するものではない。むしろ、特徴は個々のニューロンの追跡ではなく、集合的な層のダイナミクスによって捉えられる形で進化するのである。

2. 深層ネットワークにおける表現力の解決（深さの軸）

本論文は、深さが増すにつれてNTKがデータに依存しない予測器へと崩壊する問題に対処する。

• 定数への収束: 著者らは、正規化されたカーネル $\bar{\Theta}^{(L)}_\infty(x, x')$ が $L \to \infty$ のとき $x \neq x'$ に対して $1/4$ に収束することを確認している（定理2）。
• スケーリングによる安定化（定理3）: 本論文は、深さ $L$ がデータセットサイズ $n$ に対して適切にスケールし、停止時刻 $t$ が適切に選択されている（早期停止）場合、予測関数 $f_t$ が安定し、かつ表現力を維持できることを示している。
  • $t \in o(1/\lambda_n)$ （ここで $\lambda_n$ は最小固有値）とし、カーネルを安定させるには十分だが、データ独立性を誘発するほど大きくならないように $L$ をスケールさせることで、モデルはデータ点を区別する能力を保持する。
  • 著者らは、データ点の分離度に依存する $L$ の境界を提示している：$L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$。
• 汎化: これらの結果は、データが密度関数を持つ確率分布から生成されているという仮定を置かずに、球体上の任意のデータセットに対して成立する（Xiao et al., 2020 の制約を緩和している）。

結果

• 特徴の進化: text8 における経験的結果は、個々のニューロンの偏差は小さいものの（「レイジー」な挙動と一致）、最終隠れ層の集合的な偏差は訓練とともに増大することを示しており、非静的な特徴という理論的予測を裏付けている。
• カーネルの収束: 合成データおよび MNIST データに関する実験は、カーネル値が $O(1/L)$ のレートで $1/4$ に収束することを確認している。
• 安定性: 導出されたスケーリング則（定理3）を適用することで、著者らは、閉形式の解における射影演算子のノルムが有界（$O(n)$）であり、データ間の分離度が極端に大きくならない限り、大きな深さに対してもモデルが表現力を維持できることを示している。

意義と主張

本論文は、ニューラルネットワークのスケーリングに関する、より微細な理論的理解を提供すると主張している：

1. 「レイジー・レジーム」への精緻化: 「レイジー・レジーム」という記述は不完全であると論じている。個々のニューロンは静的であるが、集合的な層のダイナミクスが特徴学習を可能にする。これにより、NTKの汎化成功と特徴抽出の概念を調和させている。
2. 深いNTKの生存可能性: 無限深さのNTKが理論的な行き止まりであるという概念に異議を唱えている。深さと停止時刻を適切にスケールさせることで、NTKは大規模なデータセットに対しても良好に振る舞い、非自明な出力を得ることができる。
3. 実践的な整合性: これらの知見は、深さが十分に大きいが有限であり、早期停止が用いられるレジームに、NTK解析の「ゴールドリックス（適温）」ゾーンが存在することを示唆しており、これは $L \ll n$ である実用的な実験設定を反映している。
4. 汎化: 著者らは、これらの結果を他のカーネルやアーキテクチャ（CNNなど）に一般化することを可能にする一連の主要な特性（対角優位性、十分な深さにおける正定値性）を提供している。ただし、深さが幅を大幅に超えるレジームで見られる確率的なゆらぎ（Hanin and Nica, 2020）については、本解析の対象外であることを明記している。

結論として、本論文は、静的な特徴やスケーリングなしの無限の訓練時間・深さという仮定を超えて、NTKが過剰パラメータ化されたネットワークを分析するための価値あるツールであり続けることを示している。