技術的概要：特徴反発とスペクトル・ロックイン

問題提起

グロッキング（訓練損失がプラトーに達した很久後に、ニューラルネットワークが暗記から汎化へと急激に移行する現象）は、機械的解釈可能性や暗黙的正則化など、さまざまな視点から説明されてきた。Tian [2025] は、2 層ネットワークにおけるグロッキングのダイナミクスを 3 つの段階に分解する原理的な枠組みを提供し、最終的に「インタラクティブな特徴学習」段階（段階 III）に至ることを示した。この段階において、Tian の定理 6は「反発定理」を提唱している：行列 $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$ の非対角構造により、類似した隠れ特徴は互いに反発し合う。

しかし、Tian の枠組みは以下の 2 つの実証的な問いに答えていなかった：

1. タイミング： この反発メカニズムは、訓練のどの時点で実証的に観測可能になるのか？
2. 観測可能性： このメカニズムは、実務家が高価なオフライン診断なしに計算可能な、測定可能なオンラインのシグナルとして現れるのか？

本論文は、Tian の正確なモジュラ加算設定において定理 6 と候補となるスペクトル観測量をテストすることで、これらの問いに答える。

手法

本研究は、Tian [2025] のモジュラ加算設定（クラス数 $M=71$、隠れユニット数 $K=2048$、訓練割合 $p \approx 0.40$）を、重み減衰 $\eta$ を用いた Adam 最適化で再現する。著者は複数のランダムシードにおいて、2 つの相補的なテストを採用する：

1. 定理 6 の直接検証：

   • 著者は Woodbury 恒等式を用いて $B$ を正確に計算し、計算複雑性を低減する。
   • 決定論的チェックポイントにおいて、コサイン類似度に基づいて上位 200 組の最も類似した特徴ペアを特定する。
   • 符号則を検証する：$\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$。ここで $P$ は列 $j$ と $\ell$ を除外する射影行列である。
   • この検証は、異なる活性化関数（$\sigma(x)=x^2$ および $\sigma(x)=\text{ReLU}$）に対して行われる。

2. スペクトル・シグナルの検出：

   • 著者はパラメータ更新（$\Delta W$）のローリングウィンドウグラム行列を監視する。
   • 固有値ギャップ比 $\sigma_2/\sigma_3$（第 2 固有値と第 3 固有値の比）を追跡する。
   • 傾きベースの検出器は、この比が持続的な上昇に入り始める「ロックイン」の瞬間を特定する。これは、反発が冗長な特徴を低ランク構造（具体的にはランク 2）に統合すると仮定している。
   • ウィンドウサイズ（$W$）と重み減衰（$\eta$）に対する感度分析を実施する。

主要な結果

1. 定理 6 の検証（活性化関数一般）

定理 6 の符号則は、異なる活性化関数にわたって実証的に成立し、このメカニズムが**活性化関数に依存しない（activation-general）**ことを確認する。

• $\sigma(x) = x^2$： 上位 200 組の類似ペアに対する実証的な符号一致率は、エポック 50 で 0.865 から始まり、エポック 300 までに 0.985 へと厳密に飽和する。飽和（$\ge 0.95$）は、すべてのシードにおいてエポック 175 で一貫して発生する。
• $\sigma(x) = \text{ReLU}$： 符号則もまた成立し、より速く飽和する（エポック 500 までに 1.000）。
• 結論： $\tilde{F}^\top \tilde{F}$ の構造によって支配される反発メカニズムは、活性化関数が冪関数か ReLU かにかかわらず機能する。

2. スペクトル・ロックイン（活性化関数特異的）

メカニズムは一般的であるが、パラメータ更新のスペクトル・シグナルは活性化関数に依存する（activation-specific）。

• $\sigma(x) = x^2$（集中型暗記）： 傾きベースの検出器は、15/15 のグロッキング・シードにおいてエポック 174 で作動する。グロッキング・シード（中央値 $\approx 300$）とコントロール・シード（$\eta=0$、中央値 $\approx 1.31$）の間には、後期段階の $\sigma_2/\sigma_3$ 比において巨大な大きさの分離（$229\times$）が存在する。スペクトルはランク 2に崩壊し、特徴が 2 つの持続的な方向に統合されることを示している。
• $\sigma(x) = \text{ReLU}$（拡散型暗記）： 検出器は 15/15 のグロッキング・シードにおいて0/15でしか作動しない。大きさの分離は $1.4\times$ に縮小し、スペクトルはランク 1 支配（$\sigma_1 \gg \sigma_2 \approx \sigma_3$）のまま残る。
• 結論： ランク 2 のロックイン・シグナルは、特徴が鋭いピークに崩壊する「集中型暗記」レジーム（冪関数活性化）でのみ現れる。「拡散型暗記」レジーム（ReLU）では、特徴は分散したまま留まり、明確なランク 2 のスペクトル・シグナルの形成を防ぐ。

3. 方法論的統制とスケーリング

• ウィンドウサイズ感度： 検出器にはウィンドウサイズ $W \in \{20, 30\}$ が必要である。より小さなウィンドウ（$W \le 10$）は、コントロール条件において偽陽性を生む。
• $\eta$ スケーリング： $\eta = 10^{-5}$ での拡張実行は、グロッキング時間に対する Tian の $1/\eta$ スケーリング予測（エポック 1527 でのグロッキング）を確認する。しかし、ロックインの大きさ（$\sigma_2/\sigma_3$）は著しく減少する（$\approx 25$ 対 $\approx 300$）、これはランク 2 の構造がこの遅い時間スケールでは不完全に発達していることを示唆する。
• レベル・メトリック検出器（$\rho_{tian}$）： 活性化グラム行列の非対角構造に基づくより単純なメトリックは、$\sigma=x^2$ に対してグロッキングの開始を正のリードタイムで予測するが、ReLU や異なる $(M, p)$ 設定には一般化できず、成功したグロッキングではなく特徴ダイナミクスの開始をマークする。

意義と主張

本論文は、重要な構造とメカニズムの区別を導き出す：

1. メカニズム（一般的）： Tian の定理 6 は、特徴グラム $\tilde{F}^\top \tilde{F}$ の性質を通じて、$B$ の非対角符号構造を支配する。このメカニズムは堅牢であり、特定の活性化関数 $\sigma$ に依存しない。
2. シグナル（特異的）： パラメータ更新における観測可能なスペクトル・シグナルは、反発が重み更新にどのように翻訳されるかに依存し、これは微分 $\sigma'$ によって媒介される。
   • 冪関数活性化（$\sigma=x^2$）は、2 つの方向に統合される集中型特徴を生み出し、ランク 2 のスペクトル・ロックインをもたらす。
   • ReLU は、ランク 1 支配のまま留まる拡散型特徴を生み出し、基礎的な反発メカニズムが存在するにもかかわらず、スペクトル・ロックインのシグナルを欠く。

著者は、この実証的な分離を、集中型と拡散型の暗記レジームを形式的に区別する Tian の定理 5 と結びつける。本論文は、反発メカニズムが段階 III において普遍的である一方で、グロッキング診断へのスペクトル的アプローチは活性化関数に依存すると結論づける。実務家は、単一のスペクトルメトリック（例えば $\sigma_2/\sigma_3$）がすべての活性化関数にわたってグロッキングを検出すると仮定することはできない。診断の選択は、活性化関数によって誘発される特定の暗記レジームと整合する必要がある。