技術要約：正規化残差ネットワークにおける幅のスケーリング・メカニズム

問題提起

既存のニューラルネットワークの幅に関する理論は、主に漸近的極限（例：ガウス過程、ニューラル・タンジェント・カーネル）または有限幅の補正を特徴付けている。しかし、これらのフレームワークは、特定の有限サンプル訓練データから特定された局所的な拡張方向が、未知のテストデータに対しても有益であり続けるかどうかについての**有限サンプル証明（finite-sample certificates）**を提供できないことが多い。このギャップは、モデル成長戦略（例：Net2Net、プログレッシブ・スタッキング、学習された成長オペレータ）において極めて重要である。なぜなら、訓練済みモデルへの提案された挿入が、訓練セットを超えて汎化性能を向上させるかどうかを判断する必要があるからである。

正規化残差ネットワークに関する先行研究は、定性的なメカニズムを確立している。すなわち、ゼロ出力初期化状態で挿入された残差ブロックは、その特徴量が挿入点の誤差信号と直交していない場合、降下方向となる。しかし、この方向の定量的な有限サンプルにおける観測可能性は未解決のままであり、共分散スペクトル、全分散、および規定された幅の成長率に関する強い仮定に依存することが多かった。

手法

理論的枠組み

著者らは、特定の挿入点における活性化勾配の信号・ノイズ幾何学を記述する測定可能な量として、有効アライメント次元（Effective Alignment Dimension） ($d_{\text{align}}$) を導入する。

1. 活性化勾配信号: 学習済みの参照モデル $f^*_{\text{old}} = f_{\text{top}} \circ f_{\text{bot}}$ と挿入点に対し、活性化勾配は $q(x, y) = \nabla_z \ell(f_{\text{top}}(z), y)|_{z=f_{\text{bot}}(x)}$ と定義される。
2. アライメント統計量: 本研究では、訓練セットの経験的な活性化勾配平均 ($\mu_M$) と、独立したテストセット ($g_K$) との間の内積を分析する。不整合（misalignment）は、$\mu_M^\top g_K \leq 0$ のときに発生する。
3. 厳密な特性付け: 著者らは、この内積の平均と分散を厳密に導出している：
   • $\mathbb{E}[\mu_M^\top g_K] = \|\bar{\mu}\|_2^2$
   • $\text{Var}(\mu_M^\top g_K) = (\frac{1}{M} + \frac{1}{K})\bar{\mu}^\top \Sigma \bar{\mu} + \frac{1}{MK}\text{tr}(\Sigma^2)$
     ここで、$\bar{\mu}$ は母平均、$\Sigma$ は活性化勾配の母共分散である。
4. 有効次元: 信号対雑音比（SNR）に基づき、2つの無次元量を定義する：
   • 方向的有効次元: $d_\parallel = \frac{\|\bar{\mu}\|_2^4}{\bar{\mu}^\top \Sigma \bar{\mu}}$
   • 共分散エネルギー有効次元: $d_2 = \frac{\|\bar{\mu}\|_2^4}{\text{tr}(\Sigma^2)}$
   • 有効アライメント次元: $d_{\text{align}} = \min\{d_\parallel, d_2\}$

主要な理論的結果

定理1（有限サンプル・アライメント境界）:
独立サンプリングと有限の二次のモーメント（非ゼロの母平均を伴う）の仮定の下で、不整合の確率は以下によって抑えられる：
$$\Pr(\mu_M^\top g_K \leq 0) \leq \frac{1}{1 + n_{\text{eff}}(M, K) d_{\text{align}}}$$
ここで、$n_{\text{eff}}(M, K) = \frac{MK}{M+K+1}$ は有効サンプルサイズである。

主要な理論的特性:

• 最小限の仮定: この境界は、有限の二次のモーメントと非ゼロの母勾配のみを必要とする。共分散スペクトル、四次のモーメント条件、または規定された幅の成長率を必要としない。
• 幅の役割: 幅は直接的に証明書には現れない。代わりに、幅が活性化勾配の分布を変化させ、それによって $d_{\text{align}}$ を変化させることで、証明書に影響を与える。$d_{\text{align}}$ が幅とともに増加する場合、不整合の確率が減少する。
• 先行研究の回収: 共分散スペクトルと信号成長に関するより強い条件を用いた先行研究の下では、$d_{\text{align}}$ は幅に対して線形に成長し（$d_{\text{align}} = \Omega(N)$）、先行研究の漸近的な幅依存レートを回収する。しかし、本フレームワークでは、これらの成長条件を必要条件ではなく十分条件として扱う。

定理2（直接的な訓練・テスト拡張）:
アライメントの証明書を直接的な訓練–テスト拡張フレームワークに統合することで、テストリスク向上のための高確率条件が得られる。アライメントが正であり（これは確率 $\geq 1 - B_{\text{align}}$ で発生する）、かつ他の条件（最適化ゲイン、汎化制御）が満たされる場合、拡張されたモデルはテストリスクを厳密に改善する。

実験的検証

著者らは、3つのモデルファミリー（幅制御されたLLaMAスタイルのTransformer、Pythiaスイート、ResNet-20）にわたって理論を検証している。

1. 活性化勾配の幾何学における幅のスケーリング

• LLaMAスタイルTransformer: 幅 $N \in \{512, \dots, 3072\}$ における実験では、$d_{\text{align}}$ が幅とともに単調に増加することを示している（$N=512$ で $\approx 3.9$ から $N=3072$ で $\approx 9.5$ へ）。
• Pythia: 制御された深さ内での比較（6層および32層のレジーム）により、隠れ層の幅を増やすことが活性化勾配の統計量と $d_{\text{align}}$ の両方を増加させることを確認している。
• ResNet-20: CIFAR-10/100におけるチャネル幅マルチプライヤーの変動は、幅が増加するにつれて $d_{\text{align}}$ が一貫して増加することを示している。

2. 勾配の不整合確率

• 経験的傾向: サンプリング予算 ($M, K$) を一定に保持した場合、モデルの幅が増加するにつれて、経験的な不整合の確率は減少する。
• 証明書の一致: 理論的な証明書（$B_{\text{exact}}$ および $B_{\text{align}}$）は、経験的な不整合確率を密接に追跡しており、簡略化された証明書は保守的な単一スカラーによる特性付けを提供している。
• サンプルサイズの依存性: $M$ および $K$ を増やすと不整合はさらに減少し、モデルの幅（幾何学の改善）とサンプルサイズ（推定の不確実性の減少）の相補的な役割が示されている。

3. 直接的な残差介入

• 介入の設定: 著者らはゼロ初期化された残差パラメータを挿入し、保持された損失（held-out loss）の実際の変化を測定している。
• 予測精度: アライメント統計量 ($\mu_M^\top g_K$) は、損失変化の符号と局所的な大きさの両方を正確に予測する。正のアライメントは一貫して保持損失の減少を予測し、観測された大きさは、小さな摂動スケールにおいて予測値の96–99%を維持した。

意義と主張

本論文は、正規化残差ネットワークにおいて、訓練によって特定された拡張方向がテストデータに転移することに対する、最初のインスタンス固有の有限サンプル証明を提供すると主張している。

1. 定量的メカニズム: 定性的な議論や漸近的な議論を、有効アライメント次元と有効サンプルサイズによって制御される定量的な境界に置き換えている。
2. 幅の条件的利益: 本研究は、幅が増加することによる利益は条件的であり、自動的ではないことを明らかにしている。幅は、活性化勾配の相対的な信号・ノイズ幾何学（$d_{\text{align}}$）を改善する場合にのみ、汎化性能を向上させる。
3. 実用的な推定: 有効アライメント次元は、大きな共分散行列を明示的に形成することなく、少数のフォワード–バックワードパスを用いて訓練済みモデルから推定可能であり、モデル成長の決定に対して実行可能（actionable）な指標である。
4. 堅牢性: 理論的保証は、共分散スペクトルや成長率に関する制限的な仮定に依存せず、有限の二次のモーメントのみに基づいている。

著者らは、観察された経験的傾向――すなわち、より広いモデルはより大きな $d_{\text{align}}$ とより低い不整合を示すこと――が、提案されたメカニズム（$N \uparrow \implies d_{\text{align}}(N) \uparrow \implies p_{\text{misalignment}}(N) \downarrow$）を支持していると結論付けている。これは、なぜ幅のスケーリングが実際にはしばしば優れた汎化をもたらすのかについて、有限サンプルの方向的安定性の観点から理論的な基礎を提供するものである。