技術要約：残差ニューラルネットワークにおける深さの十分性の定量化

問題提起

本論文は、ニューラルネットワークのスケーリングと適応的成長における根本的な問いに取り組んでいる。すなわち、「訓練された残差ニューラルネットワークが、すでに十分に深いかどうかをどのように判断できるか？」という問いである。深さを増すことはモデル容量を拡大するための標準的な手法であるが、限界利益はしばしば減衰し、追加の層が極めて微小な利得しか得られない領域へと至る。異なる深さを持つ独立したモデル間を比較する既存の手法は、初期化、最適化の難易度、あるいは訓練予算の差異と、深さによる効果を混同してしまう。著者らは、訓練されたネットワークが「深さの飽和（depth saturation）」状態、つまり、関数保存的な残差挿入を行っても、厳密な一次局所損失減少を生み出すことができない状態に達したことを特定するための、厳密な一次（first-order）基準を求めている。

手法

著者らは、**関数保存的な残差成長（function-preserving residual growth）と一次解析（first-order analysis）**に基づくフレームワークを提案している。

1. 問題の設定とプロトコル

本研究は、勾配信号を観測する前に定義される固定された残差成長プロトコルの下で動作する。このプロトコルは以下を指定する：

• 許容可能な挿入候補（Admissible Insertion Candidates）: 残差ブロックを挿入できる有限の場所の集合。
• 残差ファミリー（Residual Families）: パラメータ化された残差関数の集合 $h_{l, \theta_l}$。
• 関数保存的な初期化（Function-Preserving Initialization）: 指定された原点 $\theta_l = 0$。これにより、$h_{l, 0}(z) \equiv 0$ となり、拡張されたモデル $f_{l, \theta_l}$ は初期化時において参照モデル $f^*_{old}$ と全く同じ関数を表す。
• ゼロ状態更新（Zero-State Updates）: アクティブな残差座標がゼロから始まり、すべてのオプティマイザ状態変数が中立的なゼロ値に初期化される、一次の最適化方向ルール。

2. 理論的枠組み

本研究の核心的な理論的貢献は、**一次残差深さ飽和（first-order residual depth saturation）**の特性付けである。

• 定義: ある候補挿入が「飽和している」とは、固定されたゼロ状態の降下適合な更新が、いかなつかなる十分に小さな正のステップサイズに対しても、目的関数の厳密な減少を生み出せない状態を指す。
• 接空間への射影（Tangent Space Projection）: 著者らは、残差接空間 $T^{(l)}_h$ を、ゼロ初期化における残差ファミリーのパラメータに関するヤコビアンの範囲として定義する。
• 主要定理（必要十分条件）: 標準的な正則性仮定の下で、ある候補が厳密な一次改善を許容するための条件は、条件付き活性化勾配信号（$m_l$）が残差接空間 $T^{(l)}_h$ への非ゼロの射影を持つことである。
  • 数学的には、飽和は $\Pi_l m_l = 0$（ここで $\Pi_l$ は接空間への直交射影）である場合に起こる。
  • この境界は、特定のゼロ状態降下適合なオプティマイザ（SGD、Adamなど）の選択や、接空間を保存する正則な局所再パラメータ化に対して不変である。

3. 実用的な基準と実現可能性

著者らは、理論的な射影に基づく実用的な診断基準を導出している：

• クロス勾配基準（Cross-Gradient Criterion）: 標準的なゼロ出力ブロック（特徴サブネットワークと、ゼロで初期化された学習可能な出力投影からなるもの）の場合、射影基準は、活性化勾配と残差特徴の間のクロス勾配へと簡略化される。
• 残差信号の実現可能性（Residual-Signal Realizability）: 著者らは、現在の活性化勾配信号が完全に残差接空間内に存在する条件を導入している。この実現可能性条件の下では、生の活性化勾配ノルムが、飽和の必要十分な証明（すなわち、生の勾配の消失が飽和を意味する）となる。この条件がない場合、生の勾配の消失は十分条件ではあるが、必要条件ではない。
• 有限サンプルの一貫性: 本論文は、独立したプローブサンプルが母集団の飽和スコアを一貫して推定できることを示す確率的境界を提供しており、これにより経験的な検出が可能となる。

主な貢献

1. 操作的な飽和の定義: 精緻な一次残差深さ飽和の定義を導入し、その境界がすべてのゼロ状態降下適合な一次更新によって共有されることを証明した。これにより、使用される特定のオプティマイザに依存しないことを示した。
2. 正確な特性付け: 有用な一次方向の存在が、条件付き活性化勾配の残差接空間への射影によって正確に特徴付けられることを確立した。本研究は、残差の非退化性が固定されたゼロ状態プロトコル下で必要であることを証明しており、これは充足性を確立した先行研究（Cheng et al. 2026）を補完するものである。
3. 簡略化された診断法: 標準的なブロックに対するクロス勾配基準を導出し、「残差信号の実現可能性」が、生の活性化勾配の消失が飽和の必要十分な証明となる条件であることを特定した。
4. 経験的検証: 多様なアーキテクチャにわたる広範な勾配測定と、制御された成長実験を組み合わせ、指標を検証した。

実験結果

著者らは、ResNet（CIFAR-10, CIFAR-100, ImageNet-100）、GPT-2スタイルのモデル、および継続事前学習されたPythiaのチェックポイントを用いて、提案した基準を評価した。

1. 深さに伴う勾配ノルムの減衰

• 観察: 最大サンプル単位の活性化勾配ノルム（$AG_{max}$）は、初期段階において深さとともに急速に減少し、タスク損失の減少を追跡する。
• 飽和領域: 深さが増すにつれ、$AG_{max}$ は安定した低信号領域（例：$5 \times 10^{-3}$ 未満の極めてゼロに近い値）へと移行する。
• 相関: この低信号のプラトー（停滞）の出現は、さらなる深さの追加がテスト性能の向上にほとんど、あるいは全く寄与しなくなる時点と一致している。例えば、CIFAR-10のResNetでは、インジケーターが16個の残差構造付近でゼロ付近まで低下した後、性能向上が消失した。

2. 関数保存的成長 vs. スクラッチからの訓練

• 設定: 収束した浅いネットワークから関数保存的に成長させたモデルと、同じ最終アーキテクチャを持ちランダム初期化から訓練されたモデルを比較した。
• 結果:
  • 収束の質: 関数保存的な成長は、スクラッチからの訓練と同等（あるいはしばしばそれより低い）の訓練損失を達成した。
    物
  • 汎化性能: 成長させたモデルは、スクラッチで訓練されたモデルと比較して、一貫して低いテスト損失（平均約11.8%の減少）を達成した。これは、継承された表現が、モデルを劣悪な局所解に閉じ込めることなく、有益な帰納バイアスまたは暗黙的な正則化を提供していることを示唆している。
  • 示唆: 成長させたモデルにおける改善の消失は、初期化による最適化上の不利によるものではなく、残差の深さを追加することに対する一次的な価値が真に欠如していることを反映している。

3. 局所挿入実験

• 負の活性化勾配に一致するブロックを挿入する実験により、勾配信号が非ゼロである場合には即座の損失減少が可能であることが確認された。また、これらの減少はネットワークが低信号領域に入ると減衰することが確認された。

意義と主張

本論文は、残差の深さが十分であるかどうかを判断するための厳密な一次基準を提供し、先行研究が充足性のみを示していたのに対し、ゼロ状態プロトコル下での残差の非退化性の必要性を確立したと主張している。

• 診断的有用性: 活性化勾配の大きさ（具体的には、残差接空間へのその射影）は、残差の深さの残された経験的な一次的価値に対する保守的な診断として機能する。
• 実用的な指標: 活性化勾配における持続的な低信号プラトーは、さらなる深さが最適化の利点をもたらす可能性が低いことを示す実用的な指標として提案されており、ヒューリスティックな停止ルールに代わる原理的な選択肢を提供する。
• 理論的厳密性: 共通の初期化における深さのスケーリングの限界を明確にすることで、本研究は、独立した訓練比較に伴う混同要因を回避し、残差ネットワークにおける深さのスケーリングの限界について、より明確な理解を提供している。

著者らは、本基準が厳密には**一次（first-order）**のものであることに留意しており、高次の曲率、確率的な脱出、あるいは異なる成長プロトコルによる改善を排除するものではないとしている。しかし、標準的な勾配ベースの最適化および関数保存的成長の文脈において、提案された指標は、残差の深さの十分性に関する厳密な境界を提供するものである。