技術的サマリー：直交ニューラルネットワークにおける臨界性と飽和

問題提起

ニューラルネットワークの重み行列を、独立同分布（i.i.d.）ガウス成分を用いるのではなく、直交的（$W W^\top = I$ を満たす）に初期化することで、訓練性能が向上することはよく知られている。しかし、この現象の理論的理解は限られていた。過去の研究は、ほとんどが線形ネットワークに限定されていたか、無限幅極限における平均場理論に依存していた。決定的な点は、無限幅において、直交初期化とガウス初期化の両方におけるニューラルタンジェントカーネル（NTK）は同一であり、有限幅・非線形ネットワークで観測される差異を説明するには無限幅解析では不十分であるということである。

最近の実証的研究（Day ら）は、直交ネットワークではガウスネットワークとは異なり、大きな深さにおいて有限幅統計を支配するテンソルが安定化することを示したが、この安定性を説明する厳密な理論的導出は欠けていた。具体的には、非線形で有限幅のネットワークにおける直交初期化が、系統的な展開を通じてガウス初期化よりも性能や安定性の向上をもたらすことを示す分析は、これまで成功しなかった。

手法

著者らは、$1/n$（$n$はネットワーク幅）のべき級数としてネットワーク統計を解析する有限幅補正フレームワークを採用する。ゼロ次項は無限幅極限に対応し、高次項は有限幅効果を捉える。

主要な手法の構成要素は以下の通りである：

1. 直交ウィングarten 計算：ガウス重みで用いられるウィックの定理の代わりに、著者らはハール測度に関して直交群からサンプリングされた重み行列の結合モーメントを特徴づけるために、直交ウィングarten 関数を利用する。これにより、重みに対して非ゼロの高次累積量が導入され、これが有限幅統計の中心となる。
2. 層ごとの再帰関係：著者らは、訓練ダイナミクスに対する一次補正（$O(1/n)$）を支配するテンソルに対する明示的な再帰関係を導出する。これらのテンソルには、NTK 平均補正（$\Theta^{(1)}$）、NTK-事前活性化相互相関（$D, F$）、および NTK 分散テンソル（$A, B$）が含まれる。また、$O(1/n^2)$ の次数における 6 点事前活性化累積テンソル（$V_6$）の再帰関係も導出する。
3. ファインマン図式的フレームワーク：これらの再帰関係の導出に伴う代数的複雑さを管理するため、著者らは直交ケースに拡張するために、最近導入されたファインマン図式フレームワーク（元々はガウス重み用）を拡張する。この拡張は以下の要素を導入する：
   • 直交性電荷：線の直交性を追跡するラベル。
   • 正方形伝播関数：重み全体にわたる期待値を表す。
   • 選択則：特定の次数でどの図式が寄与するかを決定する規則（例：色の保存）。
   • ウィングarten 重み：図式は、対の相対的な順序によって決定されるウィングarten 関数で重み付けされる。
     著者らは、この図式的形式が $1/n$ のすべての次数において完全であることを証明する。

主要な貢献

1. 再帰関係の導出：本論文は、直交初期化に対して、$O(1/n)$ の次数におけるテンソル $D, F, A, B, P, Q, R, S, T, U$ および NTK 平均の最初の補正（$\Theta^{(1)}$）に対する、最初の明示的な層ごとの再帰関係を提供する。また、$O(1/n^2)$ の次数における $V_6$ テンソルの再帰関係も導出する。
2. ファインマン則の拡張：著者らは、これらの再帰関係の計算を簡素化する、直交重みに特化したファインマン則のセットを提供する。これらの規則が $1/n$ のすべての次数において完全であることを証明し、直接法では代数的に実行不可能な $V_6$ 補正の計算を行うことでその有用性を示す。
3. 安定性の理論的説明：導出された再帰関係を解くこと（単一入力ケースでは数値的に、大深さ展開を通じては解析的に）により、著者らは、この理論が直交ネットワークにおける有限幅テンソルの経験的に観測された安定性と飽和を再現することを示す。
4. 臨界性解析：本論文は、ガウスから直交初期化へとニューラルネットワークガウス過程（NNGP）および NTK の臨界性結果を拡張し、無限幅極限の臨界性が、直交事前活性化および NTK 累積量の臨界性を意味することを示す。

結果

• 安定性と飽和：tanh-MLP（幅 $n=50$、深さ $L=10$）に対する再帰関係の数値解は、ネットワークアンサンブルからのモンテカルロ推定値と極めてよく一致する。結果は、正規化された NTK テンソル（$D, F, A, B$）および事前活性化累積量が、ガウス対応物よりも小さい大きさを持ち、初期層で飽和を示すことを確認する。
• 大深さ挙動：解の大深さ展開（$\ell \to \infty$）は、特に $\ell > n$ の領域において、正確な数値解およびモンテカルロシミュレーションと一致する。これは、直交ネットワークがガウスネットワークでは見られない、大深さにおける飽和を示すことを確認する。
• 臨界性：本研究は、臨界点（$C_W = 1$）において、NNGP および NTK が深さの変化に対して安定であり、低ランクテンソルの臨界性が高ランクテンソルを制御するブートストラップ構造と整合的であることを検証する。
• 図式的検証：ファインマン図式アプローチは、対角ウィングarten 寄与に制限することでガウス重みに対する既知の代数的結果を再現し、直交重みに必要な追加項を正しく生成する。

意義

この研究は、直交重みで初期化された非線形・有限幅ニューラルネットワークの安定性に対する最初の理論的説明を提供し、長年の文献上のギャップを埋める。経験的観察（Day ら）と理論的解析の間のギャップを埋めることで、本論文は、直交ネットワークの安定性が、直交ウィングarten 関数によって支配される有限幅補正の特定の構造に直接起因することを示す。直交重みに対する完全なファインマン図式フレームワークの構築は、$1/n$ の任意の次数までネットワーク統計を系統的に計算するための強力なツールを提供し、深層学習ダイナミクスに関する将来の理論的調査を促進する。