技術的サマリー：長距離線形再帰における信号伝播

問題定義

ニューラルネットワークにおける信号伝播の理解は、深層アーキテクチャの学習を阻害する信号の消失・爆発問題に対処する上で不可欠である。既存の理論的枠組みは、平均場近似が扱いやすい信号統計量をもたらす無限幅極限（$n \to \infty$）に強く依存しているが、これらの理論は有限幅で動作する現実的なネットワークの振る舞いを捉えるのにしばしば失敗する。

このギャップは、長距離シーケンスタスク向けに設計された再帰モデル（線形再帰ユニットや状態空間モデルなど）において特に顕著である。これらのモデルでは、同じ重み行列 $W$ が時間ステップ $t$ ごとに繰り返し適用される。ここで扱われる中心的な問いは：再帰深度 $t$ が幅 $n$ と共に増加する際、無限幅近似はどの程度まで正確であり続けるか？具体的には、有限幅効果が蓄積して標準的な初期化手法（例：Glorot）や無限幅予測を無効にするのは、どの深度スケールにおいてか？

手法

本論文は、分散 $1/n$ の i.i.d. 適切な複素ガウス要素で初期化された線形再帰モデルを分析する。対象とするモデルは以下の通りである：

1. 線形再帰ユニット（LRU）：$h^{(t)} = Wh^{(t-1)} + x^{(t)}$
2. 線形再帰ネットワーク（RNN）：$h^{(t)} = Wh^{(t-1)}$（逐次入力なし、$h^{(t)} = W^t x^{(0)}$）

著者らは、隠れ状態の正規化された期待二乗ノルムを信号エネルギーとして定義する：
$$S_{n,t} = \frac{1}{n}\mathbb{E}[\|h^{(t)}_{LRU}\|^2], \quad Q_{n,k} = \frac{1}{n}\mathbb{E}[\|h^{(k)}_{RNN}\|^2]$$

理論的導出

正確な有限幅の式を導出するために、著者らはランダム行列理論と組合せ解析の組み合わせを採用する：

1. トレースモーメントの還元：信号エネルギーは、有限幅のトレースモーメント $\frac{1}{n}\mathbb{E}[\text{tr}((W^k)^* W^k)]$ の評価に還元される。
2. ウィック展開：複素ガウス変数に対するウィックの定理を用いて、トレースモーメントを置換 $\sigma \in S_k$ に関する和に展開する。
3. 組合せ的数え上げ：各置換の寄与は、クロネッカーのデルタ制約を適用した後の「自由インデックス」（拘束されていない同値類）の数によって決定される。この数は、長いサイクル $\tau$ に対する特定の置換の交換子 $[\tau^{-1}, \tilde{\sigma}^{-1}]$ におけるサイクルの数と正確に対応することが示される。
4. 正確な式：ランダム置換のサイクル数に関する既知の結果（特に Hultman 数と Dubach の仕事に関連するもの）を活用し、上昇階乗と下降階乗を含む $S_{n,t}$ および $Q_{n,k}$ の正確な閉形式式を導出する。

主要な貢献

1. 正確な有限幅の式

本論文は、複素ガウス初期化を伴う有限幅の線形再帰における信号伝播に関する、最初の正確な閉形式式を提供する。これらの式（定理 2.1）は、深度と幅の任意の結合スケーリングに対して有効であり、標準的な無限幅極限を超えている。

2. 3 つのスケーリング領域の特定

正確な式を用いて、著者らは深度（$t$ または $k$）と幅（$n$）の関係に基づき、信号伝播を支配する 3 つの異なる領域を特徴づける：

• 亜臨界領域（$t, k = o(\sqrt{n})$）：

  • 無限幅近似は正確なまま残る。
  • 信号エネルギーは $Q_{n,k} \to 1$ および $S_{n,t} \sim t+1$ として振る舞う。
  • 標準的な Glorot 初期化は安定したまま残る。
  • この領域では、再帰的および順方向の信号伝播は漸近的に区別できない。

• 臨界領域（$t, k \sim c\sqrt{n}$）：

  • 無限幅予測からの無視できない逸脱が生じる。
  • 非自明な結合スケーリング極限が現れる。
  • RNN の場合：$Q_{n,k} \to \frac{2}{c^2}\sinh(\frac{c^2}{2})$。
  • LRU の場合：$S_{n,t} \sim \sqrt{n} \int_0^{\tilde{c}} \frac{2}{x^2}\sinh(\frac{x^2}{2}) dx$ となり、スケーリングパラメータとともに指数関数的に増加する。
  • 意義：これは、長距離線形再帰において Glorot 初期化が不安定になる正確な閾値として $\sqrt{n}$ を特定するものである。

• 超臨界領域（$t, k \gg \sqrt{n}$）：

  • 有限幅効果が支配的となり、信号の爆発につながる。
  • 亜線形範囲（$\sqrt{n} \ll t \ll n$）では、信号の成長は深度に対して指数関数的になる：$S_{n,t} \sim \frac{n^2}{t^3} \exp(\frac{t^2}{2n})$。
  • 有限の結合スケーリング極限は存在せず、信号は急速に発散する。

3. 再帰アーキテクチャと順方向アーキテクチャの区別

本論文は、有限幅効果が順方向ネットワークよりもはるかに速く再帰モデルに蓄積することを示している。

• 順方向ネットワークでは、有限幅の補正が深度が幅に比例してスケーリングされる（$L \sim cn$）ときに顕著になる。
• 再帰ネットワークでは、これらの効果は平方根スケール（$t \sim c\sqrt{n}$）で可視化される。
  これは、標準的な無限幅理論には見えない区別として、再帰モデルが順方向モデルよりも経験的に不安定になりやすい理由を説明する。

結果と検証

• 理論的極限：導出された式は、無限幅近似の崩壊を正確に定量化する。これらは、標準的な初期化手法が無限幅の観点からは安定しているものの、再帰深度が $\sqrt{n}$ スケールを超えると信号を安定化できなくなることを示している。
• 実重みと複素重み：主要な結果は現代の SSM で一般的である複素重みに対して導出されているが、本論文は実ガウス重みがより大きな信号エネルギー（$Q^R_{n,k} \ge Q_{n,k}$）を示すことを確立しており、複素重みに対して導出された不安定性の閾値は実重みに対しても適用可能（かつ保守的）であることを示唆している。
• 数値的検証：モンテカルロ実験は理論的予測を確認する。経験的な信号エネルギーは、さまざまな幅と深度にわたり、導出された臨界プロファイル（例えば、臨界領域における $\sinh$ 関数）と密に一致する。

意義と主張

本論文は、再帰モデルにおいて無限幅近似がどの程度持続するかという問いに対して鋭い答えを提供すると主張している。その主な貢献は以下の通りである：

1. 崩壊スケールの特定：無限幅理論が $t \sim \sqrt{n}$ で崩壊することを確立する。これは順方向ネットワークに関連する $t \sim n$ スケールよりも著しく小さい。
2. 経験的不安定性の説明：現代の長距離線形再帰（LRU や SSM など）において標準的な初期化（Glorot）が不安定である理由を理論的に説明し、実務で観察される再スケーリング戦略の必要性を示す。
3. 質的差異：同じ重み行列の繰り返し適用によって駆動される、再帰アーキテクチャと順方向アーキテクチャ間の信号伝播における根本的な質的差異を浮き彫りにする。

著者らは、これらの結果がランダム初期化を伴う線形再帰に特化したものであると指摘している。非線形活性化、最先端モデルで一般的な構造化された非ガウス初期化、および学習ダイナミクス（特徴学習領域）へのこれらの知見の拡張は、今後の研究における未解決の課題であると認めている。