Exploding and vanishing gradients in deep neural networks: the effect of residual connections

技術要約：深層ニューラルネットワークにおける勾配爆発および勾配消失

問題提起
本論文は、深層ニューラルネットワーク（DNN）における、よく知られた現象である勾配爆発および勾配消失を取り上げている。確率的勾配降下法（SGD）による学習中、特定の方向における勾配は漸近的に消失（ゼロに減衰）するか、あるいは爆発（ノルムが無制限に増大）する可能性がある。既存の文献は様々な説明や緩和策を提示しているが、本研究は、マルチプリカティブ・エルゴード理論（乗法的エルゴード理論）とリアプノフ指数を用いることで、この現象の精密な数学的特性化を行うことを目的としている。

手法
著者であるVivek S. Borkarは、非線形力学系のツールを適用するために、DNNを離散時間力学系として再定式化している。

1. 力学系の定式化: $N$ 個のフィードフォワード・ブロックからなる DNN を、関数の合成 $f^N_{\beta^N} = f_{\beta_N} \circ \dots \circ f_{\beta_1}$ としてモデル化する。入出力写像は、力学系の反復 $x_{n+1} = f_{\beta_n}(x_n)$ として扱われる。
2. 線形化: 勾配の振る舞いは、これらの写像のヤコビ行列を通じて分析される。ネットワークの深さに沿ったヤコビ行列の積は、ランダム行列によって駆動される線形力学系の進化に対応する。
3. マルチプリカティブ・エルゴード理論: 中核となる解析ツールは、Furstenberg-Kifer の定理 [8] である。マルチプリカティブ・エルゴード理論をより広く適用している先行研究とは異なり、本論文は Furstenberg と Kifer によって提供された、リアプノフ指数の特定の厳密な特性化を利用している。これには以下が含まれる：
   • 射影空間 $P^{d-1}$ 上での問題の定義。
   • 射影空間上のランダム行列によって誘導されるマルコフ連鎖に対する定常測度（$\mu$-定常測度）の分析。
   • これらの定常測度 $\mu, \nu$ 上の積分 $\alpha(\mu, \nu) = \int \int \log(\|Au\|) \mu(dA)\nu(du)$ が取る離散値としてのリアプノフ・スペクトル（$\gamma_i(\mu)$）の特性化。

主要な貢献と結果
主な貢献は、DNN のリアプノフ・スペクトルおよび残差接続（ResNet）の具体的な影響に関する精密な記述を導き出すために、Furstenberg-Kifer の特性化を適用したことである。

• 理論的枠組み: 本論文は、DNN のリアプノフ・スペクトルが、状態空間の直和分解および、射影空間上の関連するマルコフ連鎖によって決定される一連の不変部分空間を通じて記述できることを確立している。
• 残差接続の分析: 本論文は、残差接続を、写像 $x \mapsto f_{\beta}(x)$ が $x \mapsto x + f_{\beta}(x)$ に置き換わる変換としてモデル化している。
• 主要定理 (Theorem 4.1): 本論文は、残差接続の下でのリアプノフ・スペクトルが、残差接続のないネットワークと比較して、単位行列のスペクトル（すべて 1 のスペクトルに対応）の「より小さな摂動」であることを証明している。
  • メカニズム: 証明は射影空間における幾何学的な議論を利用している。ベクトル $\hat{u}$ に対して、写像 $(I+A)\hat{u}$ は、$A\hat{u}$ 単独による方向よりも、元の方向 $\hat{u}$ に対して幾何学的に近い方向をもたらすことを示している。
  • 含意: この幾何学的な近接性は、残差接続が存在する場合、対数成長率の積分（リアプノフ指数）の大きさが減少することを意味する。具体的には、恒等項がある場合とない場合の期待対数ノルム成長の差は負であり、これは安定化効果を示している。

意義と主張
本論文は、射影幾何学と Furstenberg-Kifer の定理を用いることで、定性的な説明を超え、「精密な数学的様式」を用いて、勾配爆発・消失問題に対して「異なる視点」を提供すると主張している。

• 精密性: 本研究は、リアプノフ・スペクトルの正確な特性化を用いて、残差接続の効果をより詳細に「特定（pin down）」することで、先行研究（[13], [6], [3] など）と差別化している。
• 定量的な安定化: この結果は、ResNet が学習しやすいという経験的な観察に対して、定量的な説明を与えるものである。すなわち、残差接続は、リアプノフ指数が 0（または単位行列のスペクトル）の近くに留まるよう数学的に制約し、それによって勾配の極端な増大または減衰を防いでいる。
• 範囲と限界: 著者は、分析が特定の仮定（極限状態 $x_\infty$ の存在（仮定 2）および行列ノルムの可積分条件（仮定 1）を含む）に依存していることを述べている。また、モデルが定型化されていること（例：ReLU ではなく滑らかな活性化関数、および一定の次元を想定していること）を認めているが、示されたメカニズムは妥当であるとしている。著者らは、これらの結果を完全な汎用性（例：非滑らかな活性化関数、変化する次元）へと拡張するには、さらなる高度な数学が必要であり、それは将来の研究課題であると述べている。

要約すると、本論文は、残差接続が射影空間における勾配方向の進化を幾何学的に制約することで、ネットワークのヤコビ行列積のリアプノフ・スペクトルを単位行列のスペクトルに近づけ、それによって勾配爆発および勾配消失を緩和することを数学的に説明している。