How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

技術要約：疎な活性化を行うDNNおよびCNNの学習安定性を向上させるための分散制御

問題提起
（例：85%から90%の高次数の）疎性を誘発する活性化関数（例：$CReLU_{\tau,m}$、など）を用いた深層ニューラルネットワーク（DNN）および畳み込みニューラルネットワーク（CNN）の学習には、重大な初期化の課題が存在する。従来のEdge-of-Chaos（EoC）理論は、情報の安定した伝播を確保するために中間層をガウス過程として特徴付けているが、これは通常、原点付近で活性化関数が近似的に線形であることを前提としている。このレジームにおいて、EoC理論は、動的な等長性（dynamic isometry）を実現するために、事前活性化分布の固定点分散 $q^*$ がゼロまたは小さな非ゼロ値に収束することを推奨することが多い。

しかし、$\phi(z) = 0$ となる領域（原点付近の領域 $\tau$）を持つような疎性を誘発する活性化関数の場合、この線形性の仮定は成立しない。先行研究 [1] は、このような設定において標準的なEoC初期化戦略が学習の不安定性を招くことを示した。この不安定性は、隠れ層の経験的分散 $\tilde{q}^{(\ell)}$ が理論的な固定点 $q^*$ の周囲で確率的に変動することに起因する。原点付近に線形性が存在しない場合、これらの変動によって誤差の乗法的摂動（$\chi_1$ によって制御される）が層の深さとともに指数関数的に蓄積し、勾配爆発やネットワークの表現力の崩壊を引き起こす可能性がある。

手法
著者らは、疎性を誘発する活性化関数、特に代表的な関数である $CReLU_{\tau,m}$（および $CST_{\tau,m}$、$HardShrink$、$Sawtooth$ などの関連関数）の設定に対してEoC理論を拡張している。核心となる手法は、固定点分散 $q^*$ を単なる導出されたパラメータとしてではなく、調整可能なハイパーパラメータとして扱うことである。

理論的解析は、大規模幅極限における学習の安定性を決定する3つの制御指標に焦点を当てている：

1. 分散マップの対称性： 著者らは、分散マッピング関数 $V(q)$ の二階微分 $V''(q^*)$ を分析している。$V''(q^*)$ が大きいことは、固定点の周囲での対称性の喪失を意味し、経験的分散 $\tilde{q}^{(\ell)}$ が非対称にドリフトする原因となる。
2. 有限次元補正： 有限幅ネットワークに対する無限級数展開を用いて、著者らは次項の補正項 $\tilde{q}^{(1)}$ に対する境界を導出した。この項は、無限幅ガウス極限からの偏差を表している。
3. $\chi_1$ の感度： 著者らは、乗法的摂動係数 $\chi_{1,\phi}(q^*)$ の分散 $q$ に関する微分 $\chi'_{1,\phi}(q^*)$ を検討している。高い感度は、層の分散における小さな確率的変動が、誤差伝播に大きな変化をもたらすことを意味する。

提案されている初期化戦略は、$q^*$ を明示的に増加させ（例：1から2または3へ）、活性化パラメータ（$\tau, m$）および重み・バイアス分散（$\sigma_w^2, \sigma_b^2$）を調整することで、この新しい、より高い固定点においてEoC条件（$\chi_1(q^*) = 1$ および $q^* = V(q^*)$）を満たすことである。

主な貢献

1. 新たな現象の特定： 本論文は、原点付近でゼロになる活性化関数を用いる場合、固定点分散 $q^*$ を増加させることで学習の安定性が向上するという、直感に反する現象を特定している。これは、伝統的なEoCのアプローチ（$q^* \to 0$ を求めるもの）とは対照的である。
2. 理論的特性付け： 著者らは、$q^*$ を増やすことが同時に以下の効果をもたらすことを証明している：
   • 固定点 $q^*$ の周囲における分散マップ $V(q)$ の対称性を改善する（$V''(q^*)$ を減少させる）。
   • 有限次元補正項 $\tilde{q}^{(1)}$ の境界をタイトにし、有限幅の挙動を無限幅ガウス極限に近づける。
   • 誤差伝播因子 $\chi_1$ の層の分散に対する感度を低減させる（$\chi'_{1,\phi}(q^*)$ を減少させる）。
3. 実践的な初期化スキーム： 疎化活性化のための具体的な初期化手順が提供されている。このスキームにより、従来は安定化が困難であった、隠れ層で最大90%の疎性を伴うネットワークの学習が可能となる。

実験結果
著者らは、MNIST、CIFAR10、およびTiny ImageNetを用いた $CReLU_{\tau,m}$ 活性化を使用するDNN（100層、幅300）およびCNN（50層、300チャネル）の実験を通じて、理論を検証している。

• 安定性と精度： 高い疎性レベル（$s=0.85$ および $s=0.9$）において、$q^*=1$ で初期化されたネットワークは学習に失敗するか、あるいは傾きパラメータ $V'(q^*)$ の選択に対して高い感度を示した。$q^*$ を2または3に増やすことで、この感度が大幅に軽減され、学習の安定性が回復した。
• パフォーマンス： $q^*=1$ が低い精度をもたらしたケース（例：$s=0.9$ におけるDNNの11%）において、$q^*$ を3に上げることで、精度がほぼフルレベル（例：89%）まで回復した。
• 収束性： 学習損失と検証精度の曲線は、特に高疎性レジームにおいて、より高い $q^*$ 値に対してより速い収束を示した。
• 効率性： 本論文には、誘導された疎性が計算速度の向上（最大約2.9倍）とエネルギー削減をもたらすことを示すカスタムCUDAカーネルの実装が含まれており、疎性の実用的な有用性を裏付けている。

意義と主張
本論文は、固定点分散 $q^*$ が、疎な活性化ネットワークの学習ダイナミクスを制御するための、重要でありながらこれまで未探索であったパラメータであることを主張している。原点付近でゼロになる非線形活性化関数に対してEoCフレームワークを再検討することにより、著者らは、単純な調整（$q^*$ の増加）によって、高疎性レジームに固有の不安定性を克服できることを示している。

著者らは、自らの結果が無限幅極限の仮定に依存しており、主に深いプロキシ・アーキテクチャ（DNNおよびCNN）で実証されたものであることを控えめに述べている。また、スキップ接続が活性化の疎性を打ち消すといったアーキテクチャの違いにより、TransformerやState-Spaceモデルへの拡張はカバーしていないことを明記している。しかし、本研究は、極端な活性化疎性（最大90%）を持つネットワークの安定した学習を可能にするための、理論的基礎と実証的な概念実証を提供するものである。