A new initialisation to Control Gradients in Sinusoidal Neural network

技術的概要：正弦波ニューラルネットワークにおける勾配制御のための新しい初期化手法

問題定義
陰的ニューラル表現（INR）、特に正弦波活性化関数を利用するもの（SIREN）は、画像再構築、信号符号化、偏微分方程式（PDE）の求解などの応用において、高周波信号の近似に効果的です。しかし、標準的な SIREN 構造は重要なトレードオフに直面しています。標準的な多層パーセプトロン（MLP）の高周波学習によるスペクトルバイアスを緩和する一方で、ネットワークの深さを増やすと、偽の高周波アーティファクトの発生につながります。この現象は汎化性能を劣化させ、勾配爆発を引き起こします。逆に、標準的な初期化スキーム（Xavier、Kaiming など）や元の SIREN 初期化は、深い周期ネットワークにおける勾配安定性に対する理論的保証を提供できず、訓練ダイナミクスを阻害する勾配消失や勾配爆発を招くことがよくあります。

手法
著者らは、SIREN ネットワーク向けに解析的に導出された新しい初期化スキームを提案します。これは「カオスの縁（Edge of Chaos: EOC）」で動作するように設計されています。この領域は、ネットワークの深さが増加しても、事前活性化の分散が安定し、勾配が消失も爆発もしないことを保証します。

この手法は、無限幅（$N \to \infty$）および無限深さ（$L \to \infty$）の極限における理論的解析に基づいています：

1. 事前活性化分布：著者らは、ランベルトの W 関数を用いて、事前活性化分散（$\sigma_a^2$）の固定点の閉形式式を導出しました。分散は、重みスケーリングパラメータ $c_w$ とバイアス分散 $c_b$ によって決定される固定点に収束することを示しました。
2. 勾配安定性：層間マッピングのヤコビアンを解析することで、著者らは勾配安定性の条件を導出しました。勾配爆発または消失を防ぐため、再スケーリングされた勾配分散 $\sigma_g$ を定義し、$\sigma_g = 1$ となるよう強制します。この制約は、$c_w$ と $c_b$ の間の特定の関係を確立します。
3. スペクトル制御：著者らは、安定性曲線上の 2 つの特定の解を同定しました：
   • $\sigma_a = 1$：元の SIREN の直感（事前活性化が $N(0,1)$ に従う）に対応しますが、著者らはこれが深いネットワークにおいてスペクトルの広がり（スペクトルブローディング）とエイリアシングを引き起こすことを示しました。
   • $\sigma_a = 0$（提案）：事前活性化分散をゼロに設定します。この領域では、深い層はほぼ線形に振る舞います（$\sin(z) \approx z$）。これにより、フーリエスペクトルの広がりを効果的に抑制し、ナイキスト限界を超えた周波数の発生を防ぎます。
4. ニューラルタンジェントカーネル（NTK）解析：論文は、初期化が NTK に与える影響を調査しました。提案された初期化（$\sigma_a=0$）は、NTK 固有値が深さに比例して線形にスケーリングし、入力勾配は正規化されたままになることを示しました。これに対し、元の SIREN 初期化では、NTK 固有値と勾配が深さとともに指数関数的に爆発します。

主要な貢献

• 閉形式の初期化：層間で不変な勾配分布と、深さに依存しないフーリエスペクトルを保証する、SIREN 向けの明示的な初期化スキームの導出。
• $\sigma_a = 0$ の理論的正当性：事前活性化分散をゼロに設定することが、周波数スペクトルの制御、エイリアシングの防止、深いアーキテクチャにおける安定した訓練ダイナミクスの確保にとって最適であることを同定。
• NTK ダイナミクス：初期化段階での勾配伝播の制御が直接 NTK 固有値の形状を決定し、それによって異なる周波数成分の学習速度を決定し、他の深いネットワーク構成に内在するスペクトルバイアスを回避することを示した。

結果
提案された初期化（$\sigma_a = 0$）は、元の SIREN スキーム、$\sigma_a = 1$ のバリアント、および他の最先端アーキテクチャ（FINER、WIRE、フーリエ特徴付き Tanh、位置符号化付き ReLU など）に対して、さまざまなタスクでベンチマークされました：

• 関数フィッティング：1 次元、2 次元、3 次元のマルチスケール関数近似において、提案手法はベースラインと比較して一貫して低い汎化誤差を達成しました。特にネットワークの深さが増加するにつれて顕著でした。
• 画像および動画再構築：画像フィッティングおよび動画再構築タスク（ERA-5 大気データセットを使用）において、提案手法は元の SIREN や他の手法と比較して、鮮明な特徴を生成し、高周波アーティファクトを著しく減少させました。
• 物理情報ニューラルネットワーク（PINNs）：複雑な幾何学形状における 1 次元バガース方程式、2 次元定常ナビエ - ストークス方程式、および 2 次元熱方程式の求解において手法をテストしました。提案された初期化は安定した解をもたらしましたが、元の SIREN 初期化は、制御されていない高周波成分により、ナビエ - ストークス方程式および熱方程式タスクにおいてノイズの多い不安定な結果を生み出しました。
• ノイズ除去：画像ノイズ除去実験において、提案された初期化は効果的な陰的正則化器として機能し、他の方法がノイズに過剰適合する傾向があるのに対し、高周波ノイズを無視してクリーンな信号を再構築しました。

意義
この論文は、経験的な調整を超え、力学系理論に基づく原理的なアプローチへと移行することで、INR 初期化に関するより深い理論的理解を提供すると主張しています。勾配伝播を安定させ、初期化段階で周波数スペクトルを制御することにより、提案手法は、深い正弦波ネットワークが偽のアーティファクトを導入することなく高周波の詳細を学習することを可能にします。これにより、学習率が深さに比例してスケーリングする安定した訓練ダイナミクスが実現され、SIREN 構造は、科学計算やマルチスケール信号再構築などの複雑な高次元問題に対して、より堅牢で適用可能になります。著者らは、動機が INR に由来するものの、この閉形式の初期化は、勾配安定性と周波数制御が求められる、周期活性化を持つ任意の深いアーキテクチャに適用可能であると指摘しています。