技術要約：Z-Plane ニューラルネットワーク

問題提起

ディープラーニング・アーキテクチャの拡張性は、現在、ユークリッド・ベクトル空間に内在する不安定性によって制約を受けている。標準的な多層パーセプトロン（MLP）において、連続する行列乗算はしばしば勾配爆発または勾配消失を引き起こす。これを軽減するために、分野では以下のようなヒューリスティックな回避策に依存してきた：

• ReLU（整流線形ユニット）： 負の値の伝播を防ぐには効果的であるが、負の情報が不可逆的に破棄され、「死んだニューロン」を引き起こす。
• LayerNorm（レイヤー正規化）： この手法は、訓練を安定させるためにグローバルなスケールを強制するが、特徴表現のペアごとの直交性を「無残に」破壊する。

著者らは、これらのメカニズムが、重要な方向情報および特徴空間の幾何学的整合性を保持できていないと主張している。さらに、既存のアプローチである複素数値ニューラルネットワーク（CVNN）やユニタリRNNは、深い設定においてエネルギーを厳密に拘束できなかったり、表現能力を制限し計算オーバーヘッドを増大させる厳格な直交性を課したりする。

手法：Z-Plane アーキテクチャ

生物学的な軸索の周波数変調伝送（信号の振幅は一時的なトリガーとして機能し、情報は周波数と位相にエンコードされる）に着想を得て、著者らは Z-Plane ニューラルネットワーク を提案する。このアーキテクチャは、スカラー活性化を、2Dフェーザ・バンドルに基づく幾何学的なアプローチに置き換えるものである。

1. 2D フェーザ・バンドル

隠れ状態をスカラーベクトル $h \in \mathbb{R}^D$ として表現する代わりに、ネットワークはそれらを 2D バンドル $X \in \mathbb{R}^{B \times (D/2) \times 2}$ へと写像する。各ペア $(x, y)$ は、フェーザの実部および虚部を表す。

• 線形投影： 線形層（樹状突起の統合に類似）において、これらの 2D バンドルは混合される。建設的干渉はベクトルの大きさを増大させ（$\|X\|_2 > 1$）、破壊的干渉はそれを減少させる（$\|X\|_2 < 1$）。この変動により、豊かな相互作用と表現能力が可能となる。

2. 放射状境界活性化（Radial Bounding Activation）

非線形性を導入し、方向データを破棄することなくエネルギー爆発を防ぐために、著者らは活性化関数として 放射状境界（Radial Bounding） を導入する。2D ベクトル $v$ に対する関数は次のように定義される：
$$f(v) = \frac{v}{\max(1, \|v\|_2)}$$

• 恒等写像： $\|v\|_2 \leq 1$ のとき、関数は恒等写像（$f(v) = v$）として機能し、線形残差と情報を保持する。
• 幾何学的屈折： $\|v\|_2 > 1$ のとき、大きさは 1 に厳密に制限され、ベクトルを単位超球面へと投影する。これは線形変換の同次性を打破し、強力な非線形性として機能する。

3. 勾配の保持と安定性

著者らは、このメカニズムの安定性に関する数学的証明を提供している：

• 接線勾配の保持： 負の値に対して勾配をゼロにする ReLU とは異なり、放射状境界は位相の勾配を保持する。$\|v\|_2 > 1$ におけるヤコビ行列は、接線勾配を $1/R$ （ここで $R = \|v\|_2$）でスケールアップし、位相の回転が安全に逆伝播することを可能にする。
• 1-リプシッツ連続性： 境界を持つ出力は、本質的に 1-リプシッツ連続なシステムを保証する。この特性は、設計によってシステムが勾配爆発を防ぐため、LayerNorm を不要にする。

主な貢献

1. Z-Plane ニューラルネットワーク： 隠れ状態を超球面上の 2D フェーザ・バンドルへと写像する、新しいアーキテクチャ。これは、スカラー振幅ベースの処理から多次元位相干渉へのパラダイムシフトを実現する。
2. 放射状境界（Radial Bounding）： エネルギーの大きさを制限しながら、位相（方向）を厳密に保持する幾何学的活性化関数。これは等方的な多次元非線形性として機能する。
3. 標準的なヒューリスティックの排除： 本論文は、単一のメカニズム（放射状境界）が、非線形性、システムエネルギーの拘束、および安定性の確保を同時に提供でき、ReLU や LayerNorm を不要にすることを実証している。
4. 理論的保証： 活性化が 1-リプシッツ連続性を維持し、接線勾配を保持することで勾配消失を防ぐことを証明。

実験結果

提案された幾何学的活性化の安定性を検証するため、著者らは極めて深い 100 層の Z-Plane MLP を MNIST データセットを用いて訓練した。

• 構成： モデルは、ReLU、GELU、Sigmoid、LayerNorm、または BatchNorm を一切含まない、100 個の連続する Z-Plane 層で構成されている。
• 訓練： AdamW オプティマイザ（学習率 $5 \times 10^{-4}$）を使用して 20 エポック訓練した。
• 性能：
  • ネットワークはスムーズに収束し、訓練精度 98.34%、テスト精度 96.89% を達成した。
  • 対照的に、標準的なユークリッド MLP をこの深さで正規化なしで実行した場合、カタストロフィックな失敗（勾配爆発による NaN ロス）に見舞われる。
• 結論： 結果は、Z-Plane 放射状境界が本質的な正則化因子として機能し、極めて深いアーキテクチャにおいても絶対的な数値的安定性を実現することを裏付けている。

意義と主張

本論文は、スカラー振幅ベースの処理から多次元位相干渉へのパラダイムシフトを主張している。著者らは以下の通り断言している：

• 数学的純粋性： このアーキテクチャは、「ユークリッド的な回避策」を排除することで、ディープラーニングの数学的に純粋な基礎を提供する。
• ハードウェア効率： 複雑な正規化層に頼るのではなく、幾何学的境界に依存することで、このアプローチは次世代ネットワークのためのハードウェア効率の高い基盤を提供する。
• 有界幾何学的活性化の十分性： 本研究は、有界な幾何学的活性化のみで、現在の分野における標準的な補助メカニズムなしに、極端な深さ（100 層）においても安定したディープラーニングを実現するのに十分であることを証明している。