技術要約：有理型ニューラルネットワークの表現力の優位性

問題提起

深層ニューラルネットワークは、表現力と学習可能性を制御するために、非線形活性化関数の選択に大きく依存している。現代のアーキテクチャは、主に固定された滑らかな活性化関数（例：GELU, Swish/SiLU, Mish, ELU/SELU/CELU）や区分線形関数（例：ReLUおよびその変種）を利用しているが、これらの選択は、急峻な遷移、折れ曲がり、あるいは近傍に複雑な特異点を持つ関数を効率的に近似する方法に対して、特定の制限を課している。本論文では、これらの固定された活性化関数を、学習可能な低次有理型活性化関数に置き換えることが、パラメータ効率と表現力の観点から理論的および実用的な利点をもたらすかどうかを調査している。

手法

理論的枠組み

著者らは、有理型ニューラルネットワークと、標準的な滑らかな、あるいは区分線形な活性化関数を用いたネットワークとの間の、近似理論的な分離（separation）を確立している。

• 有理型ネットワーク（Rational Networks）： 各層のスカラ非線形性が、低次の多項式 $P$ と $Q$ を持つ学習可能な有理関数 $r(x) = P(x)/Q(x)$ であるフォワードニューラルネットワークとして定義される。係数は学習中に学習される。
• 近似指標： 表現力は、固定されたコンパクト領域（例：$[-1, 1]^d$）において、一定の誤差 $\epsilon$ を達成するために必要な学習可能パラメータ数（ネットワークサイズ）によって測定される。
• 主要な理論的ツール：
  • 有理近似理論： 有理関数が、多項式や滑らかな代用関数よりも、非滑らかな特徴（例：$|x|$ や ReLU）や、近傍に特異点を持つ関数を指数関数的に効率よく近似できるという古典的な結果（例：Trefethen, Gonchar）を活用している。
  • 構成的証明： 滑らかな活性化関数（GELUなど）を有理型ネットワークを用いて近似するための、ゾロタレフ関数（Zolotarev functions）、算術幾何平均（AGM）反復、およびハレー法（Halley's method）を用いた明示的な構成法を提示している。
  • 下界（Lower Bounds）： 境界のあるパラメータを持つ滑らかなネットワークを用いて、特定の有理型ターゲット（特に実軸の近くに極を持つもの）を近似する場合、曲率の制約により、大幅に多くのパラメータが必要になることを証明している。

実験設定

著者らは、アーキテクチャ、オプティマイザ、および学習予算を固定したまま、活性化関数のみを変化させることで、3つの異なるドメインで有理型活性化関数を評価している。

1. 教師あり学習（画像認識）： VGG4およびVGG8アーキテクチャを用いたCIFAR-10画像分類、およびTransformerベースのモデル（ViT, CaiT, Swin）を用いたTiny ImageNet分類。
2. オフライン強化学習： Minariの中間データセットおよびIQL、TD3+BCアルゴリズムを用いた、連続制御ロコモーション・ベンチマーク（HalfCheetah, Hopper, Walker2d）。
3. 正規化分析： 適応型有理型活性化関数と正規化層（BatchNorm, LayerNorm）の相互作用の調査。具体的には、Transformerにおける「no-LayerNorm」バリアントのテスト。

主要な貢献

1. パラメータ複雑性における指数関数的な分離：

   • 滑らかな関数 $\to$ 有理型関数： 標準的な滑らかな活性化関数（G가ELU, Swish, SiLU等）から構築されたあらゆるネットワークは、サイズオーバーヘッド $O(\text{poly}(\log \log(1/\epsilon)))$ のみで有理型ネットワークによって一様に近似できる。具体的には、GELUに対して $O(\log^3 \log(1/\epsilon))$ のサイズ境界を証明している。
   • 有理型関数 $\to$ 滑らかな関数： 逆に、最悪のケースの有理関数ファミリー（領域の近くに極を持つもの）を、限定されたパラメータを持つ滑らかなネットワークで近似するには、少なくとも $\Omega(\log(1/\epsilon))$ のサイズが必要となる。
   • 結果： これにより、非滑らかな構造を含む領域において、有理型ネットワークは滑らかな活性化関数ネットワークよりも大幅に少ないパラメータで同等の精度を達成できるという、表現力の指数関数的なギャップが確立された。

2. 複雑なアーキテクチャへの拡張：

   • これらの分離結果は、スカラ関数から、フルフォワードネットワーク、ゲート型活性化、およびTransformer型のアーキテクチャ（特にMLPサブレイヤー）へと拡張されている。
   • 本論文は、有理型ネットワークが、低いオーバーヘッドでゲート型滑らかなモデルを近似できる一方で、その逆（滑らかなモデルによる有理型近似）には高いオーバーヘッドが必要であることを示している。

3. 正規化と識別可能性：

   • 著者らは、標準的な正規化層が適応型有理型活性化関数にとって有害となり得ることを定式化している。正規化は学習可能なアフィン変換を導入し、それが有理型の係数に吸収されることで、非識別性と条件の悪化を招く。
   • さらに、正規化におけるデータ依存の確率性（例：BatchNorm）は、有理型係数の多項式的な感度によって勾配ノイズを増幅させる。
   • 知見： 正規化を取り除くこと（例：「no-LayerNorm」Transformer）により、適応型有理型が学習可能なリスケーリング機構として機能し、固定された活性化関数が失敗する場面でも学習を安定させられることが多い。

4. 構成的証明：

   • 本論文は、複雑な非線形性を効率的に実現する方法を示すために、ゾロタレフ関数やAGM構成を含む古典的な近似理論に基づいた構成的証明を提供している。

実験結果

• CIFAR-10： 有理型活性化関数は、VGG4およびVGG8モデルの両方において、ReLU, LeakyReLU, Swish, GELUを一貫して上回り、最も高いTop-1テスト精度を達成した。拡張トレーニングパイプラインにおいて、有理型バリアント（LeakyReLUやGELUを模して初期化されたもの）は、GroupNormが適用された場合でもトップクラスの性能を維持したが、GroupNormは有理型に対して固定活性化関数よりも大きな性能低下を引き起こした。
• オフラインRL： MuJoCo中間データセットにおいて、有理型活性化関数は、6つの設定のうち5つ（HalfCheetah, Hopper, Walker2dにおけるIQLおよびTD3+BC）で、最高の固定活性化関数に匹敵するか、それを上回った。注目すべきは、より小さな幅（128）を持つ有理型モデルが、はるかに大きな幅（384）を持つGELUモデルと同等、あるいはそれ以上の性能を示したことであり、これはパラメータ効率の仮説を裏付けている。
• Tiny ImageNet (Transformers)： 有理型活性化関数は、ViT, CaiT, Swinモデルにおいて、最高のEMA検証精度に匹敵するか、それを改善した。決定的なことに、「no-LayerNorm」ViTバリアントにおいて、固定活性化関数（ReLU, GELU）はNaNへと発散したが、有理型バリアントは安定しており、高い精度（61.24%）を達成した。これは、正規化が有理型にとって制限的であるという主張を支持している。
• 学習された形状： 学習された有理関数の可視化により、それらが入力密度の高い領域へ急速に曲率を再配分し、SwishやMishのような成功した固定活性化関数と同様の、局所的な非単調な「ゲーティング」形状を形成することが示された。

意義と主張

本論文は、有理型ニューラルネットワークが、数学的に自然かつ計算効率の高い基礎を提供すると主張している。核心となる意義は、その表現力の優位性にある。すなわち、有理型活性化関数は、現代の滑らかな活性化関数よりも指数関数的に少ないパラメータを使用して、急峻な遷移や複雑な特異点を持つ関数を表現できる。

著者らは、この理論的な利点が実務に直結し、以下の結果をもたらすと論じている：

• 精度の向上： 同一のアーキテクチャで、ビジョンおよびRLタスクにおいてより優れた性能を達成する。
• 収束の高速化： 学習の早い段階で強力な性能に到達する。
• パラメータ効率： より小さなネットワーク幅で、同等または優れた結果を達成する。
• 正規化フリー・レジームにおける堅牢性： 固定された活性化関数が失敗しやすい、正規化層のない深いTransformerの学習を可能にする。

本研究は、固定された滑らかな活性化関数の支配を再考すべきであることを示唆しており、学習可能な有理関数が、複雑なデータ分布の構造的要件により良く適合する、原理的な代替案を提供することを提案している。