Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

技術要約：階層的RBF-KANおよびRBF-SKANアーキテクチャ

問題提起
本論文は、高次元決定論的関数の近似およびランダム場モデルの学習における課題に対処している。放射基底関数ニューラルネットワーク（RBFNN）は、普遍的近似に関する確立された理論的基礎を持ち、良好な最適化特性を提供するが、既存の多層RBFアーキテクチャは、複雑な多変量設定における「次元の呪い」に苦慮することが多い。さらに、コルモゴロフ・アーノルドの表現定理を再現することを目指した近年のコルモゴロフ・アーノルド・ネットワーク（KAN）アーキテクチャは、主にスプラインベースの活性化関数や一様な層構造に焦点を当ててきた。著者らは、階層的で非一様なRBFベースのアーキテクチャが、どのようにして高次元関数や確率場を効果的に学習できるか、特に次元の問題を軽減し、ワッサースタイン距離の下でランダム場を近似する能力に関して、厳密な分析におけるギャップを特定している。

手法
著者らは2つの新しいアーキテクチャを提案している：

1. 階層的RBF-KAN： 多次元決定論的関数近似のために設計されている。一様なニューロン数を持つ全結合層を利用する標準的なRBFNNや従来のRBF-KANモデルとは異なり、このアーキテクチャは「階層的ブロック」構造を採用している。各ブロックは2つの異なる活性化層で構成され、第1の活性化後層のニューロン数は第2の層の$(2d+1)$倍であり、これはコルモゴロフ・アーノルドの表現定理の構造を明示的に模倣している。活性化関数はガウスカーネル $B(x) = \exp(-x^2)$ である。このフレームワークは、標準的なフィードフォワード伝播とResNetスタイルのスキップ接続の両方をサポートしている。
2. 階層的RBF-SKAN： ランダム場学習のために設計されたRBF-KANの確率的拡張である。このアーキテクチャは2つのRBF-KANモジュールを統合している。第1のモジュールは入力を処理し、第2のモジュールは重み（$w_{i,j}$）とRBFスケールパラメータを独立した分布からサンプリングすることでランダム性を導入する。これにより、ネットワークは単一の決定論的な値ではなく分布を出力することができ、ランダム場モデルの学習を可能にする。

理論的貢献
本論文は、両方のアーキテクチャに対して厳密な普遍的近似定理を確立している：

• 決定論的近似： 著者らは、階層的RBF-KANがいかなる連続多変量関数も任意の精度で近似できることを証明している。極めて重要な点として、特定の滑らかさの条件下では、収束率が入力の次元 $d$ の増加に伴って明示的に悪化しない誤差境界を導出している。これは、近似問題の実効的な次元を削減することにより、本アーキテクチャが次元の呪いを部分的に緩和できることを示唆している。
• 確率的近似： 階層的RBF-SKANについて、著者らは二乗ワッサースタイン2（$W_2$）距離の下での漸近的普遍近似結果を証明している。彼らは、基礎となる確率測度が入力空間に対して一様リプシッツ連続性を満たす場合、このフレームワークがランダム場モデルを近似できることを示している。

実験結果
著者らは、3つの主要な数値実験を通じて提案手法を検証している：

1. 多次元関数近似： 階層的RBF-KANは、入力次元が1から6までの高度に振動する関数（式23）に対してテストされた。結果は、標準的なRBF-MLPやナイーブなRBF-KANが次元の増加に伴い精度を維持できない一方で、提案された階層的RBF-KANが高い精度を維持することを示している。マルチブロック構成における安定した学習と精度のために、ResNet技術の導入が不可欠であることが判明した。
2. カオス力学系の再構成： このアーキテクチャはローレンツ系の再構成に適用された。階層的RBF-KAN（2ブロック、ResNet付き）は、様々なMLPおよびKANのバリアントと比較して、予測軌道および学習されたダイナミクスの両方において最も低い相対誤差を達成した。
3. ランダム場学習： 階層的R敷SKANは、多変量ランダム場の再構成において、条件付き正規化流（CNF）および条件付き変分オートエンコーダ（CVAE）と比較された。提案手法は、特に高次元において、ランダム場の標準偏差を予測する上で優れた性能を示したが、CVAEおよびCNFのアプローチは確率性の捕捉において著しい誤差を示した。

意義と主張
本論文は、提案された階層的設計が、多変量関数を忠実に再現するために不可欠なコルモゴロフ・アーノルド表現構造を再現するためのものであると主張している。主な主張は以下の通りである：

• 階層的RBF-KANは、関数近似における次元の呪いを部分的に緩和するための理論的な経路を提供するものであり、これは既存の多層RBFまたは標準的なKANアーキテクチャでは明示的に保証されていない特性である。
• 階層的RBF-SKANは、ランダム場学習における不確実性定量化のための堅牢なフレームワークを提供し、分布の特性（特に標準偏差）を捉える点で、CNFやCVAEのような普及している機械学習手法を凌駕する。
• マルチブロック階層的RBF-KANへのResNet技術の統合は、近似精度と学習の安定性を大幅に向上させる。

著者らは、提案された手法は（階層構造と$W_2$損失評価により）標準的なMLPよりも高い計算コストを要するものの、高次元および確率的学習タスクに対して優れた精度と表現力を提供すると結論付けている。今後の課題として、より深いブロック構造の探索、トランスフォーマー・アーキテクチャへの統合、および分類タスクへの拡張が示唆されている。