Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

技術的概要：適応型 RBF-KAN

問題定義
コルモゴロフ・アルノルドネットワーク（KAN）は、ノードにおける固定された活性化関数の代わりに、ネットワークの辺に学習可能な単変数関数を配置することで、多層パーセプトロン（MLP）に対する代替案を提供します。元の KAN 実装は B スプライン基底を利用しますが、このアプローチは訓練中に多大な計算コストを伴います。FastKAN は、スプラインをガウス型ラジアル基底関数（RBF）に置き換えることでこれを解決し、効率を大幅に向上させます。しかし、標準的な FastKAN は固定されたカーネル形状パラメータ（$h$）に依存しています。このパラメータの選択は決定的に重要です：小さな値は過学習を引き起こす可能性があり、大きな値は過剰な平滑化をもたらします。固定されたパラメータは、多様な関数タイプ（例えば、滑らかな曲面、不連続点、振動パターン、特異点）に対するモデルの適応性を制限します。さらに、標準的な FastKAN の定式化はガウス型カーネルに限定されており、非滑らかまたは高度に局所化された関数に対する表現の柔軟性を制限する可能性があります。

手法
著者らは、既存のフレームワークに 2 つの主要な改良を導入する適応型 RBF-KAN（適応型 FastKAN とも呼ばれる）を提案します：

1. LOOCV ベースの初期化：固定されたまたはランダムに初期化された形状パラメータを使用する代わりに、著者らは入力データから構築された補助的な 1 次元 RBF 補間モデルを用いて、初期カーネルスケール（$h_{opt}$）を推定します。数値的安定性を確保するため、補間行列に小さな正則化項（$\lambda = 10^{-9}$）が追加されます。最適な $h$ は、最大 LOOCV 誤差を最小化する 2 段階探索（粗探索と微細探索）によって見出されます。
2. 適応的 shape パラメータ学習：訓練中にカーネルスケールをネットワークが洗練できるように、形状パラメータを対数空間（$\theta = \ln(h)$）で再パラメータ化します。これにより $h = e^\theta$ が厳密に正となることを保証し、勾配ベースの最適化中の数値的不安定性（ゼロ除算または指数関数的増大）を防ぎます。パラメータ $\theta$ は、スプライン係数とともに逆伝播によって更新されます。
3. 拡張されたカーネルファミリー：このフレームワークはガウス型カーネルを超えて、より広範なラジアル基底関数のファミリーに拡張されます。具体的には、著者らは Matérn（M2, M4, M6）および Wendland（W2, W4, W6）カーネルを初めて KAN 構造に導入します。これらのカーネルは、さまざまな滑らかさとコンパクトなサポートを提供し、ネットワークが異なる構造的特性を持つ関数によりよく適応することを可能にします。

主要な貢献

• LOOCV と深層 KAN の最初の統合：著者らの知る限り、LOOCV ベースのカーネルスケール推定と深層 KAN 構造の訓練を統合した本研究は初です。
• 新規カーネルの統合：本論文は、標準的な FastKAN のガウス型のみというアプローチを超えて、Matérn および Wendland カーネルを KAN フレームワークに導入します。
• データ駆動型の初期化戦略：提案手法は、カーネルスケールに対する原理的かつデータ駆動型の初期化を提供し、高価なハイパーパラメータ探索への依存を減らしつつ、訓練中のさらなる洗練を可能にします。
• 包括的なベンチマーク：本研究は、滑らか、不連続、振動、特異という 4 つの異なるベンチマーク関数を代表する MLP、標準 KAN、EfficientKAN、チェビシェフ KAN、KAF、および標準 FastKAN に対して提案手法を評価しました。

結果
単位正方形領域 $[0, 1]^2$ 上の数値実験は、以下のことを明らかにしました：

• カーネル選択が重要である：すべての関数タイプに対して最適な単一のカーネルは存在しません。
  • 滑らかな関数（Franke）：無限回微分可能であることと一致し、ガウス（GA）カーネルが最良の性能を発揮します。
  • 不連続点：Matérn C2（M2）カーネルは GA を大幅に凌駕し、低い誤差と少ないぼやけで鋭いジャンプを捉えます。
  • 振動パターン：ガウスカーネルは高周波振動を捉えられませんが、Wendland C2（W2）カーネルはパターンを正確に再構成します。
  • 特異点：Wendland C6（W6）カーネルは、局所的なピークに対して GA ベースラインと比較して誤差を約 52% 削減します。
• 適応性が性能を向上させる：適応型 RBF-KAN は、固定された形状パラメータを持つ標準 FastKAN を一貫して凌駕します。例えば、振動関数において、誤差は $4.54 \times 10^{-1}$（固定 GA）から $6.24 \times 10^{-2}$（適応型 W2）に低下しました。
• 効率性と精度のトレードオフ：標準 KAN（スプラインベース）は高い精度を提供しますが、計算コストが高く（訓練時間は RBF 変種の約 3〜5 秒に対し約 60 秒）、高価です。適応型 RBF-KAN は、FastKAN の計算効率を維持しつつ、すべてのテストケースで競争力のある、あるいは優れた精度を達成します。MLP は計算効率が高いことが判明しましたが、複雑なパターンにおける精度に苦しみ、高周波特徴をしばしば過剰に平滑化しました。

意義と主張
本論文は、LOOCV ベースの初期化と適応的カーネル学習を組み合わせることが、RBF ベースの KAN モデルを改善するための実用的かつ柔軟な戦略を提供すると主張しています。著者らは、LOOCV ベースのスケール推定と深層 KAN 訓練を結びつけた最初の試みである点を強調しています。提案手法は、固定されたカーネル選択と固定された形状パラメータの限界に対処し、ネットワークが目標関数の特定の構造的特性（滑らかさ、不連続性、振動、または特異点）に基底表現をよりよく適応させることを可能にすると述べています。本研究は、異なるカーネルが異なる関数クラスに対して利点を示す一方で、適応型フレームワークは、FastKAN の計算効率と多様な近似課題に必要な精度とのバランスを取る堅牢な解決策を提供すると結論付けています。今後の研究として、高次元問題、ノイズの多い実世界データセット、および偏微分方程式の求解などの科学計算タスクへの応用調査が提案されています。