🤖 machine learning

KANLib -- An Modular, Extensible and Fast Kolmogorov-Arnold Network Implementation

本論文では、KANアーキテクチャの柔軟な研究と高性能な評価を促進するために、既存のKolmogorov-Arnold Networkの実装を統合した、モジュール式で拡張可能かつ計算効率の高いPyTorchベースのフレームワークであるKANLibを紹介する。

原著者： Julian Hoever, Gregor Schiele

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Julian Hoever, Gregor Schiele

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータに世界を理解させる方法を教えていると想像してみてください。長い間、私たちは**多層パーセプトロン（MLP）**と呼ばれる標準的なツールを使用してきました。MLPは、工場の組立ラインのようなものだと考えてください。そこでは、すべての作業員（ニューロン）が多くの入力を受け取り、固定されたレシピ（線形重み）でそれらを混ぜ合わせ、単一の、変更不可能なフィルター（ReLUのような活性化関数）を通して結果を渡します。これはうまく機能しますが、硬直しています。レシピはただの「数字」であり、フィルターは全員同じであるため、その工場がどのようにして結論に至ったのかを簡単に把握することはできません。

ここで、Kolmogorov-Arnold Networks (KANs) が登場します。この論文は、こうした工場を構築するための新しい方法を紹介しています。固定されたフィルターを使う代わりに、KANsは、すべての接続に対して、独自の学習可能な形状変化ツールを与えます。静的なフィルターの代わりに、あらゆるパイプが、仕事を完遂するために必要な通りに伸びたり、曲がったり、うねったりできる柔軟なホースを持っているようなものです。これにより、ネットワークはより透明になり（ホースの形状が見える）、複雑なパターンを見つけ出す能力が潜在的に向上します。

しかし、落とし穴があります。柔軟なホースを作ることは、計算コストが高く、煩雑です。異なる研究チームが、それぞれ独自のバージョンのKAN（PyKAN、EfficientKAN、FastKANなど）を構築していますが、それらは異なる言語を話し、異なる道具を使い、互いに通信できないことがよくあります。あるものは高速ですが機能に欠け、別のものは機能豊富ですが低速であるといった具合です。

解決策：KANLib

著者らは、KANLibというツールを構築しました。彼らはこれを、KANのための「ユニバーサル・アダプター」あるいは「スイス・アーミー・ナイフ（万能ナイフ）」であると説明しています。

KANLibが行うことは、以下の簡単な比喩を用いて説明できます：

混沌を統一する： ユニバーサル電源タップが異なる国のデバイスを接続できるように、KANLibは既存の3つの主要なKANフレームワークの優れたアイデアを取り入れ、一つの整合性のあるシステムへと統合します。コード全体を書き直すことなく、異なる種類の「ホース」（B-splineやGaussian Radial Basis Functionsと呼ばれる数学的関数）を切り替えることができます。
モジュール式で柔軟： KANLibをレゴセットだと考えてください。異なるレイヤーを組み合わせて、特定の機能（「残差ブランチ」や「重み」など）をオン・オフにしたり、アーキテクチャを簡単に実験したりできます。これにより、技術的な細部に足を取られることなく、「もしこうだったら」というシナリオをテストできます。
高速かつスマート： 著者らは単に組み合わせただけではなく、最適化を行いました。
- グリッド・リスケーリング（Grid Rescaling）： 地図を描いているところを想像してください。もし低解像度のグリッドから始めると、細部を見逃してしまうかもしれません。KANLibは、データが密集している領域に対して自動的に「ズームイン」（グリッドの精緻化）を行うことができ、最初からやり直すことなく、より正確な地図を作成できます。
- グリッド拡張（Grid Extension）： また、学習が進むにつれて、より細かい詳細を捉えられるよう、グリッドのポイントを追加することもできます。

テスト内容

KANLibが実際に機能するかどうかを確認するため、著者らは**カリフォルニア住宅価格（California Housing）**という標準的なデータセット（所得や部屋数などの要素に基づいて住宅価格を予測するもの）を用いてレースを行いました。

レース： 彼らはKANLibを、オリジナルのPyKAN、より高速なEfficientKAN、そして非常に高速なFastKANと比較しました。
結果：
- 精度： KANLibは、既存の最高水準のモデルと同等の性能を示しました。実際、彼らのテストにおけるB-splineバージョンは最も正確であり、住宅価格を極めて少ない誤差で予測しました。
- 速度： KANLibは、EfficientKANのスピードアップ技術を採用しているため、オリジナルのPyKANよりも大幅に高速でした（約30%高速）。
- トレードオフ： KANLibが「Gaussian RBF」メソッド（通常は最も高速な方法）を使用した場合でも、専用のFastKANツールよりは依然として少し遅かったです。著者らは、これは彼らのバージョンが柔軟性を備え、「グリッドへのズームイン」のような高度な機能をサポートするために設計されており、それがわずかな追加作業を生んでいるためであると認めています。

まとめ

論文は、KANLibが将来の研究のための堅牢で信頼できる基盤であることを結論づけています。これは、スピードと機能のどちらか一方を選ぶ必要はないことを証明しています。以下の特性を備えたフレームワークを持つことができるのです：

モジュール式： 微調整や拡張が容易。
高速： 最速の既存ツールに匹敵する。
正確： 確立されたモデルと同等、あるいはそれを上回る性能を発揮できる。

本質的に、KANLibはKAN研究における摩擦を取り除き、科学者が互換性のないコードと戦うのではなく、新しい、より優れたネットワーク・アーキテクチャの発見に集中できるようにするものです。また、著者らは、今後の課題として「Gaussian」バージョンのさらなる高速化や、心電図（ECG）や脳波（EEG）のような時間軸を持つデータへの適用についても言及しています。

技術要約: KANLib – モジュール式、拡張可能、かつ高速な Kolmogorov-Arnold Network 実装

問題提起

Kolmogorov-Arnold Networks (KANs) は、固定された線形重みを学習可能な単変数関数に置き換えることで、従来の多層パーセプトロン (MLP) に代わる有望な選択肢として浮上しています。KAN は解釈性と表現力の面で理論的な利点を提供しますが、その実用的な採用は主に以下の3つの課題によって阻害されています：

高い計算コスト: 既存の実装は、基底関数の評価や冗長なテンソル演算において非効率である場合が多い。
一貫性のない機能サポート: 異なるフレームワーク（例：PyKAN、EfficientKAN、FastKAN）は、異なる機能セットを提供しており、厳密なベンチマークや比較を困難にしている。
モジュール性の欠如: 現在の実装は特定のアーキテクチャ設計や基底関数に密結合していることが多く、新しいバリエーションやハイブリッドアーキテクチャの探索を制限している。

手法

本論文では、3つの著名な KAN 実装（Liu らによる公式実装である PyKAN、EfficientKAN、および FastKAN）の核心的な革新を統合するために設計された、統一ソフトウェアフレームワークである KANLib を紹介します。

アーキテクチャ設計

KANLib は、主に2種類の基底関数タイプをサポートするモジュール式アーキテクチャに基づいて構築されています：

B-spline (B-スプライン): 元の KAN 定式化に従い、学習可能な関数は B-スプライン基底関数と残差ブランチ（通常は SiLU）の加重結合となります。
Gaussian Radial Basis Functions (GRBFs / ガウス放射基底関数): 再帰的な B-スプライン計算を回避して計算複雑性を軽減するために、FastKAN から採用されました。

主要な技術的特徴

既存のツールの断片化に対処するため、KANLib は以下の機能を単一の PyTorch 環境内で統合しています：

統一された線形層: B-スプラインと GRBF の両方に対して一貫したインターフェースを提供し、直接的なアーキテクチャ比較を可能にします。
きめ細かな制御: 残差ブランチ ( $w_b b(x)$ ) やスプライン重み ( $w_s$ ) など、標準的な KAN 方程式で定義されているコンポーネントを選択的に有効化または無効化できます。
適応的グリッド・リスケーリング: PyKAN/EfficientKAN に見られる適応的グリッドメカニズムを、B-スプラインと GRBF の両方に拡張します（後者は等間隔グリッドに限定）。
グリッド拡張: 学習中にスプラインの解像度を高める機能（学習済みの情報を失うことなく実現）をサポートしており、これは EfficientKAN や FastKAN では欠落していた機能です。
正規化戦略: 入力を基底関数の活性範囲にマッピングするためのレイヤー正規化 (Layer Normalization) を統合し、特定の構成における適応的リスケーリングの欠如を補完します。

主要な貢献

フレームワークの統合: KANLib は、PyKAN、EfficientKAN、FastKAN の機能セットを単一の拡張可能なコードベースに集約し、異なる基底関数や最適化戦略にわたる厳密なベンチマークを容易にします。
計算効率: EfficientKAN (例：入力テンソルの拡張回避) と FastKAN (例：直接的な GRBF 計算) の最適化を統合することで、KANLib は機能の豊富さを維持しながら、競争力のある推論速度を達成しています。
アーキテクチャの柔軟性: 本フレームワークは、最小限のコード変更で KAN のバリエーション（例：残差ブランチやスプライン重みの削除）の系統的な探索を可能にし、標準的な定式化を超えた研究をサポートします。
再現性: 本フレームワークは、確立されたリファレンス実装の予測挙動を再現するように設計されており、将来の研究のための信頼できるベースラインとして機能します。

実験結果

著者らは、California Housing データセット（20,640 サンプル、8 個の入力特徴量を持つ回帰タスク）を用いて、PyKAN、EfficientKAN、FastKAN と比較評価を行いました。

予測性能

B-spline バリアント: KANLib (B-spline) は、B-スプライン実装の中で最高の性能を達成し、RMSE は 0.5376 ± 0.0044、 $R^2$ は 0.7852 ± 0.0035 でした。これは PyKAN (RMSE 0.5434) および EfficientKAN (RMSE 0.5463) を上回っており、KANLib が既存のスプラインベースの挙動を正常に再現し、かつわずかに改善していることを示しています。
GRBF バリアント: KANLib (GRBF) は RMSE 0.5471 ± 0.0078 を達成し、FastKAN (RMSE 0.5506) と密接に一致しており、ガウス RBF ベースの KAN を複製するフレームワークの能力を裏付けました。

計算効率

推論時間:
- PyKAN が最も遅かった (212.19 ms)。
- EfficientKAN および KANLib (B-spline) は、PyKAN と比較して約 32.7% 削減された推論時間 (~142 ms) を実現しました。
- KANLib (GRBF) は 80.58 ms を達成し、PyKAN に対して 62.0% の改善を実現しました。
- FastKAN は、その高度に特化した、柔軟性の低い実装により、依然として最速 (41.02 ms) でした。
パラメータ数: KANLib モデルは、スプライン係数、残差重み、スプライン重みを含めて、一般的に 4,050 個のパラメータを含んでいましたが、FastKAN はスプライン重みメカニズムの省略により 3,811 個と少なくなっていました。

アーキテクチャの探索

層の構造（例：「No Residual」、「No Spline Weight」、「Plain」）を変化させた実験では、以下が示されました：

残差ブランチまたはスプライン重みを除去すると、パラメータ数（3,510 まで）および推論時間（GRBF モデルで最大 ~16.8% 高速化）が減少しました。
予測性能はこれらのバリエーションにおいても競争力を維持しており、RMSE の偏差は概して小さかったため、KANLib が精度の大幅な損失なしに柔軟なアーキテクチャ設計をサポートしていることが示されました。

重要性と主張

本論文は、KANLib を、すべての既存手法に対して最高レベルの予測精度を達成するモデルとしてではなく、将来の研究のための堅牢な基盤として位置付けています。その主な重要性は以下の通りです：

ギャップの解消: 断片化した実装を統合することにより、KAN の理論的な可能性と、実用的かつスケーラブルな応用を結びつけます。
拡張性の提供: モジュール式アーキテクチャを提供することで、研究者が新しい基底関数、グリッド戦略、およびハイブリッドアーキテクチャをテストするための障壁を下げます。
標準化: KAN の評価のための一貫した環境を提供し、比較研究を妨げている一貫した機能サポートの問題に対処します。

著者らは、KANLib が（特に適応的グリッド・ロジックの包含による GRBF 計算において）高度に特化した FastKAN と比較してわずかな計算オーバーヘッドが発生するものの、あらゆる KAN アーキテクチャの全容を探索するために必要な柔軟性を提供すると結論付けています。今後の課題として、ガウス RBF 計算の最適化による速度差の解消、および時系列センサーデータのための 1D 畳み込みへのサポート拡張が挙げられています。