🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

本論文は、B-スプライン基底を切断冪関数に置き換えることで、精度、計算効率、および解釈性の優れたバランスを実現する新しいKolmogorov-Arnold NetworkアーキテクチャであるTruKANを導入し、コンピュータビジョン・タスク向けのEfficientNet-V2フレームワークに統合した際に既存のKANのバリアントに対して大幅な性能向上を示すものである。

原著者： Ali Bayeh, Samira Sadaoui, Malek Mouhoub

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ali Bayeh, Samira Sadaoui, Malek Mouhoub

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに猫、犬、車の写真を認識させる方法を教えようとしていると想像してください。これを行うために、ロボットにはパターンを見つけ出すための数学的な層で構成された「脳」が必要です。

長い間、こうしたタスクのための標準的な脳は、MLP（マルチレイヤー・パーセプトロン）と呼ばれていました。MLPを、すべての作業員（ニューロン）が全く同じ、あらかじめ設定された道具（ReLUのような固定された活性化関数）を使って仕事をする工場の組立ラインだと考えてください。それは高速で信頼できますが、少し硬直しています。

その後、KAN（コルモゴロフ・アーノルド・ネットワーク）と呼ばれる新しいタイプの脳が登場しました。KANは、マスター職人のチームのようなものです。あらかじめ設定された道具を使う代わりに、すべての作業員が、直面している特定の問題を解決するために、自分自身のユニークでカスタムされた道具（「スプライン」）を学び取ります。これは驚くほど賢く、理解しやすい（解釈可能である）ため、彼らの道具を観察することで、それらがどのように機能しているかを正確に把握することができます。

しかし、落とし穴があります： これらのカスタムツールを学習させることは、遅くてコストがかかります。それは、新しい仕事を始めるたびに、すべての作業員にゼロから自分のハンマーを手彫りで作成させるようなものです。論文では、これを「計算上のボトルネック」と呼んでいます。

TruKANの登場：スマートな近道

著者である Ali Bayeh、Samira Sadaoui、Malink Mouhoub は、TruKAN と呼ばれる新しいアーキテクチャを導入しました。彼らの目標は、KANの「マスター職人」としての利点を維持しつつ、その学習プロセスを標準的な工場の組立ラインのように高速かつ効率的にすることでした。

彼らがどのようにこれを行ったか、簡単な比喩を用いて説明します。

1. 「彫刻された木」を「レゴブロック」に置き換える

標準的な KAN は、カスタムツールを構築するために B-スプライン と呼ばれるものを使用します。B-スプラインを、非常に特殊で再帰的な彫刻プロセス（de Boor-Cox アルゴリズム）を必要とする、複雑で曲線の多い木のパーツだと想像してください。これは精密ですが、低速です。

TruKAN は、これらを 切断冪関数（Truncated Power Functions） に置き換えます。

比喩： B-スプラインを「手彫りの木製の継手」だと考えてください。切断冪関数を「レゴブロック」だと考えてください。
曲線を一から彫り出す代わりに、TruKAN は単純で定義済みのレゴパーツ（多項式）を組み合わせ、形を変える必要がある場所に「結節点（ノット）」を追加することで、曲線を組み立てます。
これは数学的には古い手法と同等です（同じ形状を構築できます）が、複雑な再帰的彫刻アルゴックを必要としないため、組み立てが非常に高速になります。

2. 「共有 vs 個別」の設計図

この論文では、これらのレゴブロックを配置する2つの方法を探求しています。

共有結節点（Shared Knots）： 建設チーム全員が、同じ既定の接続ポイントを使用している状況を想像してください。これは効率的であり、チームの連携を保ちます。
個別結節点（Individual Knots）： すべての作業員が、自分専用のカスタム接続ポイントを受け取る状況を想像してください。これはより柔軟ですが、整理するために多くのスペースと時間を要します。

研究者たちは、共有結節点 が多くの場合、速度と精度の間で最適なバランスを提供し、最も効果的であることを発見しました。

3. 「スタビライザー」（正規化）

これらのレゴのような関数は、高く積み上げすぎると時として不安定（数値的に不安定）になることがあるため、研究者たちは レイヤー正規化（Layer Normalization） という「スタビライザー」を追加しました。

比喩： これは車のショックアブソーバーを追加するようなものです。道（学習プロセス）の凹凸を滑らかにし、スピードを出したときに車がクラッシュ（エラーが爆発）しないようにします。このスタビライザーを追加することで、TruKAN が大幅に高精度になることが分かりました。

結果：スピードと賢さ

チームは、4つの有名な画像認識データセット（CIFAR-10, CIFAR-100, Oxford-Pets, STL-10）で TruKAN をテストしました。そして、以下のものと比較しました。

MLP： 標準的な工場の組立ライン。
標準的な KAN： 低速な、手彫りのマスター職人。
SineKAN： 正弦波（サイン波）を使用したバリエーション（異なる種類の楽器のようなもの）。

判明したこと：

精度： TruKAN はしばしば勝者となるか、あるいは非常に僅差の2位でした。標準的な MLP と同等かそれ以上の性能を示し、他の KAN バリエーションを圧倒しました。
速度： TruKAN は標準的な KAN よりもはるかに速く学習しました。いくつかのテストでは、ステップあたり3〜4倍高速でした。
メモリ： TruKAN は標準的な KAN よりも大幅に少ないコンピュータメモリ（RAM）を使用しました。あるバージョンは 120 MB 未満を使用しましたが、標準的な KAN は 500 MB 以上を使用していました。
解釈可能性： 元の KAN と同様に、TruKAN も「透明」です。標準的な MLP のような「ブラックボックス」的な性質とは異なり、モデルを観察して、コンピュータが意思決定を行うためにどのようにデータを曲げているのかを正確に把握することができます。

まとめ

この論文は、TruKAN が「両取り」であることを主張しています。それは KAN の「説明可能」で「スマート」な性質を維持しながら、低速な手彫りの数学を、より高速なレゴのような構築方法に置き換えたものです。

切断冪関数（レゴ）と共有結節点（効率的な設計図）を使用することで、TruKAN はコンピュータが複雑な視覚的タスク（ペットや車を識別するなど）を、コンピュータがどのように考えているかを理解する能力を失うことなく、より速く、より少ないメモリで学習することを可能にします。

この論文が主張していないこと：

これが医療診断や自動運転車に役立つとまだ主張しているわけではありません（ただし、これらは将来的な検討領域として言及されています）。
TruKAN があらゆるタスクに対して完璧であるとは主張していません。テストされた特定の画像データセットにおいて最高のパフォーマンスを発揮しました。
すべての問題を解決したと主張しているわけではありません。一部のバリエーション（例えば、スタビライザーなしの個別結節点など）は、依然として汎化に苦戦する場合があることを指摘しています。

技術要約：「TruKAN: 切断冪関数を用いた、より効率的なKolmogorov-Arnold Networkに向けて」

問題提起

Kolmogorov-Arnold Networks (KANs) は、多層パーセプトロン (MLP) に代わる有望な選択肢として浮上しており、優れた解釈性と、エッジごとの一変数関数を学習する能力を提供している。しかし、標準的な KAN は、学習可能な活性化関数として B-スプライン基底関数に依存している。これらの B-スプラインの評価には再帰的な de Boor–Cox アルゴリズムが必要であり、これが計算コストを増大させ、結果として KAN の学習を同等の MLP よりも最大10倍遅くすることが頻繁にある。さらに、複雑なスプラインアルゴリズムや固定されたグリッド構造への依存は、高次元の問題や深いアーキテクチャにおいてスケーラビリティの問題を引き起こし、ノイズの多い勾配や不安定な最適化を招く特性がある。SineKAN や FourierKAN といった最近の変種はこれらの問題に対処しようと試みているが、それらは解釈性に関する新たなトレードオフを導入したり、合成ベンチマークや MNIST のような単純なデータセットに限定されたりすることが多い。

手法

著者らは、標準的な KAN のトポロジーと学習可能な活性化関数を維持しつつ、B-スプライン基底を $k$ 次スプライン理論から導出された切断冪関数 (truncated power functions) のファミリーに置き換えた新しいアーキテクチャである TruKAN を提案している。

コア・アーキテクチャ構成要素:

切断冪基底 (Truncated Power Basis): B-スプラインの代わりに、TruKAN は $(x - t_j)^k_+$ の形式を持つ切断冪関数を利用する。理論的には、これらの関数が張る空間は B-スプラインの空間と同一であるが、その計算評価は異なる。B-スプラインはコンパクトなサポートを持ち（再帰により区間あたり $O(k^2)$ の複雑さが必要）、切断冪関数はグローバルなサポートを持つ。しかし、著者らは実用上、高解像度のグリッドは必ずしも必要ではなく、少数のノット（knot）で効率的に動作させることが可能であると主張している。
ハイブリッド層構造: 各 TruKAN 層は、以下の2つのコンポーネントを組み合わせている：
- 局所的かつ区分的な非線形性を捉えるための切断冪コンポーネント。
- 標準的な KAN で使用される補助的な SiLU 活性化関数を置き換えるための多項式コンポーネント（グローバルな傾向）。この多項式項は、明示的なグローバル非線形性（SiLU など）の欠如を補完する、滑らかで微分可能なグローバルマッピングを提供する。
ノット構成: 本論文では、ノット配置に関して2つのバリアントを導入している：
- 共有ノット (Shared Knots): すべての出力チャネル間で共有される単一のノット位置のセット。
- 個別ノット (Individual Knots): 各出力チャネルが独自の学習可能なノット位置を持つ。
  どちらの戦略も、固定（定義済みの区間）および学習可能（順序性と正値性の制約を伴いながら学習中に最適化される）なノット戦略の両方が探索されている。
学習フレームワーク:
- 最適化: 切断冪関数を用いることで生じる不安定性（指数的な増大または減少による勾配爆発のリスク）に対処するため、著者らは LookAhead によってラップされた AdamW を用いたハイブリッド最適化戦略を採用している。これは、従来の KAN 研究で使用されていた L-BFGS を、確率的ミニバッチ学習により適したものへと置き換えるものである。
- 正規化: 従来のドロップアウトのような正則化技術が KAN では混合した結果を示すため、分類器ヘッド内でのレイヤー正規化 (Layer Normalization) （およびバッチ正規化）の影響を調査している。
- バックボーン: モデルは EfficientNet-V2 フレームワークに統合されており、標準的な線形分類器ヘッドを MLP、KAN、SineKAN、または TruKAN 層に置き換えている。

主な貢献

アーキテクチャの革新: B-スプラインを切断冪関数に置き換え、多項式グローバル項を組み合わせることで、KAN の表現力を維持しながら、基底関数の評価を簡素化するモデルを実現した。
解釈性の向上: 切断冪関数を使用することで、各ノットの寄与が明示的になる。ノット $t_j$ における非ゼロの係数は、その特定の点における意図的な $k$ 次の曲率を直接的に示しており、B-スプラインの重なり合うサポートよりも高い透明性を提供する。
スケーラビリティと効率性: TruKAN が、従来の KAN 研究の制約された設定を超えて、深いアーキテクチャや複雑なビジョンタスクに効果的にスケールできることを実証した。
包括的なベンチマーク: 著者らは、パラメータ数を一致させた上で、4つのコンピュータビジョンデータセット（CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10）を用いて厳格な評価を行い、小規模および大規模なネットワーク構成の両方で検証を行っている。

実験結果

評価は、異なる分類器サイズ（小規模および大規模アーキテクチャ）を持つ EfficientNet-V2 バックボーンを用いて、4つのデータセットに対して行われた。

精度と F1 スコア:
- 小規模アーキテクチャ: TruKAN のバリアント、特にレイヤー正規化と共有ノット（TruKAN-SN）を備えたものは、標準的な KAN および SineKAN モデルを一貫して上回るか、同等の性能を示した。CIFAR-10 において、TruKAN-IN は最高の精度（0.8927）を達成し、最良の MLP ベースラインを上回った。STL-10 では、TruKAN-SN が 0.9341 の精度を達成し、正規化された MLP に僅かな差で次ぐ結果となった。
- 大規模アーキテクチャ: TruKAN モデルは優れたスケーラビリティを示した。CIFAR-10 において、TruKAN-IN は 0.8932 の精度を達成し、より少ないパラメータを使用しているにもかかわらず MLP-N ベースラインを上回った。TruKAN のバリアントは、すべてのデータセットにおいて KAN および SineKAN のベースラインを一貫して圧倒し、しばしば最強の MLP に匹敵するか、それを上回る結果を出した。
- 正規化の影響: レイヤー正規化は TruKAN の性能にとって極めて重要であり、特に個別ノット構成において、そうでなければ過学習に陥るモデルの汎化性能を大幅に向上させた。
計算効率:
- 学習時間: 共有ノット型の TruKAN モデル（TruKAN-FS）は、ステップあたりの学習時間を約 0.0024 秒を達成し、標準的な KAN モデル（0.0087 秒～ 0.0099 秒）に対して 3〜4 倍の改善を実現した。
- メモリ使用量: TruKAN-FS はピーク GPU メモリをわずか 118.04 MB しか消費せず、これは KAN-PBT (570.84 MB) や KAN-PBF (691.79 MB) よりも大幅に少ない。ただし、個別ノット型（TruKAN-FI）は、拡張されたノットの保存により高いメモリコスト（約 2.6 GB）が発生した。
- パラメータ数: TruKAN モデルは、一般的に KAN や SineKAN のカウンターパートよりも少ない学習可能パラメータで、同等またはより優れた性能を達成した。

意義と主張

本論文は、TruKAN が計算効率と KAN の原則への準拠との間のトレードオフをうまく解決したと主張している。B-スプラインの再帰的アルゴリズムを切断冪関数と多項式グローバル項に置き換えることで、TruKAN は以下を実現している：

優れた効率性: 標準的な KAN と比較して、学習時間とメモリ使用量を大幅に削減し、複雑なビジョンタスクへの適用を可能にした。
表現力の維持: KAN の理論的な近似能力を保持しつつ、実世界のデータセットにおける精度を向上させた。
解釈性の向上: 切断冪関数の明示的な性質により、B-スプラインや SineKAN のようなグローバルなスペクトル法と比較して、学習されたエッジ関数とノットの寄与をより明確に検査できる。

著者らは、TruKAN が KAN の実用的な進展への道筋を提供するものであると結論付けており、これまでの研究の制約された設定を超えた利点を実証した。彼らは、手法が安定性を向上させているものの、他の正則化技術（ドロップアウトなど）の統合や、効率をさらに高めるための混合精度訓練に関する課題が依然として残っていることも認めている。今後の展望として、これらの領域の探索や、強化学習および時系列予測への TruKAN の適用が提案されている。