🤖 machine learning

Kolmogorov-Arnold Fourier Networks

本論文は、学習可能なランダムフーリエ特徴量とハイブリッド活性化メカニズムを用いたグローバルで適応的なスペクトル表現を局所Bスプラインに代えて導入するKolmogorov-Arnold Fourier Networks（KAF）という新たなアーキテクチャを提示し、これにより従来のKANが抱えるパラメータの爆発的増加と高周波数領域における制限を克服し、多様なタスクにおいて最先端の性能と効率を達成する。

原著者： Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Kolmogorov-Arnold Fourier Networks（KAF）」を、平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「過剰設計」された機械

あなたがロボットに写真の中の猫を認識させることを想像してください。

従来の方法（MLP）： ロボットに標準的な道具箱を与えます。それは速くシンプルですが、毛並みの質感や耳の鋭い縁のような細かいディテールを見逃すことがあります。
「新しい」方法（KAN）： 数年前、研究者たちはKAN（Kolmogorov-Arnold Network）と呼ばれる新しい道具箱を発明しました。理論的には、この道具箱は天才的です。あらゆる形状やパターンを完璧に記述できます。しかし、実際には、百万個もの小さな特注のレンガで家を建てようとしているようなものです。
- 問題点 1（重すぎる）： 膨大な数のパラメータ（レンガ）を必要とするため、訓練には信じられないほど重く、遅くなります。まるで金貨でいっぱいのバックパックを運ぼうとしているようなもので、ロボットが効率的に扱うには重すぎます。
- 問題点 2（ぼやけた視力）： KAN は形状を構築するために「滑らかな」曲線（B スプラインと呼ばれる）を使用するため、鋭い、ギザギザした、あるいは「高周波」のディテールを見るのに苦労します。まるでソフトフォーカスフィルターを通して写真を見ているようなもので、猫は素敵に見えますが、ひげはぼやけています。

解決策：KAF（「スペクトル」アップグレード）

著者たちは、KAF（Kolmogorov-Arnold Fourier Network）と呼ばれる新しいアーキテクチャを提案しました。彼らは単に古い KAN を微調整したのではなく、データに対する「考え方」を根本的に変えました。

KAF を、重くてぼやけた KAN ツールキットのレンガを音符に交換したものだと考えてください。

1. レンガを音楽に交換する（スペクトル再パラメータ化）

KAF は、数百万もの小さな局所的な部品（B スプライン）で形状を構築する代わりに、**ランダムフーリエ特徴（RFF）**を使用して形状を構築します。

比喩： 複雑な波を描きたいと想像してください。
- KAN は、何千もの小さな滑らかな点を繋ぎ合わせることで描こうとします。それは永遠に続き、インクを使いすぎます。
- KAF は、あらゆる波が単純な正弦波（音符のようなもの）の組み合わせに過ぎないと気づきます。点を描く代わりに、これらの音符のピッチと音量を調整するいくつかの「つまみ」を調節するだけです。
結果： これにより、必要な「レンガ」（パラメータ）の数が劇的に減少します。ロボットははるかに軽くなり、速くなりますが、複雑な形状を構築する能力は維持されます。

2. 「ハイブリッド」エンジン（GELU-フーリエ活性化）

KAF は、同時に 2 種類の燃料で動作する特殊なエンジンを導入します。

燃料 A（GELU）： これは「滑らか」な燃料です。写真の大きくて簡単な部分（猫の全体的な形状など）を処理します。
燃料 B（フーリエ/RFF）： これは「鋭い」燃料です。トリッキーで高周波のディテール（ひげや毛並みの質感など）を処理します。
魔法： ロボットには、どちらの燃料をどの程度使用するかを決定するスマートなスイッチ（学習可能な係数）があります。訓練の初期段階では、基本的な部分を正しくするために主に滑らかな燃料を使用します。学習が進むにつれて、細かいディテールを捉えるために徐々に「鋭い」燃料の量を上げていきます。まるで、料理人が基本的な出汁から始めて、味を完璧にするために徐々にスパイスを加えていくようなものです。

3. ラジオのチューニング（初期化戦略）

論文では、ロボットが聴く「ラジオ局」（周波数）を設定するために、1.64という特定の数値が言及されています。

比喩： もしラジオを左に絞りすぎると、低音（低周波）しか聞こえません。右に絞りすぎると、ノイズ（高周波）しか聞こえません。
解決策： 著者たちは、周波数の「音量」を1.64に設定することが完璧なバランスであると計算しました。これにより、ロボットは最初から適切な音のミックスを聴くことが保証され、混乱したり重要な信号を見逃したりすることがなくなります。

彼らが証明したこと

著者たちは、この新しい「音楽ロボット」（KAF）を、いくつかの分野で古いロボット（MLP と KAN）と比較してテストしました。

視覚（見る）： 手書きの数字や複雑な画像（CIFAR、ImageNet）の認識などのタスクにおいて、KAF は他よりも精度が高く、リソースを少なく使用しました。
言語（読む）： 言語モデル（GPT-2）内で使用された場合、KAF は標準バージョンよりも速く、テキストの予測をより良く学習しました。
科学（方程式を解く）： 彼らはロボットに複雑な物理方程式（熱の伝わり方や波の動きなど）を解くよう求めました。KAF は、ぼやけた KAN と比較して、これらの方程式における鋭い、急激な変化を捉えるのにはるかに優れていました。
形状の適合： 完璧な正弦波（上下に動く滑らかな曲線）を描くよう求められたとき、KAF はほぼ完璧に描きましたが、他のものは端で誤りを犯しました。

結論

この論文は、KAFが以前の「天才」ネットワーク（KAN）の 2 つの最大の課題を解決すると主張しています。

軽量であること（パラメータ数が少なく、訓練が速い）。
鋭い視力を持っていること（他のものが見逃す高周波のディテールを捉えることができる）。

過去の重くて滑らかな「レンガ」を、柔軟で音楽的な「フーリエ」アプローチに置き換えることで、KAF は効率的かつ強力であり、次世代の AI の有力な候補となっています。

技術概要：コルモゴロフ・アルノルド・フーリエネットワーク（KAF）

問題定義
コルモゴロフ・アルノルド・ネットワーク（KAN）は、固定された活性化関数を学習可能な B スプライン基底関数に置き換えることで強力な理論的表現力を提供しますが、高次元タスクにおける実用的な採用には 2 つの重大な障壁が存在します：

パラメータの爆発的増加：双行列アーキテクチャ（活性化関数行列と B スプライン係数行列）により、パラメータ数が従来の多層パーセプトロン（MLP）よりも著しく増大し、高いストレージおよび計算コストを招きます。
スペクトル的限界：B スプライン基底関数に内在する滑らかさが、高周波数特徴の捕捉能力を制限し、自然画像、音声、複雑な微分方程式など、豊かなスペクトル特性を持つデータにおける性能を最適化できなくなります。

手法
著者は、スペクトル再パラメータ化を通じて KAN パラダイムを根本的に再定義する「コルモゴロフ・アルノルド・フーリエネットワーク（KAF）」を提案します。中核となるアーキテクチャは、局所的でグリッドベースの B スプライン表現を、グローバルで適応的なスペクトル表現に置き換えます。

主要な手法的構成要素は以下の通りです：

スペクトル再パラメータ化：KAF は行列乗算の結合性を利用して KAN の大規模行列を統合し、パラメータ複雑度を $O(d_{in} \times d_{out} \times (G + K + 3))$ から $O(d_{in} \times d_{out})$ に削減します。
学習可能なランダム・フーリエ特徴（RFF）：B スプラインの代わりに、KAF は学習可能な RFF を用いて入力を再生核ヒルベルト空間（RKHS）へ写像します。周波数行列 $W$ は、GELU 活性化関数の中央極限定理およびフーリエ解析から導出されたスペクトル整合戦略（具体的には $\sigma = 1.64$ ）を用いて初期化されます。この初期化により、RFF のスペクトルを自然信号の事前知識と整合させ、スペクトル漏れを軽減します。
ハイブリッド GELU-フーリエ活性化：本ネットワークは、 $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$ と定義される動的活性化機構を利用します。係数 $\alpha$ と $\beta$ は学習可能なスケーリングパラメータです。訓練中、 $\alpha$ は当初低周波数の滑らかさを優先し、一方 $\beta$ （初期値は $10^{-2}$ などの小さな値）は高周波数成分を捕捉するために漸増し、固定された活性化からハイブリッドなフーリエ - 記号的表現への自動遷移を可能にします。

主要な貢献

基底変換：局所的な B スプラインから、グローバルで適応的なスペクトル表現への転換により、表現力を維持しつつパラメータ複雑度を削減します。
スペクトル整合初期化：固定カーネルの滑らかさの限界を打破し、高周波数成分の正確な捕捉を可能にする RFF 初期化戦略（ $\sigma = 1.64$ ）です。
適応的ハイブリッド活性化：訓練中に低周波数の滑らかさと高周波数表現を動的にバランスさせる機構により、安定性と効率性を確保します。

実験結果
コンピュータビジョン（CV）、自然言語処理（NLP）、音声、科学計算のタスクにおいて包括的な実験が実施されました：

ベンチマーク性能：ビジョンデータセット（MNIST、CIFAR-10/100、SVHN）において、KAF は同等のパラメータ予算下で MLP、KAN、FAN、GPKAN よりも一貫して高い精度を達成しました。
大規模モデル：ResNet-18、ViT-Tiny、MLP-Mixer に統合された際、KAF は合理的な計算コストを維持しつつ Top-1 精度を向上させました（例：ResNet-18 の CIFAR-10 において 91.72%、MLP は 91.19%）。
言語モデリング：GPT-2 アーキテクチャにおいて、フィードフォワードネットワーク（FFN）を KAF に置き換えることで、WikiText（MLP の 184.53 に対し 180.85）および OpenWebText におけるパープレキシティ（PPL）を低減し、不安定さと膨大なパラメータオーバーヘッドに悩まされた KAN と比較して訓練時間を大幅に短縮しました。
関数近似および偏微分方程式（PDE）：KAF は、複雑な関数（高周波数の和や不連続関数を含む）において優れた適合能力を示し、ポアソン方程式、熱方程式、バーガース方程式などの PDE 解決において、MLP や他のベースラインと比較して低い誤差を達成しました。
アブレーション研究：ハイブリッド GELU-RFF 活性化と特定の $\sigma = 1.64$ 初期化の必要性を実験的に確認し、いずれかの構成要素を除去すると性能が低下することを示しました。

意義
本論文は、KAF がコルモゴロフ・アルノルド・ネットワークの理論的解釈可能性と、スケーラブルな深層学習に必要なパラメータ効率性の間のギャップを成功裏に埋めたと主張しています。KAN に内在する「理論と実践のパラドックス」に対処することで、KAF は KAN の関数近似の視点を保持しつつ、改善された効率性で最先端の性能を達成する実用的な代替手段を提供します。著者は、特に高周波数特徴の抽出を必要とするタスクにおいて、KAF を現代のニューラルアーキテクチャにおける KAN および MLP 構成要素の両方の代替として位置付けています。