📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

本論文は、固定されたエッジ活性化関数を、スカラー指数 $p$ によって制御されるバナッハ双対写像から導出された学習可能な関数に置き換えることで、記号回帰において優れた、あるいは競争力のある性能を達成し、従来の固定基底型KANと比較してノイズや小サンプルサイズに対する堅牢性の向上を実証する、幾何学的制約付きコルモゴロフ・アーノルド・ネットワーク（Banach-KANs）を導入するものである。

原著者： K S Sesh Kumar

公開日 2026-08-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： K S Sesh Kumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

科学的発見の世界において、多くの自然法則は、ある量が別の量に反応してどのように変化するかを記述しています。振り子の揺れはその角度に依存し、車の速度は交通密度に依存し、星の明るさはその温度に依存します。数十年にわたり、科学者たちはこれらの関係性を捉えるために数学的モデルを使用してきましたが、モデル自体を柔軟な学習主体として扱う新しいアプローチが登場しました。「コルモゴロフ・アーノルド・ネットワーク」として知られるこの手法は、複雑な問題を多くの小さく単純な断片へと分解することで機能します。システム全体に単一の硬直したルールを強制するのではなく、2点間のすべての接続が、それぞれ独自の学習可能な関数によって制御されるネットワークを構築します。これらのネットワークにとっての中心的な課題は、それらの関数の「形」をどのように決定するかという点でした。伝統的に、研究者は事前に特定の形状（滑らかな曲線や繰り返される波など）を選び、問題全体を通してそれに固執しなければなりませんでした。これは、たった一種類のレンチだけで壊れた機械を修理しようとするようなものです。そのレンチはあるボルトにはうまく機能しますが、他のボルトには惨めに失敗します。

インペリアル・カレッジ・ロンドンのある研究者が、この問題に対する異なる考え方を提案しました。彼らは、真の問題は関数の形そのものではなく、その関数が存在する基礎となる「幾何学」あるいは空間にあるのだと気づきました。数学において、幾何学は距離がどのように測定されるか、あるいは曲線がいかに鋭いか、あるいは滑らかであるかを決定します。この研究者は、学習が始まる前に幾何学が固定されない、新しいタイプのネットワークを開発しました。代わりに、このネットワークは、個々の接続に対して最適な幾何学をデータから直接学習します。彼らは、ネットワーク内のすべての接続に対して、単一の調整可能な数値を導入することでこれを実現しました。この数値は、接続の挙動を、鋭い閾値のようなものから、滑らかで線形なものへ、あるいは平坦で飽和した状態へと変化させる「ダイヤル」として機能します。データによってこのダイヤルの設定を決めることで、ネットワークは、解決しようとしている問題固有の癖に合わせて、自身の内部構造を適応させることができるのです。

研究者は、標準的な物理方程式から、システムを負荷テストするために設計された合成的な課題に至るまで、50種類の異なる数学的問題を用いてこのアイデアをテストしました。彼らは、スプライン（滑らかな曲線を描くために使用される柔軟な定規のようなもの）や多項式といった、固定された形状に依存する古いモデルと、この新しい幾何学適応型ネットワークを比較しました。その結果、固定された形状のモデルは、データに突然の変化や鋭い角が含まれている場合に苦戦し、その硬直した形状がデータに適合するために十分に曲がることができず、不安定で不正確な結果を生み出すことが分かりました。対照的に、自らの幾何学を調整できる新しいネットワークは、すべての固定形状のベースラインの性能に匹かに及ぶか、あるいはそれを上回りました。18個の難解な方程式のコアセットにおいて、この新手法は最高の平均ランキングを獲得し、50個の全セットにおいても、最強の伝統的手法と同等の性能を示しました。

おそらく最も重要な発見は、これらの新しいネットワークがノイズをどのように処理したかという点です。現実世界では、測定値は決して完璧ではなく、しばしばランダムな誤差や「静電気（ノイズ）」を含んでいます。研究者がデータに増加する量のノイズを加えたとき、伝統的なモデルは急速に崩壊しました。ノイズが増加するにつれて、それらのエラー率は21倍以上に増大しました。しかし、新しい幾何学適応型ネットワークははるかに堅牢でした。ノイズレベルが上昇しても、エラー率の増加ははるかに小さく、多くの場合、元のエラーの4倍未満でした。これは、適切な幾何学を学習することで、ネットワークがランダムな静電気を無視し、真の信号に集中できることを示唆しています。これは、固定形状のモデルには欠けている能力です。

この研究はまた、ネットワークがすべてのものに対して単一の均一な幾何学を学習するのではないことも明らかにしました。代わりに、同じネットワーク内の異なる接続が、それぞれの幾何学ダイヤルの設定を異なるものとして学習しました。ある接続は突然の変化を扱うために非常に鋭くなることを学び、別の接続は緩やかな傾向のために滑らかになることを学びました。この専門化は、異なる種類の方程式や入力次元にわたって一貫して起こりました。例えば、問題に多くの変数を含む場合、ネットワークはより鋭い幾何学を学習する傾向がありました。この振る舞いは一種の「解釈可能性」を提供します。ネットワークが選択した設定を見ることで、研究者は問題の基礎となる構造を反映した信号を見ることができます。ネットワークは実質的に、「この部分は鋭いエッジを必要とし、あちらの部分は滑らかな曲線が必要だ」と私たちに伝えているのです。

研究者はまた、利用可能なデータが非常に少ない場合に何が起こるかも調査しました。このような小サンプルシナリオにおいても、新しいネットワークは、効果的に学習するために大量のデータを必要とする固定形状のモデルを再び上回りました。幾何学を適応させる能力により、新しいネットワークはより少ない例で正しい近似値を導き出すことができました。しかし、研究はまた、このアプローチの限界についても指摘しています。この手法は低〜中次元の問題では優れていますが、画像認識などに使用される深く大規模なニューラルネットワークの代わりになるものではありません。実際、画像データセットでテストした際、この新手法が標準的なネットワークの性能に匹敵するためには、20倍から30倍のパラメータを与える必要がありました。これは、その強みが、生のスケール（規模）ではなく、特定の種類の回帰問題における効率性と適応性にあることを示唆しています。

結局のところ、この研究は「正しい道具を選ぶこと」から「自らの形を変えられる道具を構築すること」へと焦点を移しました。研究者は、複雑な回帰問題を解く鍵は、データを表現するために使用される特定の数学的基底ではなく、その表現が住まう幾何学的空間にあることを証明しました。その空間を学習可能なパラメータにすることで、ノイズに対してより堅牢で、小さなデータセットに対してより効率的であり、かつ、それがモデル化しようとしている関係性の真の性質を捉えることができるシステムを作り上げました。これらの知見は、将来、最も効果的なモデルとは、最も複雑な固定アーキテクチャを持つものではなく、解決しようとしている問題の幾何学そのものを学習できるモデルである可能性を示唆しています。

技術要約：幾何学的制約を持つコルモゴロフ・アーノルド・ネットワーク（Geometry-Constrained KANs）

問題提起

コルモゴロフ・アーノルド・ネットワーク（KAN）は、深層アーキテクチャにおける固定された活性化関数を、学習可能な単変数エッジ関数に置き換えるものである。既存のKANのバリエーション（B-spline、チェビシェフ多項式、またはフーリエ特徴量を用いるものなど）は柔軟性を提供する一方で、固定された基底展開に依存している。これは、データが観測される前に、特定の関数空間の幾何学（滑らかさ、周期性、局所性など）をあらかじめ課してしまう。

本論文は、この固定された幾何学が根本的な限界であると主張する。導入部で示されているように、異なる固定基底は、構造が一致しないターゲット（例：滑らかな基底がヘヴィサイドのステップ関数のような不連続性に直面する場合）を適合させる際に、それぞれ特有の失敗を示す。核心となる問題は表現能力ではなく、幾何学的ミスマッチである。すなわち、課された基底の幾何学が、ターゲット関数の本質的な幾何学と一致していないことにある。

手法：幾何学的制約を持つKAN

著者は、幾何学的制約を持つKANを提案する。ここでは、エッジの活性化関数は離散的な基底集合から選択されるのではなく、学習可能なバナッハ空間の幾何学の**双対写像（duality map）**から導出される。

1. 理論的基礎

このアプローチは、ノルム、凸ポテンシャル、およびその勾配（活性化）の間の対応関係を利用している：
$\text{ノルム} \implies \text{幾何学} \implies \text{凸ポテンシャル } \Psi \implies \text{活性化 } \phi = \nabla \Psi$
基底を固定する代わりに、著者は $\ell_p$ ファミリーを用いて幾何学をパラメータ化する。指数 $p$ はエッジの定性的な振る舞いを制御する：

$p \to 1$ : 鋭い、閾値のような振る舞いを生み出す（ $\ell_1$ 幾何学を想起させる）。
$p = 2$ : 線形／ユークリッド的な領域を復元する。
$p > 2$ : 原点付近での平坦な応答と、裾の部分での冪乗則的な成長を生み出す。

2. アーキテクチャのバリエーション

論文では、表現力と幾何学的適応の効果を分離するために、制御された3つのアーキテクチャのファミリーを定義している：

Tanh-KAN: 標準的な $\tanh$ 活性化（Orlicz 双対性、 $\Psi(z) = \log \cosh z$ から導出）を使用する。これは限定的な表現力を提供するが、幾何学的適応力を持たない。
$\ell_p$ -KAN: 双対写像 $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ を使用する。学習可能な指数 $p$ を通じて幾何学的適応を可能にするが、有界な飽和性は欠いている。
Banach-KAN: 本手法の主要モデルであり、両方のブランチを組み合わせたものである：
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
このアーキテクチャは、有界な飽和（ $\tanh$ による）と適応的な冪乗則の幾何学（ $J_p$ による）を統合し、エッジが多様な応答領域をカバーすることを可能にする。

3. 実装の詳細

学習可能な指数: 指数は $p = 1 + \exp(\theta)$ としてパラメータ化されており、これにより $\theta$ の制約のない最適化が可能となる。
数値的安定性: 正確な双対写像 $J_p$ は、 $p < 2$ の場合に $z=0$ で特異な微分を持つ。著者は、裾の部分の幾何学的解釈を維持しつつ、原点での微分可能性を確保するために、至る所 $C^1$ 級の平滑化された写像 $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ を実装している。
学習可能な深さの条件: 理論的分析（命題1）によれば、ガウス事前分布を持つフィードフォワードスタックにおいて、クリティカルな重みのスケールは $p > 3/2$ の場合にのみ存在する。この閾値を下回ると、残差接続なしでは信号伝播が不安定になる可能性がある。

主な貢献

幾何学的制約を持つパラメータ化: エッジの活性化関数を、固定された基底の選択ではなく、データから直接学習される幾何学（制御される $p$ ）によって導かれるバナッハ双対写像から導出する手法を導入した。
統一的な解釈: KANのエッジ関数を、単なる基底展開としてではなく、幾何学的に制御されたマッピングとして再定義した。
経験的な堅牢性: 学習された幾何学が、固定基底のKANや明示的なスプライン正則化と比較して、小サンプル領域における測定ノイズや近似に対して、より高い堅牢性を示すことを実証した。
解釈可能な信号: 学習された指数 $p$ が、ターゲットに依存した一貫した幾何学的順序（例：より鋭いターゲットはより低い $p$ を持つ）を提供し、それがノイズレベルや入力次元に対しても安定していることを示した。
柔軟性の切除（Ablation of Flexibility）: マッチした予算を持つコントロール（例：傾き適応型活性化、有理関数、混合モデル）と比較することで、「幾何学」の効果を、一般的なパラメータの柔軟性から分離して検証した。

実験結果

モデルは、50個の記号回帰ターゲット（AI Feynman ベンチマークから40個、合成ストレス・テストから10個）と、12個のPMLB表形式データセットで評価された。

クリーンなデータに対する性能

中央値 NRMSE: Banach-KAN は、全50式のベンチマークにおいて中央値 NRMSE 0.030 を達成し、Chebyshev-KAN (0.030) と統計的に並び、Spline-KAN (0.037) を上回った。
ランキング: Banach-KAN は「Core 18」サブセットにおいて最高の平均ランク (2.00) を獲得し、全セットにおいても最高タイ (2.32 vs. 2.34 for Spline) を記録した。
小サンプル領域: Banach-KAN は、より多くのデータを必要とする固定基底モデルを抑え、小サンプル領域（ $n=50$ および $n=100$ ）において最も多くの式で勝利した。

ノイズに対する堅牢性

本論文は、測定ノイズ（ $\sigma$ が 0 から 1 へ増加）の下での顕著な利点を強調している：

劣化率: ノイズが増加するにつれ、固定基底モデルは著しく劣化した（Spline G=3 は 21.6倍、Cheby-KAN は 14.9倍 低下）。
幾何学的制約による安定性: 幾何学的制約を持つバリアントは、はるかに劣化が少なかった。 $\ell_p$ -KAN の劣化はわずか 3.7倍 であり、Banach-KAN は 8.8倍 であった。注目すべきは、交差検証されたスプラインでさえ約11倍劣化したことであり、学習された幾何学は調整された正則化よりも堅牢であることを示している。
ノイズ領域のシフト: 高ノイズ時（ $\sigma=1.0$ ）には $\ell_p$ バリアントが Banach-KAN を上回っており、純粋な冪乗則の幾何学が、組み合わせたアーキテクチャよりも極端なノイズに対してより堅牢であるというトレードオフを示唆している。

外挿および表形式データ

外挿: 入力空間の内部60%で訓練した外挿テストにおいて、Banach-KAN と $\ell_p$ -KAN は最低の NRMSE（それぞれ 0.35 と 0.42）を達成し、Splines (0.73) や RBFs (0.86) といった局所基底を大幅に上回った。
表形式データ: 12個の PMLB データセットにおいて、幾何学的制約を持つファミリーが 12 個中 10 個のデータセットで勝利した。Tanh-KAN は単独モデルとして最強（5勝）であり、Banach-KAN は 1 勝を挙げた。Spline G=3 は 0 勝であった。

意義と主張

本論文は、自らの貢献を、単なる最先端のベンチマーク記録ではなく、一つの設計原理として位置づけている。著者は明確に述べている：

限定的なスコープ: この手法は低〜中次元の回帰用に設計されている。画像分類などで MLP が 20〜30倍のパラメータ数を要する場面で ResNet 等の深層アーキテクチャに匹敵するような、大規模なディープアーキテクチャとは競合しない。
「適切なツール」としての性質: 同等のエッジあたりの計算予算において、測定ノイズが存在し、小サンプル領域である場合、誘導された幾何学（ $p$ を通じて学習される）が、生の表現力よりも学習の成功を左右するという主張である。
解釈可能性: 学習された指数 $p$ は、ターゲット関数の構造（鋭いか滑らかか）に関する、手動チューニングを必要としない、解釈可能な幾何学的読み出しとして機能する。
限界: 著者は、データサイズが増大するにつれてエッジの形式に容量の天井があること、および現在の評価が記号回帰と表形式データに限定されていることを認めており、高次元のモダリティ（シーケンス、画像）に対する今後の課題としている。

要約すれば、本論文は、幾何学こそが KAN における主要なモデリングの選択肢であると主張している。幾何学を学習可能な指数 $p$ を通じて適応可能にすることで、モデルは誘導バイアスをデータに適合させることができ、その結果、固定基底が失敗する領域において、優れた堅牢性と近似性能を実現している。