📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

本論文は、Bスプライン成分を用いたKolmogorov-Arnoldネットワーク（KAN）が、周囲の次元に依存しないミニマックス最適回帰率を達成することを確立するとともに、適応的な結節点選択規則を提供し、その一変数成分の非識別性を明らかにしている。

原著者： Wei Liu, Eleni Chatzi, Zhilu Lai

公開日 2026-07-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wei Liu, Eleni Chatzi, Zhilu Lai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータに天気を予測させようとしている場面を想像してみてください。気温、湿度、風速、気圧などが複雑に相互作用する世界は、非常に混沌としています。機械学習の世界では、これを「ノンパラメトリック回帰」と呼びます。これは、データを単純な既成の箱（例えば直線など）に無理やり押し込むのではなく、データの海の中から隠れたパターンを見つけ出す技術です。数十年にわたり、科学者たちは主に2つのツールを使用してきました。1つ目は「ニューラルネットワーク」です。これは層状の構造を持つデジタルな脳であり、ほぼあらゆることを学習できますが、しばしば「ブラックボックス」となります。つまり、動いていることは分かっても、どのように、あるいはなぜその答えに辿り着いたのかを容易に理解することはできません。2つ目は「スプライン」です。これは点の間を滑らかな曲線でつなぐ数学的なツールで、柔軟な定規のようなものです。スプラインは透明性が高く理解しやすいのですが、データが複雑になりすぎたり、次元数（天気の変数を増やすような場合）が増えたりすると、苦戦してしまいます。

最近、「Kolmogorov–Arnold Network（KAN）」と呼ばれる新しいタイプのニューラルネットワークが登場しました。KANを、賢いハイブリッドモデルだと考えてください。それはニューラルネットワークのような層状の構造を持ちながら、謎めいた絡み合った接続を用いる代わりに、単純な1次元の曲線（スプライン）を積み重ねることで予測を構築します。それは、不透明なコンクリートではなく、透明なガラスパネルで高層ビルを建てるようなものです。科学者たちの大きな疑問は、「この新しいガラスの超高層ビルは、本当に古いコンクリートの壁と同じくらいうまく機能するのか？そして、それを数学的に証明できるのか？」ということでした。この論文は、単に実験を行うだけでなく、これらのネットワークがいかに速く、いかに正確に学習するかを正確に示すための、厳密な数学的証明を構築することで、この問いに切り込んでいます。

ガラスの超高層ビル vs. コンクリートの壁

この論文の著者たちは、KANが単に面白いアイデアであるだけでなく、データから学習するための数学的に最適な方法であることを証明しようとしました。彼らは、構成要素として「B-スプライン」（前述の柔軟な定規のこと）を使用する特定のタイプのKANに焦点を当てました。彼らの主な発見は、学習における「速度制限」です。彼らは、予測しようとしているデータがある一定の滑らかさ（これを滑らかさ $r$ と呼びます）を持っている場合、KANは近似的に $O((\log n/n)^{2r/(2r+1)})$ の速度で学習することを証明しました。

これを日常的な言葉で説明すると、指先で触れることで隠れた物体の形を推測しようとしている場面を想像してください。物体が非常に滑らかであれば（磨かれた大理石のように）、それを理解するために必要なタッチ数は少なくて済みます。もし物体がデコボコでギザギザしていれば、より多くのタッチが必要になります。論文は、KANが物体の形を推測する精度が向上する速度が、物体の次元数ではなく、その物体がいかに滑らかであるかにのみ依存することを示しています。これは極めて重要なことです。通常、次元数（追跡すべき変数の数）が増えると、学習は指数関数的に困難になります。これは「次元の呪い」として知られる問題です。それは、納屋に新しい部屋を作るたびに、どんどん大きくなっていく干し草の山の中から針を探すようなものです。著者たちは、KANが単純な1次元のパーツから構築されているため、この呪いを完全に回避できることを発見しました。データが実際にKAN特有の構造に従っている限り、データが5次元であろうと20次元であろうと、KANは同じ速さで学習できるのです。

対数による「ひっかかり」と「log」因子

しかし、物語はすべてがスムーズに進むわけではありません。著者たちは、KANの学習速度が絶対的な理論上の最速値よりも、対数を含む非常に小さな因子（具体的には $(\log n)^{2r/(2r+1)}$ という因子）によってわずかに遅くなることを発見しました。彼らは、この「ひっかかり」の原因をKANのアーキテクチャ自体にあるのではなく、ネットワークが非線形であるという事実に求めました。

このように考えてみてください。もし図書館の本が完璧な直線状に並んでいる（線形システム）場合、本をすぐに見つけることができます。しかし、もし本が複雑にねじれた迷路の中に配置されている（非線形システム）場合、もう少し探索が必要になり、それが小さな「対数的」な遅延を生みます。著者たちは、もしKANを単純化して直線のように振る舞わせれば、この余分な遅延が消えることを示しました。これは、KANが本質的に「学習困難」なのではなく、その非線形なねじれをナビゲートするための数学的なオーバーヘッドが、わずかながら発生しているだけであることを示唆しています。

隠れた構成要素の謎

この論文の中で最も興味深い部分の一つは、答えを構築するために使用された個々のパーツを見るために、KANの内部を覗こうとしたときに何が起こるかという点です。著者たちは、最終的な答えを見るだけでは、これらの個々のパーツを一意に特定することはできないことを証明しました。それは、完成したケーキを味わうだけで、その正確な材料を特定しようとするようなものです。もしケーキが「バニラ」のような味がする場合、ベイカーがバニラエッセンスを1カップと小麦粉を2カップ使ったのか、それともバニラを2カップと小麦粉を1カップ使ったのかを確信することはできません。なぜなら、レシピには「スケール・グループ（尺度群）」、つまり最終的な味を変えることなく材料の量を入れ替える方法が存在するからです。

彼らは、データを単に「中心化（平均をゼロにする）」するだけでは、この謎を解くには不十分であることを示しました。ネットワークは、最終的な予測を全く変えることなく、内部のコンポーネントの重みを入れ替えることができます。これは、KANは「結果」を予測することには優れていますが、内部のパーツに特別なルールを加えて固定しない限り、それらが「真の」根本原因を語っているとは必ずしも言い切れないことを意味します。

ノット（結節点）と適応性

これらのネットワークを機能させるには、「ノット」（柔軟な定規が曲がる点）をいくつ使うかを決定する必要があります。少なすぎると、定規が硬すぎて曲線に追従できず、多すぎると、パターンではなくノイズを記憶して激しく波打ち始めます。著者たちは、これに対する完璧なルールを導き出しました。ノットの数は、おおよそ $n^{1/(2r+1)}$ （ $n$ はデータの量）のように成長すべきである、というものです。

さらに素晴らしいことに、彼らはデータの「滑らかさ」( $r$ ) を事前に知らなくても、これを正しく行うことができることを示しました。彼らは、異なる選択肢をテストすることで、まるで登山者が最も早く頂上に到達できるルートを見つけるように、自動的に適切な数のノットを選択できる手法を作り上げました。シミュレーションにおいて、この「適応的」な手法は、最初から答えを知っていた場合と同等の成果を上げました。

ラボでの理論検証

最後に、著者たちは数学だけで終わることはありませんでした。彼らはそれをテストにかけました。既知の滑らかさレベルを持つ疑似データを作成し、それがどのように学習するかを観察しました。結果は正確でした。

速度: KANは予測された速度で学習し、データが増えるにつれて精度が向上しました。
次元数: 変数の数を5から20に増やしても、KANはその速度を維持しましたが、他の標準的な手法（k-近傍法など）は劇的に速度が低下しました。これは、KANが真に「次元の呪い」を回避していることを裏付けています。
ノット: 実験で見出された最適なノットの数は、彼らの数学的予測と完璧に一致しました。

論文は、KANが強力で数学的に裏付けられたツールであると結論づけています。それらは、ディープニューラルネットワークの学習能力と、スプラインの透明性の両方を備えています。内部のパーツを完全に特定する方法についてはまだ未解決の問いが残っていますが、彼らが（微小な対数因子を除いて）最適なレートで学習することを証明したことは、大きな進歩です。これは、データが特定の構造を持っている場合、KANが単なる巧妙なトリックではなく、それを学習するための最も効率的な方法であることを示しています。

技術要約：Kolmogorov–Arnold ネットワーク回帰推定量の収束率について

問題提起
本論文は、非パラメトリック回帰における Kolmogorov–Arnold ネットワーク（KAN）の統計的収束率を扱う。KAN は、多変数関数を単変数変換の合成によって近似する構造化されたディープニューラルネットワークの代替案として、経験的な支持を得ているが、その推定率に関する厳密な統計的保証はこれまで乏しかった。著者らは、単変数成分が B-スプラインである KAN シーブ（sieve）上の最小二乗推定量の性能を調査している。具体的には、ソボレフ滑らかさを持つ単変数成分を用いた KAN 関数のクラスに対して、経験リスク最小化推定器がどのような率を達成するか、そしてその率はミニマックス最適（minimax optimal）であるかを問うている。

手法
著者らは、KAN アーキテクチャから構成されるシーブ空間 $\mathcal{F}_n$ 上で定義される最小二乗推定器 $\hat{f}_n$ を分析する。ターゲット関数 $f_0$ は、 $Q$ 個のユニットの有限和としてモデル化される：
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
ここで、 $T_q(x)$ は加法的な集約（ $\sum \psi_{qj}(x_j)$ ）または乗法的な集約（ $\prod \psi_{qj}(x_j)$ ）を表す。内側の関数 $\psi_{qj}$ と外側の関数 $g_q$ の両方を、結節点（knot）数 $k_n$ を持つ次数 $m$ の B-スプラインを用いて近似する。

主要な手法ステップは以下の通りである：

仮定： デザイン分布は有界な密度を持ち、誤差は独立同一（i.i.d.）かつ劣ガウス的であり、回帰関数は単変数成分がソボレフ滑らかさ $r$ を持つクラス $\mathcal{F}^{KAN}_r$ に属する。決定的な点として、外側の関数 $g_q$ は $L_2$ ではなく $L_\infty$ -ソボレフ尺度（ $W^{r,\infty}$ ）において制約されており、シーブは安定性を確保するために係数に対して明示的な sup-norm 境界を課している。
理論的ツール： 分析には、以下の3つの古典的な要素を組み合わせている：
- KAN 合成の近似境界（補題 C.1）：乗法的ノードのためのテレスコーピング引数を利用。
- 非線形シーブのメトリック・エントロピー境界（補題 C.2）：合成の非線形性を考慮。
- 一様に有界なクラス上の最小二乗法に関するオラクル不等式（補命 C.3）。
識別性（Identifiability）の分析： 学習された成分が真の成分に収束するかどうかを検討し、スケール不変性と混合の曖昧さのため、中心化（centering）だけでは識別には不十分であることを証明する。

主要な貢献と結果

収束率： KAN スプライン・シーブ上の最小二乗推定器は、以下の一様収束率を達成する：
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
このレートは、単変数成分がソボレフ滑らかさ $r$ を持つ KAN 関数の球体上で一様に成立する。
次元に依存しない指数： 指数 $\frac{2r}{2r+1}$ は、周囲の次元 $d$ に依存しない。著者らは、これが一般的なソボレフ・クラスに対するミニマックス下界 $n^{-2r/(2r+d)}$ を侵害していないことを明確にしている。代わりに、次元に依存しないレートは、ターゲットが固定された数のユニット $Q$ を持つ KAN 表現を保持するという構造的仮定から生じている。
ミニマックス最適性： 次のオーダーの整合的な下界 $n^{-2r/(2r+1)}$ が確立されており、推定器が対数因子を除いてミニマックス最適であることを示している。著者らは、この対数因子を KAN アーキテクチャ自体ではなく、シーブの非線形性（被覆に対する連鎖（chaining）を必要とする点）に帰している。彼らは、線形サブモデル（例：固定された外側関数）の場合、この対数因子が消失することを示している。
識別性： 中心化の制約は KAN 表現を識別しないことを証明した。1パラメータのスケール・グループが残り、さらに $d=1$ または $Q \ge 2$ の場合にはさらなる曖昧さが存在する。したがって、適合された関数 $\hat{f}_n$ の一貫性は、追加の正規化と非退化条件がない限り、個々の単変数成分 $\hat{\psi}_{qj}$ の一貫性を意味しない。
適応性（Adaptivity）： 結節点選択ルール $k_n \asymp (n/\log n)^{1/(2r+1)}$ が導出された。著者らは、二進（dyadic）結節点グリッド上のペナルティ付き選択が、滑らかさ $r$ に関する事前知識なしに（スプラインの次数まで）、最適レートを適応的に達成することを示す。

実験的検証
理論的予測は、正確な滑らかさ $r$ が既知である合成ターゲットを用いて検証されている。

近似誤差： 単変数スプライン近似誤差は $k^{-r}$ として減衰し、理論的境界と一致する。
収束率： 実験的な $L_2$ リスクは、加法的、単変数、および乗法的ターゲットのすべてにおいて、対数因子を除いて $n^{-2r/(2r+1)}$ のレートで一貫して減少する。
次元の独立性： 次元スイープ（ $d=5$ から $d=20$ ）において、KAN 推定器は急峻な収束勾配を維持するが、構造フリーのベースライン（k-NN、カーネルリッジ）は、次元の呪いのレート $n^{-2r/(2r+d)}$ へと劣化する。
結節点選択： リスクは結節点数に対して U 字型の形状を示し、交差検証は $r$ を知ることなく最適な結節点数を特定することに成功した。

意義と主張
本論文は、KAN に関する初の厳密な収束分析を提供し、それらが構造化された非パラメトリック回帰においてミニマックス最適レートを達成することを確立したと主張している。主な意義は、KAN アーキテクチャが、ターゲット関数が特定の KAN 構造を持つ場合、単なる単変数ソボレフ成分の和を利用することで、一般的な非パラメトリック推定に固有の「次元の呪い」を回避できることを示した点にある。

著者らは、対数因子について、それは KAN 自体の限界ではなく、非線形シーブのエントロピーに起因するアーティファクトであると述べ、この因子の除去をローカル・エントロピー分析を必要とする未解決の技術的課題として挙げるなど、控えめな姿勢をとっている。さらに、回帰関数は一貫して推定されるものの、基礎となる単変数成分の回復には、標準的な中心化では保証されない特定の識別条件が必要であることを強調している。本研究は、KAN の経験的な成功と古典的な非パラメトリック理論の間の溝を埋め、ニューラルネットワークの層状組成構造を保持しつつ、スプラインに基づく手法と同等の最適性の観点から KAN を位置づけている。