💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

本論文は、複素係数RBFディクショナリと離散的な階層的精緻化を採用することで、連続スプラインベースのKANが抱えるメモリおよび収束の問題を回避しつつ、優れた多変数回帰、PDE係数の復元、およびハードウェア効率の高い解釈可能性を実現し、Kolmogorov-Arnold Networksの最適化パラドックスを解決する機械検証済みアーキテクチャであるDictionary-KAN (DKAN) を導入するものである。

原著者： Kiarash Mohammadi

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kiarash Mohammadi

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の人工知能という広大な風景の中で、研究者たちを長年悩ませ続けてきた執拗な課題がある。それは、数学的な混乱の海の中で道を見失うことなく、いかにして複雑なパターンを学習する機械を構築するかという問いである。数十年にわたり、標準的なアプローチは、システムのあらゆる部分が他のあらゆる部分と通信する、巨大で高密度な接続の格子に依存してきた。これらのシステムは強力ではあるものの、しば理に的な解決への最も効率的な経路を見つけるのに苦労し、局所的な罠に陥ったり、利用可能なハードウェアでは到底実行できないほどのメモリを必要としたりすることが多かった。より新しい概念であるコルモゴロフ＝アーノルド表現は、異なる道を示した。それは、いかなる複雑で多次元的な関係も、一連のより単純な一次元のステップを足し合わせることで分解できることを示唆していた。この概念は、世界をモデル化するためのより優雅で解釈可能な方法を約束するものだったが、科学者たちがこれを構築しようと試みたとき、彼らは根本的なパラドックスに直面した。これらのネットワークを柔軟にするために使用された数学的ツールはあまりに不安定であり、学習プロセスを崩壊させたり、計算コストを不可能にほど高くしたりしてしまうのである。

キアッシュ・モハマディ（Kiarash Mohammadi）という研究者が、Dictionary-KANと呼ばれる新しいアーキテクチャによって、このパラドックスに対する解決策を提案した。データポイントの連続的な格子を無理に引き伸ばしたり歪ませたりする（これが以前の試みを悩ませた不安定さの原因となっていた）代わりに、この新しいシステムは、固定された定義済みの構成要素のセットを使用する。決して変わることのない単語の辞書を想像してほしい。ネットワークは、新しい文字をその場で発明しようとするのではなく、単にこれらの単語を組み合わせて文章を作る方法を学習するのである。すべての接続をこの安定した辞書に固定することで、研究者はコンピュータが解く数学的問題が常に滑らかで予測可能であることを保証し、古いモデルで発生した突然のクラッシュや進捗の喪失を回避している。このアプローチにより、システムはすでに学んだことを忘れることなく、より大きく詳細に成長することが可能となった。これは、これまでのタイプのネットワークでは不可能であった芸事である。

この革新は、単なる安定性よりもさらに深いレベルに及んでいる。研究者はシステム全体を複雑な数学的空間へと引き上げ、変数同士がどのように乗算され、互いに相互作用するかをネットワークが自然に理解できるようにした。以前のバージョンでは、システムは重く非効率的な計算を通じてこれらの相互作用を強制的に学習しなければならなかった。ここでは、構造自体が乗算を処理するため、学習プロセスがはるかに効率的になっている。この設計には、独自の精緻化手法も含まれている。ネットワークがより精密になる必要があるとき、既存の層の間に新しい詳細な層を挿入することができるが、その際、既に行われた作業を乱すことはない。新しい部分はゼロの影響力から始まるため、拡張の前と後でネットワークの出力が正確に同じであることを保証し、新しいことを学ぶことで古い知識が消えてしまう「破滅的忘却」の問題を事実上排除している。

これらの主張が単なる理論的な希望ではないことを確実にするため、研究者はその核心となる論理を厳格な機械検証によるチェックに付した。数学的真理を証明するために設計された専用のコンピュータプログラムを用いて、最適化理論のすべてのステップが特定の条件下で正しいことが検証された。コンピュータは、システムには単一のユニークな最適解が存在すること、そしてその解を見つけるために用いられる手法が、停滞することなく常にその解へと収束することを確認した。多くの理論が証明困難な仮定に依存しているこの分野において、このレベルの確実性は稀有である。これらの検証結果は、一連の実世界のシミュレーションにおいてもテストされた。複数の変数の相互作用を伴うタスクにおいて、この新システムは標準的な高密度モデルを20倍の係数で上回り、はるかに少ないリソースで極めて高い精度を達成した。

このシステムは、科学的発見においても驚くべき能力を示した。空気抵抗のある振り子の法則を特定するよう求められた際、ネットワークは、他のモデルが見逃した微細な減衰力を含む、正しい物理変数を見事に孤立させた。同様に、バーガース方程式として知られる流体力学の問題の背後にある方程式を解明するよう命じられた際、必要な乗算項を自ら発明しながらも、1パーセント未満の誤差で正しい数学的関係を再構築した。実用的な応用として、研究者たちは、粗い金属表面からの光の反射をモデル化するようにネットワークを訓練した。これは、リアルなコンピュータグラフィックスにとって極めて重要なタスクである。得られたモデルは非常にクリーンで構造化されていたため、重いニューラルネットワーク・ソフトウェアを完全に排除し、短く人間が読めるコンピュータプログラムへと直接翻訳することができた。

しかし、この研究には限界もあり、著者も成功と同様の明晰さをもってそれらを報告している。システムがステップ関数のような急激な変化を持つデータに対してテストされた際、「リンギング」と呼ばれる既知の弱点を示した。これは、鋭いエッジの周囲で出力がわずかに振動する現象である。新しいシステムは以前のバージョンよりもこの問題に対処できていたものの、これらの特定のケースにおいて、より単純な古いモデルの精度には及ばなかった。さらに、機械検証によって提供された数学的保証は、データが特定の構造を持っていることなどの条件が満たされることに依存しており、これは理論があらゆる可能なデータセットに対して普遍的な保証を与えるものではないことを意味している。研究者は、システムはあらゆる詳細を完璧に記憶するための道具ではなく、複雑な関係を理解し精緻化するためのツールであると明示的に述べている。

この研究は、人工知能をより信頼でき、効率的なものにすることにおける重要な前進を意味している。不安定な連続格子を固定された関数の辞書に置き換えることで、研究者はこれらのネットワークの開発を阻んできた長年の最適化パラドックスを解決した。ネットワークを忘却させることなく成長させる能力、高い精度で物理法則を発見する能力、そして最終的な結果を単純なコードへとコンパイルできることは、これらのシステムが単に強力であるだけでなく、理解可能で実用的なものとなる未来を示唆している。これらの知見は、あらゆる問題に対する最終的な答えとしてではなく、より高度なバージョンを構築するための安定した基礎として提示されており、その中核となる理論はすでに機械によって数学的に健全であることが検証されている。

技術要約: Dictionary-KAN

問題提起

本論文は、連続的なKolmogorov-Arnold Networks (KANs) に内在する「最適化のパラドックス」に対処している。Kolmogorov-Arnold表現定理は、任意の多変数連続関数が1次元関数と加算に分解可能であることを保証しているが、標準的な連続型KANの実装（B-spline、チェビシェフ多項式、または学習可能なガウス中心を使用）は、実用上、以下の4つの決定的な失敗に直面する：

基底関数の病理的性質: 有界な有理関数は勾配消失を引き起こし、高次の多項式は、不安定なゼロ交差を伴う波打った損失ランドスケープを生み出す。
グリッドの不安定性: スプライン・ノットの動的な再グリッディングは、非凸なソーティング崩壊とドメイン・ワーピングを引き起こし、局所的な更新中に破滅的な忘却をもたらす。
KA制約の違反: 非線形な変数間の相互作用（例： $x_1x_2$ ）をモデリングする場合、多くの場合、密な線形投影やゲーティングが必要となり、結果として多層パーセプトロン（MLP）の密な重み行列を事実上再導入してしまい、1次元の加算構造を破壊してしまう。
正則化の困難性: 標準的なSobolev $L_2$ ペナルティは鋭い遷移をぼやけさせ、厳格なリプシッツ境界は表現力を過度に制限する。

さらに、連続型KANは、密なグリッド活性化がネットワーク幅とともに悪化する「次元の記憶の呪い」に苦しみ、しばしばメモリ不足（OOM）による失敗を招く。

手法: Dictionary-KAN (DKAN)

著者は、連続的な学習可能グリッド・ワーピングを、関数解析に基づいた固定された離散辞書アプローチに置き換えるアーキテクチャ、Dictionary-KANを提案している。そのコアとなる設計方針は以下の通りである：

1. 複素係数を用いた固定RKHS辞書

学習可能な中心点の代わりに、各エッジ関数は、再生核ヒルベルト空間（RKHS）における固定されたガウス（Magnitude-RBF）辞書として定義される。係数は学習可能な複素数である。

エッジ関数: $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ 。ここで、 $c_m$ は固定された実数中心であり、 $w$ は複素数重みである。
複素ルーティング: 入力は複素平面へと持ち上げられる（ $x_p \mapsto x_p + 0i$ ）。解析的な基底項（ $z, z^2$ ）は、密な行列投影を必要とせずに、乗法的相互作用（例： $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ）を自然に分離できる。

2. 離散階層的精緻化 (Discrete Hierarchical Refinement, DHR)

既存の表現を破壊したり再学習したりすることなく容量を増やすために、DKANはDHRを採用している。このプロセスでは、既存の辞書中心の間に中間点となる中心を挿入する。極めて重要な点は、新しい重みが正確にゼロで初期化されることであり、これによりネットワークの出力が精緻化の前後で**ビット単位で同一（bit-identical）**であることを保証する。これは「ゼロ破滅的忘却」を保証するものである。

3. 離散全変動 (Total-Variation, TV) 正則化

スパース性と区分線形な重みプロファイルを強制するために、重みシーケンスの第2離散差分に対して $\ell_1$ ペナルティが適用される： $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ 。

4. 機械検証された理論

本研究の際立った特徴は、コアとなる最適化理論が Lean 4 / Mathlib において形式検証されていることである。著者は、非公式な漸近的議論に頼るのではなく、以下の項目について機械的にチェックされた証明を提供している：

厳密な凸性: フルランクの辞書仮定の下で、損失関数は厳密に凸である。
定常性: 勾配降下法の定常性は正規方程式（ $K^*(Kw-y)=0$ ）と等価である。
収束性: 導出されたPolyak–Lojasiewicz (PL) 条件の下で、勾配降下法の幾何学的収束が証明されている。
ゼロ忘却: DHRアイデンティティは、関数を点ごとに保存することが証明されている。

主な結果

1. 最適化の安定性と精度

結合多変数回帰タスク（ $f(x,y) = \sin(x)\cos(y) + xy$ ）において、DKANは密なRBF-KANベースラインをテストMSEにおいて約20倍上回る性能を示した。

複素数 vs 実数: 複素数型DKAN（C-DKAN）は滑らかに単調に収束する。対照的に、実数型DKAN（R-DKAN）は深刻な損失の不安定性と勾配ショックを示し、複素位相が幾何学的スタビライザーとして機能することを裏付けている。
ゼロ忘却: DHR拡張時、ネットワーク出力の変化は正確に0.0であり、理論的保証が確認された。

2. 不連続性に関する限界

論文では、不連続性に関する負の結果が報告されている。ステップ関数近似タスクにおいて、滑らかなMagnitude-RBF辞書はギブス現象のようなリンギング（オーバーシュート/アンダーシュート）を示す。

C-DKANは通常のDense KANよりもリンギングは少ないものの、ReLU MLPのようなほぼ正確なステップ近似には到達できない。
重み空間の曲率を罰するTV正則化は、関数空間のオーバーシュートを抑制することには失敗した。これは、広範なオーバーシュートの隆起が小さな離散第2微分を持つためである。著者は、重み空間のTVは関数空間のリンギングを制御しないことを明示している。

3. ハードウェアのスケーラビリティ

DKANは、連続型KANのメモリボトルネックを解決する。

Dense KANは、エッジ活性化テンソルに対して $O(BN^2G)$ のメモリを必要とし、幅 $N=256$ でOOMが発生する。
DKANは $O(BNM)$ のメモリでスケールする。 $N=128$ において、DKANはベースラインと比較して18.6倍少ないVRAMを使用する。 $N=256$ において、ベースラインのモデルは失敗するが、DKANは2.66 GB以内で完了する。

4. 科学的発見 (ODEおよびPDE)

減衰振り子: DKANは、結合状態空間構造 $\{\theta, \dot{\theta}\}$ と非線形性 $\sin(\theta)$ を正常に復元した。実数型ベースラインは、減衰座標 $\dot{\theta}$ を保持できず、それを単調なプロキシに置き換えてしまった。
Burgers' 方程式: DKANは、粘性Burgers' PDEの係数（ $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ）を1%未満の誤差で発見した。決定的なのは、これが $z = u + i u_x$ の虚部を介して、非線形な積 $u u_x$ をネイティブに合成している点である。これに対し、ベースラインではこの項を明示的な入力特徴量として必要とした。

5. シンボリック・コンパイル

DKANは、BRDFエネルギー補償のための約50行の閉形式GLSLシェーダーへとコンパイル可能である。小さな重みを枝刈りし、固定中心を使用することで、ネットワークは直接シンボリックな式ツリーへと変換され、ニューラル・ランタイムなしでのリアルタイム展開が可能になる。

意義と主張

本論文は、Dictionary-KANを（構造化されていないMLPが滑らかなグリッド上でより低い生のMSEを達成する可能性があるような）汎用的な補間器としてではなく、MLPおよび連続型KANの両方に対する安定、解釈可能、かつハードウェア効率の高い代替案として位置づけている。

その主要な意義は以下の通りである：

最適化のパラドックスの解決: 辞書を固定し、複素ルーティングを使用することで、グリッドの不安定性と勾配消失を排除しつつ、KA定理のトポロジカルな制約を維持している。
機械検証された保証: KANの収束、凸性、およびゼロ忘却の精緻化について、非公式な理論的主張を超えた、初の機械検証された証明を提供している。
ネイティブな乗法的結合: 密な投影ではなく、複素解析の特性を通じて変数間の相互作用モデリングを実現している。
スケーラビリティ: 密なグリッドベースのKANに関連する「次元の記憶の呪い」を取り除いている。

著者の主張は控えめであり、滑らかな辞書が不連続性に苦戦すること、および現在の理論が（将来のV2でデータ依存の認証が必要となる）条件付きの前提に基づいていることを明示的に認めている。本研究は「V1」の基礎として位置づけられており、将来のバージョンではカーネル理論的統一とディープシステムへのスケーリングを目指している。