技術的概要：幾何学的コルモゴロフ・アルノルド・ネットワーク（GeoKAN）

問題提起

多層パーセプトロン（MLP）や最近のコルモゴロフ・アルノルド・ネットワーク（KAN）を含む標準的な深層学習モデルは、通常、固定されたユークリッド座標系内で動作します。KAN は、固定されたスカラー重みを学習可能な単変数関数に置き換えることで近似の柔軟性を向上させますが、これらの関数を依然として元の入力座標上で直接評価しています。この制限は、科学機械学習や微分方程式の求解において決定的な問題となります。なぜなら、対象関数は多くの場合、非常に非一様な挙動を示すためです。すなわち、ある領域では滑らかですが、衝撃波、薄い界面、鋭いピーク、または境界層の近くでは急激に変化します。そのようなシナリオでは、固定座標表現はモデル容量を非効率的に配分し、滑らかな領域を過剰に解像する一方で、急激な変化の領域を解像不足に陥らせることがよくあります。

手法

著者らは、入力空間の幾何学を近似関数とともに適応させるモデルのファミリーである幾何学的コルモゴロフ・アルノルド・ネットワーク（GeoKAN）を導入します。その中核メカニズムは、基底展開と特徴量混合の前に入力座標を歪ませる対角リーマン計量 $g(u)$ を学習することです。

中核メカニズム

GeoKAN は、生の入力 $x$ 上で基底関数を評価するのではなく、まず歪んだ座標を計算します：
$$\xi_i = x_i \sqrt{g_i(x)}$$
ここで、$g_i(x) > 0$ は学習された計量成分です。この歪みは、急激な変化の領域を伸長させ（実効解像度を向上させ）、滑らかな領域を圧縮します。その後、モデルはこの幾何学適応座標において特徴量を構築します。

バリエーション

本論文では、計量のパラメータ化方法と、歪み後の特徴量の構築方法が異なる、GeoKAN の 3 つの主要なバリエーションを提案します：

1. GeoKAN-NNMetric：ニューラルネットワーク（MetricNet）を介して完全な入力表現から学習された結合計量を使用します。これを局所化されたウェーブレット辞書（メキシカンハットウェーブレット）と体積要約項（$\log \det g$）と組み合わせて使用します。
2. GeoKAN-γ：構造化された分離計量を採用し、各座標が独立して独自のスケーリングを学習します。歪み後の辞書の代わりに、計量から導出された明示的な幾何学的特徴量（歪んだ座標、計量の局所対数微分、計量の大きさなど）を構築します。
3. LM-KAN（学習計量 KAN）：物理学情報設定に特化して設計されています。GeoKAN-NNMetric と同様の結合学習計量を使用しますが、歪み後の基底は問題構造に基づいて選択できます：ウェーブレット（LM-KAN-Wav）、ラジアル基底関数（LM-KAN-RBF）、またはフーリエ（LM-KAN-Fourier）です。

物理学情報学習

物理学情報設定において、著者らは標準的な物理学情報ニューラルネットワーク（PINN）フレームワーク内で代理モデルとしてLM-KANバリエーションを利用します。訓練目的関数は、支配微分方程式、初期条件、境界条件を組み込んだ残差ベースの損失関数のままです。新規性はアーキテクチャのみにあります。すなわち、代理モデルはタスク依存の計量を学習し、損失の変分定式化を変更するのではなく、計量適応座標において局所化された基底表現を評価します。

主要な貢献

1. 幾何学的帰納的バイアス：本論文は、モデルが関数近似だけでなく、表現空間の基礎となる幾何学も学習するフレームワークを導入します。これにより、タスク依存で表現解像度を再配分するメカニズムが提供されます。
2. 3 つの異なるアーキテクチャ：GeoKAN-NNMetric、GeoKAN-γ、および LM-KAN の開発は、柔軟な結合計量アプローチから構造化された軽量計量特徴量モデルに至るまでのモデルのスペクトラムを提供します。
3. 基底適応：幾何学的歪み内への特定基底ファミリー（ウェーブレット、RBF、フーリエ）の統合により、モデルは特定の問題タイプ（例えば、振動するヘルムホルツ問題に対するフーリエなど）に帰納的バイアスを適合させることができます。
4. 包括的なベンチマーク：この研究は、2 つの異なる領域でこれらのモデルを評価します：
   • 教師あり関数近似：内在的な近似の利点を分離するために、容量一致のベンチマークを使用。
   • 物理学情報学習：科学計算の文脈での性能をテストするために、さまざまな微分方程式（アレン・カーン方程式、バーガース方程式、ローレンツ系、ヘルムホルツ方程式）を求解。

結果

教師あり関数近似

容量一致のベンチマーク（約 $2 \times 10^4$ パラメータ）において、GeoKAN バリエーションは、非一様な構造を持つターゲットに対して MLP や Efficient-KAN よりも優れた性能を示しました：

• 高周波および局所化ターゲット：GeoKAN-NNMetric と LM-KAN-Wav は、高周波正弦波、ステップ不連続、細いニードル、およびマルチスケール包絡変調正弦波において、最小の平均二乗誤差（MSE）を達成しました。
• チャープ信号：LM-KAN-RBF はチャープターゲットにおいて他のバリエーションを上回り、RBF 基底が滑らかに変化する局所周波数に適していることを示唆しました。
• 解釈：これらの結果は、学習された計量が効果的に解像度を再分配し、困難な領域を伸長し滑らかな領域を圧縮することで、パラメータ数を増やすことなくよりtightな適合を実現することを確認しています。

物理学情報学習

LM-KAN の性能は、いくつかの微分方程式にわたって標準的な PIKAN ベースライン（Efficient-KAN および Wav-KAN）と比較されました：

• アレン・カーン方程式（ケース 1）：両モデルとも高い精度を達成しました。PIKAN はわずかに低い最終損失に達しましたが、LM-KAN ははるかに高速に訓練され（315 秒対 539 秒）、パラメータ数も少なかったです。
• アレン・カーン方程式（ケース 2 - 剛性）：より急峻な界面を持つより困難な領域において、LM-KAN はより良い解の再構成と低い PDE 残差を提供しましたが、計算コストは高くなりました（4760 秒対 1281 秒）。
• バーガース方程式：LM-KAN は、より多くのパラメータを有していたにもかかわらず、最終損失が PIKAN とほぼ同一でありながら、大幅に短い時間（206 秒対 295 秒）で達成し、急勾配の解像における計算効率の向上を示しました。
• ローレンツ系：LM-KAN は PIKAN よりも低い最終損失を達成し、幾何学的適応が結合非線形常微分方程式に有益であることを示しましたが、訓練時間はより長くなりました。
• ヘルムホルツ方程式：この高度に振動する領域において、LM-KAN（フーリエ基底を使用）は Efficient-KAN ベースラインを大幅に上回りました。ほぼ同一のパラメータ数でありながら、最終損失が大幅に低く（約 45% 削減）、2 倍以上高速に訓練されました（76 秒対 166 秒）。幾何学的適応は、波長が減少するにつれて位相精度と波構造を維持する上で特に効果的であることが証明されました。

意義と主張

本論文は、GeoKAN が、鋭い遷移、局所化された構造、または振動的な複雑さによって特徴づけられる問題、特に科学機械学習に対して、より柔軟かつしばしばより効果的な表現メカニズムを提供すると主張しています。

• アーキテクチャ対変分：著者らは、改善がアーキテクチャ的であることを強調しています。訓練フレームワーク（残差ベースの損失）は標準のままです。利益は、幾何学適応座標系を学習する代理モデルの能力から生じます。
• タスク依存解像度：主な意義は、「最も必要な場所に容量を配置する」能力にあります。困難な領域を伸長させる計量を学習することで、GeoKAN は局所特徴をグローバルに解像しなければならない固定グリッド表現の非効率性を回避します。
• 控えめな主張：著者らは、GeoKAN がすべての指標で均一に優れているわけではないことを認めています。いくつかのケース（例：アレン・カーン方程式ケース 1）では、標準的な PIKAN がより低い最終損失またはより高速な訓練を達成します。GeoKAN の利点は、強い非一様性、剛性、または高周波振動を伴う領域で最も顕著です。
• 将来の方向性：本論文は、将来の研究として、高次元 PDE のための異方性（非対角）計量の探索や、基底選択のさらなる適応性を提案しています。

要約すると、GeoKAN は入力ドメインの幾何学を学習することで KAN パラダイムを拡張し、多くの科学および微分方程式問題に内在する非一様性を処理するための堅牢なアプローチを提供します。