Geometry-Aware R-Structured Kolmogorov-Arnold Networks

技術要約：幾何学を考慮したR構造Kolmogorov–Arnoldネットワーク（GRS-KAN）

問題提起
Kolmogorov–Arnold Networks (KANs) は、重み行列を学習可能な単変数関数に置き換えることで、科学計算において顕著な有望性を示してきたが、明示的な幾何学的制約の扱いにおいては依然として「ブラックボックス」である。標準的なKANは、滑らかなスプライン基底を用いて、複雑な幾何学的構造（実現可能な領域、ブール条件、不連続性など）をデータから暗黙的に推論しなければならない。この暗黙的な推論は、境界付近での精度を低下させることが多く、急峻な遷移を近似するために膨大なパラメータ数を必要とする。対照的に、R関数（V. L. Rvвachevによって開発）は、論理演算や複雑な幾形を単一の微分可能な方程式として表現するための厳密な解析的枠組みを提供するが、滑らかな関数関係を学習するための現代的なニューラルアーキテクチャには統合されていない。

手法
本論文では、滑らかな非線形構造の学習と、既知の幾何学的制約のエンコーディングを分離するハイブリッドアーキテクチャである、**幾何学を考慮したR構造Kolmogorov–Arnoldネットワーク（GRS-KAN）**を提案する。

1. コアの統合: 本フレームワークは、学習可能なエッジ関数（滑らかなSiLU基底とB-スプライン補正で構成される）を用いて滑らかな関数挙動を学習する標準的なKANブランチを保持しつつ、同時に、微分可能なR-結合（$\land$）およびR-論理和（$\lor$）を用いて、既知の幾何学的領域（矩形、円、または複雑なブール結合など）を解析的にエンコードするR関数ブランチを導入する。
2. 微分可能な幾何学: R関数は、論理条件（例：「矩形の内側」）を、符号によって領域を決定する実数値関数へとマッピングする。これらは勾配ベースのバックプロパゲーションに適した微分可能なゲートとなるよう、ロジスティックシグモイド（$\sigma(\kappa R(x))$）を用いて平滑化される。
3. アーキテクチャのバリエーション: 著者らは3つの特定の構成を導入している：
   • ターゲット加算型 GRS-KAN: 滑らかな背景関数と、既知の領域内における局所的なジャンプ（$f_{smooth} + c \cdot \text{gate}$）をモデル化する。
   • ターゲット乗算型 GRS-KAN: 既知の幾何学的サポート内でのみ非ゼロとなる関数（$f_{smooth} \cdot \text{gate}$）をモデル化する。
   • アグノスティック（非依存型）GRS-KAN: ベースラインとなるKAN、加算ブランチ、および乗算ブランチを組み合わせた統一アーキテクチャ。これは、データに基づいて、支配的な相互作用メカニズム（純粋に滑らか、加算、または乗算）を自動的に決定するために、学習可能な構造選択パラメータ（$w_{KAN}, w_{add}, w_{mul}$）を採用する。

主な貢献

• 理論的枠組み: 幾何学的および論理的制約の解析的なR関数表現を、微分可能なKANフレームワークに直接統合する方法。
• 解析的構成: 幾何学的インジケーター（例：矩形）の明示的な閉形式表現を、バックプロパゲーションのための解析的な勾配と共に提供。
• アーキテクチャの革新: 微分可能性を損なうことなく、明示的な幾何学的エンコーディングを可能にする、加算、乗算、およびアグノスティックなバリエーションの提案。
• 自動構造発見: 学習可能なブランチの重みが、特定のタスクに対して幾何学的事前知識が有益であるかどうかを特定できることを実証し、効果的な構造選択を実現。

実験結果
滑らかなベンチマークおよび矩形サポートを含む不連続問題に対して数値実験を行った。

• 滑らかなベンチマーク: 標準的なKANベンチマーク（例：$f(x,y) = \exp(\sin(\pi x) + y^2)$ および $f(x,y)=xy$）において、提案手法はKANのスパースな構造への枝刈りおよび正確な記号式の復元能力を再現することに成功し、ベースラインの妥当性を検証した。
• 不連続／幾何学的ベンチマーク:
  • 矩形加算不連続: ターゲット加算型GRS-KANは、標準的なKANと比較して、テストRMSEを67%、境界バンドRMSEを**61%**削減した。明示的な幾何学的エンコーディングにより、モデルは不連続を鋭く局在化できたが、標準的なKANは滑らかで不正確な遷移を生じさせた。
  • マスクされた積: 矩形内でのみ定義される関数に対して、ターゲット乗算型GRS-KANは、テストRMSEを58%、境界RMSEを**50%**削減した。
  • アグノスティック性能: アグノスティック・バリアントは、特定のタスク（例：制約のない$xy$に対して幾何学ブランチを抑制し、マスクされた$xy$に対して乗算の重みを優先する）において、正しい構造を特定することに成功した。必ずしも特化型のターゲット・バリアントを上回るわけではないが、関数の形式に関する事前知識を必要とせずに競争力のある精度を達成した。

意義と主張
本論文は、GRS-KANが、近似メカニズム（例：基底関数やアテンション）の変更に主眼を置く既存のKANのバリエーションとは異なる方向性を示すものであると主張している。代わりに、GRS-KANは明示的な解析的幾何学をネットワークアーキテクチャに直接組み込んでいる。

主な意義は、以下の点にある：

1. 精度の向上: 既知の幾何学的制約を明示的にエンコードすることで、不連続性や制限されたドメインを持つ問題における予測精度と境界の局在化を大幅に向上させる。
2. 解釈性の向上: モデルは学習された幾何学的構造の明示的な解析的表現を提供し、ブラックボックス的な近似を超えて、幾何学が滑らかな背景とどのように相互作用するかを明らかにする。
3. 事前選択の自動化: アグノスティック・バリアントは、ニューラルネットワークが幾何学的事前知識が必要かどうかを自動的に判断できることを示しており、関数の役割としての幾何学的制約が未知である科学的問題に対する堅牢なソリューションを提供する。

著者らは、実験で使用されているのは単純な矩形や円であるが、本フレームワークは非凸領域やブール結合の制約を含む任意の暗黙的領域に理論的に適用可能であり、エンジニアリング設計空間やプロセス制御への応用への道を開くものであると述べている。