技術要約：制約付きKolmogorov–Arnoldネットワークを用いた積分微分方程式におけるメモリおよび非局所カーネルのニューラル探索

1. 問題設定

本論文は、疎でノイズを含む時空間観測データから、積分微分方程式（IDE）を支配する未知のメモリまたは非局所カーネルを特定するという、不良設定（ill-posed）の逆問題に対処している。IDEは、記憶効果（例：粘弾性緩和、異常拡散）や空間的な非局所性（例：ペリダイナミクス、非局所反応拡散）を持つ物理システムをモデル化しており、そこでは状態が履歴の進化や、畳み込みカーネル $K$ を介した遠方の空間的相互作用に依存する。

既存の特定手法には、以下のような重大な限界がある：

• 古典的なアプローチは、問題固有の解析的導出、特殊な観測要件（例：境界フラックスの測定）、または問題の良設定性を保証するための制限的な仮定に依存している。
• 現在の科学機械学習（SciML）手法は、多くの場合、カーネルをニューラルネットワークのパラメータ内に暗黙的に表現しており、閉形式の解釈可能性に欠ける。また、勾配計算のために、ケース固有の随伴変数（adjoint）の導出を必要とすることが多い。さらに、多くの手法は、不良設定の状況下で安定したカーネル回復に不可欠な物理的制約（正値性、単調性、凸性）を強制することに苦慮している。

目標は、問題固有の解析的な反転公式を必要とせずに、観測データから物理的な形状制約を厳格に遵守しながら、カーネルの関数形式を直接回収できる、柔軟でデータ駆動型のフレームワークを開発することである。

2. 手法

著者らは、学習可能なニューラルカーネル表現をIDEの数値ソルバー内に組み込んだ、微分可能なソルバーベースのフレームワークを提案している。このフレームワークは「離散化してから最適化する（discretize-then-optimize）」戦略に従い、自動微分を通じてソルバーを介して勾配を計算することで、ケース固有の随伴方程式を回避している。

2.1. ニューラルカーネルのパラメータ化

未知のカーネル $K(\tau)$ （ここで $\tau$ は時間および/または空間的なラグを表す）は、Kolmogorov–Arnold Networks (KANs) を用いてパラメータ化される。2つの特定のアーキテクチャが比較されている：

1. ソフト制約付きチェビシェフKAN (Cheb-KAN):

   • エッジ関数としてチェビシェフ多項式基底を使用する。
   • 物理的特性（正値性、単調減少、凸性）は、損失関数に加えられるソフトなペナルティ項によって推奨される。
   • 損失関数は、データとの不一致度と、負の値、正の一次微分、および負の二次微分に対するペナルティを組み合わせたものである。

2. ハード制約付き単調・凸KAN (MC-KAN):

   • エッジ関数としてベルンシュタイン多項式基底を使用する。
   • 物理的特性は、多項式の係数に対する制約を通じて、構成によって強制される。
   • メカニズム: ベルンシュタイン係数が特定の順序および凸条件（例：単調減少のために $c_0 \ge c_1 \ge \dots \ge c_N$）を満たすように制約することで、結果として得られる関数は、領域 $[0, 1]$ 内で正、単調減少、および凸であることが保証される。
   • このアーキテクチャは特定の層の順序を採用している。第1層は減少・凸なエッジ関数を使用し、後続の層は増加・凸なエッジ関数を使用する。この構成により、学習された係数に関わらず、最終的なカーネルが要求される物理的制約を満たすことが保証される。

2.2. 学習と回収

• 学習: ニューラルカーネルは、前方ソルバー（積分に対して求積法またはFFTを使用）内に埋め込まれる。パラメータは、予測値と観測された時空間データの不一致を最小化するように最適化される。
• 記号回帰（Symbolic Regression）: 学習後、学習されたニューラルカーネルがサンプリングされ、解釈可能な閉形式の数学的表現（例：指数関数やべき乗則の形式）を抽出するために、**記号回帰（PySR経由）**が適用される。

3. 主な貢献

1. 微分可能ソルバーフレームワーク: ニューラル表現を数値ソルバーに直接統合することで、ケース固有の随伴導出を不要にする、カーネル発見のための汎用的なフレームワーク。
2. ハード制約付きKANアーキテクチャ: ソフトなペナルティに頼るのではなく、構成によって物理的な形状制約（正値性、単調性、凸性）を保証する、ベルンシュタイン多項式を用いたMC-KANの導入。
3. 比較分析: データスパース性、ノイズ、および次元性の変化に伴う、ハード制約付き（MC-KAN）とソフト制約付き（Cheb-KAN）のアプローチの体系的な評価。
4. 解釈可能性: 学習されたニューラルカーネルを、閉形式の構成則（例：指数関数やべき乗則）に変換するための、記号回帰の成功した統合。

4. 実験結果

本フレームワークは、3つのベンチマーク問題で検証された：

実験 I: 1D フォルテラ型IDE（時間的メモリ）

• タスク: ノイズを含む時系列データから指数型メモリカーネルを回収する。
• 結果: 両方の手法が指数形式を特定することに成功した。しかし、MC-KANは、すべてのノイズレベルにおいてCheb-KANよりも一貫して低いカーネル再構成誤差を達成した。
• 観察: 両手法とも、記号回帰を通じて正しい解析的形式（$K(\tau) = e^{-r\tau}$）を回収したが、ソフト制約付きのCheb-KANよりも、ハード制約付きのMC-KANの方が、特に高いノイズレベルにおいて、より正確な数値近似を提供した。

実験 II: 1D 粘弾性波PIDE（時間的メモリ）

• タスク: 粘弾性棒の振動の、疎な時間スナップショットから、伸長指数関数（KWW）カーネルを回収する。
• 結果: 両方の手法は、データの疎さ（フルグリッドの1%まで）に対して堅牢であった。MC-KANは、すべてのスパース性レベルにおいて、Cheb-KANよりも約40%低いカーネル再構成誤差を達成した。
• 観察: MC-KANの再構成は厳密に正、単調、かつ凸であったのに対し、Cheb-KANはわずかな振動アーティファクトを示した。両手法とも、記号回帰を通じて真のKWWパラメータ（$\tau_0, \beta$）を正常に回収した。

実験 III: 2D 非局所反応拡散方程式（空間的非局所性）

• タスク: 疎でノイズを含むデータから、複雑で異方性を持つ2D空間相互作用カーネルを回収する。
• 結果:
  • ノイズのない場合、Cheb-KANがわずかに優れた性能を示した。
  • ノイズ条件下（$\sigma \ge 0.02$）では、MC-KANがCheb-KANを大幅に上回った。 $\sigma = 0.15$ において、MC-KANはCheb-KANと比較してカーネル誤差をほぼ半分に減少させた。
  • 堅牢性: MC-KANのハード制約は、データが疎でノイズが多い場合にCheb-KANの再構成に現れた非物理的な振動を防いだ。
  • 正規化: 原点付近に解像度を集中させるべき乗則による入力正規化は、急峻な勾配を持つカーネルに対してMC-KANの性能をさらに向上させた。
• 記号的回帰: 2Dの結合形式を直接回収することは困難であったが、記号回帰は、分離可能な1Dのスライスと、対数空間における結合構造（積の形式）を特定することに成功した。

5. 重要性と主張

本論文は、物理的に動機付けられた形状制約を構成によって強制すること（MC-KANによる）は、ソフトペナルティを用いるよりも、多次元のカーネル発見において高い堅牢性を提供すると主張している。

• 堅牢性: ハード制約の主な利点は、必ずしも単純な逆問題における性能の向上ではなく、観測データの質が低下した場合でも、物理的に一貫した正確な表現を維持できる能力にある。
• 汎用性: 本フレームワークは標準的な時間積分器および空間離散化と互換性があり、カスタムの随伴導出を必要とせずに、広範なクラスのIDEに適用可能である。
• 限界: 著者らは、現在のMC-KANが正、単調、および凸のカーネルに限定されていること（振動または符号変化するカーネルは除外される）を認めている。また、完全に結合された多次元カーネルの記号回帰は依然として困難であり、多くの場合、分離可能な成分を段階的に回収する必要がある。

要約すると、本研究は、微分可能なソルバーと、構造的に制約されたニューラルネットワーク（具体的にはベルンシュタイン基底を用いたKAN）を組み合わせることが、非局所的およびメモリ依存的なシステムの逆問題を解くための、強力で解釈可能かつ堅牢なアプローチとなることを示している。