Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

技術的サマリー：KAN 予測における時間的機能回路

問題定義
長期時系列予測（LTSF）において、最近では単純な線形モデルが、標準的なベンチマークにおいて Transformer などの複雑なアーキテクチャを上回る性能を示しており、モデルの複雑さの追加の必要性に疑問が投げかけられています。Kolmogorov-Arnold ネットワーク（KAN）は、その「本質的に解釈可能」な学習可能なエッジ関数（通常は B スプライン）により、多層パーセプトロン（MLP）に対する有望な代替手段として登場しましたが、既存の応用では、これらの関数を可視化することが解釈可能性の証拠として依拠されることが多いです。本論文は、潜在スプライン形状を可視化することが、忠実で時間的に根拠のある説明を提供することとイコールではないと主張します。具体的には、KAN のエッジ関数 $\phi_e(z)$ は、どの入力時間ステップがそれを活性化させたか、モデルが実際にそのエッジを利用したか、あるいはそれを除去すると予測が変化するかを本質的に明らかにするものではありません。さらに、先行研究では、単一の予測コア（線形、KAN、またはアテンション）がすべてのデータセットで普遍的に優位であるわけではないことが示唆されており、いつKAN が有益で、なぜ有益なのかを決定するための枠組みが必要とされています。

手法
本論文は、**時間的機能回路（Temporal Functional Circuits）**を導入します。これは、アーキテクチャ設計と介入ベースの検証を組み合わせることで、KAN のエッジ関数を潜在的な可視化から忠実な説明へと変換する枠組みです。

1. ゲート付き残差 KAN アーキテクチャ:
   著者は、$\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ と定義される予測アーキテクチャを提案します。

   • 分解: 入力信号は、移動平均フィルタを用いてトレンド成分と残差成分に分解されます。
   • ブランチ: 線形ブランチ（$f_{lin}$）は線形パターンを処理し、KAN ブランチ（$f_{KAN}$）は非線形残差を捕捉します。
   • ゲーティング: $L_1$ 正則化されたゲート $g(x) \in [0, 1]^C$ が、チャネルごとに KAN ブランチの寄与を制御します。これにより、モデルは KAN 補正を抑制して線形モデルに戻るタイミングを学習でき、KAN の利用度（$U_{KAN}$）という測定可能な指標を提供します。
   • KAN 構造: KAN ブランチはエッジ上で B スプラインを使用し、$\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$ と定義されます。

2. 時間的機能回路（TFC）:
   各 KAN エッジ $e$ に対して、枠組みは説明タプル $E_e = (\phi_e, A_e, I_e, \Delta_e)$ を構築します。

   • $\phi_e$: 学習された単変数関数。
   • $A_e$（ラグ帰属）: 出力を考慮した帰属手法であり、パッチ埋め込みと下流層を通じた勾配を計算することで、エッジを特定の入力ラグにマッピングし、ゲートの状態を考慮します。
   • $I_e$（重要度）: エッジの予測への期待寄与に基づいたランキング指標であり、エッジ出力の大きさと下流の感度を組み合わせたものです。本論文ではまた、B スプライングリッドの活性化範囲（$R_e$）を、データに依存しない重要度の代理指標としても利用します。
   • $\Delta_e$（介入効果）: エッジに介入した際の予測損失の変化です。介入には、エッジをゼロにする、その平均に置き換える、またはスプライン除去（学習された B スプライン成分を除去しつつ、基本 SiLU 項を保持する）が含まれます。

3. 忠実性の検証:
   枠組みは以下の方法で説明を検証します。

   • エッジ削除曲線: 上位ランクのエッジ（$R_e$ による）を順次除去し、MSE の劣化を測定します。忠実なランキングは、$\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$ を示すべきです。
   • 合成メカニズムの回復: 複雑さが増す合成領域（線形、多周波数、閾値 AR、レジームスイッチング）でモデルをテストし、ゲート利用度が信号の複雑さと相関するかを確認します。
   • 介入テスト: 完全なゼロ化とスプライン除去を比較することで、学習されたスプライン形状自体が予測価値を持つかを特にテストします。

主要な結果

• 性能: Weather、ETT、Solar、PPG を含む 8 つのベンチマーク全体において、ゲート付き KAN は線形、アテンション、MLP の代替手段と競争力があります。4/8 のデータセットで最良、または同率最良の MSE を達成しました。特に、レジームスイッチング信号において、ゲート付き KAN は線形のみモデルよりも59% 低い MSEを達成しました。
• ゲート利用度: ゲート利用度指標（$U_{KAN}$）は信号の複雑さと相関します。合成実験では、$U_{KAN}$ は線形（0.49）からレジームスイッチング（0.72）信号へと単調に増加します。実データでは、$U_{KAN}$ は主に線形なデータセット（例：ETTh1）では低く、複雑なデータセット（例：Solar）では高くなります。
• 説明の忠実性:
  • 削除曲線: 上位ランクのエッジ（活性化範囲 $R_e$ による）を除去すると、ランダムまたは下位ランクの除去よりも一貫して性能が劣化します。Weather データセットでは、上位 50 のエッジを除去すると MSE が $2.20 \times 10^{-4}$ 増加しましたが、ランダム除去はほとんど影響を与えませんでした。
  • スプラインの価値: B スプライン成分のみを除去（基本 SiLU を保持）すると予測が劣化し、Weather データセットでは完全なゼロ化効果の最大**41%**を占めました。これは、学習されたスプライン形状自体が、基本活性化を超えて予測価値を持つことを示す証拠です。
  • ラグの回復: 既知の因果ラグを持つ合成信号において、提案されたエッジからラグへの帰属（$A_e$）は、真のラグを AUPRC 0.44（ランダム比 6 倍）で回復し、ラグ依存性を担う特定の KAN エッジを特定しました。
• MLP との比較: ゲート付き MLP はゲート付き KAN と同等の精度を達成できますが、時間的機能回路分析に必要な明示的で検査可能なエッジ関数は提供できません。

意義と主張
本論文は、KAN の解釈可能性には単なるスプラインプロットの可視化だけでなく、時間的根拠と介入テストされた忠実性が必要であると主張します。

• メカニズム的洞察: この枠組みは、KAN が特定の入力ラグに特定のエッジがリンクされ、除去を通じて検証される機能回路に分解できることを示しています。
• 診断的有用性: ゲート付きアーキテクチャは、非線形補正が必要となる時期を示す測定可能な診断（$U_{KAN}$）を提供し、KAN がなぜ複雑でレジームスイッチングするデータセットでは役立つが、主に線形なデータセットでは役立たないのかを説明します。
• スプラインの価値: この研究は、学習された B スプライン形状が単なる適合のアーティファクトではなく、予測の機能的な構成要素であることを示す実証的証拠を提供します。なぜなら、それを除去すると性能が大幅に影響を受けるからです。
• 限定的な範囲: 著者は、彼らの介入がデータ生成プロセスに関する因果的な主張ではなく、モデル内部の効果を確立するものであることを認めています。また、ゲート付き KAN は競争力があるものの、普遍的に最先端ではないこと、そしてこの枠組みは KAN が予測にいつ、どのように貢献するかを理解するための一歩であり、普遍的優位性を主張するものではないことにも言及しています。