Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

技术摘要：KAN 预测中的时序功能电路

问题陈述
长期时间序列预测（LTSF）近期出现简单线性模型在标准基准测试中超越 Transformer 等复杂架构的现象，引发了对增加模型复杂度的必要性的质疑。虽然 Kolmogorov-Arnold 网络（KANs）因其“内在可解释”的可学习边函数（通常为 B 样条）而成为多层感知机（MLPs）的有前景的替代方案，但现有应用往往依赖可视化这些函数作为可解释性的证据。本文认为，可视化潜在样条形状并不等同于提供忠实且基于时序的解释。具体而言，KAN 边函数 $\phi_e(z)$ 本身并不能揭示哪些输入时间步激活了它、模型是否实际利用了该边，或者移除它是否会改变预测结果。此外，先前的研究表明，没有任何单一的预测核心（线性、KAN 或注意力机制）能在所有数据集上普遍占优，因此需要一种框架来确定 KAN 在何时有益以及为何有益。

方法论
本文提出了时序功能电路（Temporal Functional Circuits），这是一个旨在通过架构设计与基于干预的验证相结合，将 KAN 边函数从潜在可视化转化为忠实解释的框架。

1. 门控残差 KAN 架构：
   作者提出了一种定义为 $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ 的预测架构。

   • 分解： 使用移动平均滤波器将输入信号分解为趋势和残差分量。
   • 分支： 线性分支（$f_{lin}$）处理线性模式，而 KAN 分支（$f_{KAN}$）捕捉非线性残差。
   • 门控： 一个 $L_1$ 正则化的门 $g(x) \in [0, 1]^C$ 控制每个通道中 KAN 分支的贡献。这使得模型能够学习何时抑制 KAN 校正（退化为线性），并提供一个可测量的 KAN 利用率指标（$U_{KAN}$）。
   • KAN 结构： KAN 分支在边上使用 B 样条，定义为 $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$。

2. 时序功能电路（TFC）：
   对于每个 KAN 边 $e$，该框架构建一个解释元组 $E_e = (\phi_e, A_e, I_e, \Delta_e)$：

   • $\phi_e$： 学习到的单变量函数。
   • $A_e$（滞后归因）： 一种输出感知的归因方法，通过计算补丁嵌入及下游层的梯度并将边映射到特定的输入滞后，同时考虑门的状态。
   • $I_e$（重要性）： 基于边对预测预期贡献的排序指标，结合边输出幅度和下游灵敏度。本文还利用 B 样条网格的激活范围（$R_e$）作为与数据无关的重要性代理。
   • $\Delta_e$（干预效应）： 对边进行干预时预测损失的变化。干预包括将边置零、用其均值替换，或移除样条（保留基础 SiLU 项，移除学习到的 B 样条分量）。

3. 忠实性验证：
   该框架通过以下方式验证解释：

   • 边删除曲线： 逐步移除排名靠前的边（按 $R_e$ 排序）并测量均方误差（MSE）的退化。忠实的排序应显示 $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$。
   • 合成机制恢复： 在复杂度递增的合成机制（线性、多频率、阈值自回归、机制切换）上测试模型，观察门控利用率是否与信号复杂度相关。
   • 干预测试： 具体测试学习到的样条形状本身是否具有预测价值，通过比较完全置零与仅移除样条的效果。

关键结果

• 性能： 在八个基准测试（包括 Weather、ETT、Solar 和 PPG）中，门控 KAN 与线性、注意力和 MLP 替代方案具有竞争力。它在 4/8 个数据集上实现了最佳或并列最佳的 MSE。值得注意的是，在机制切换信号上，门控 KAN 的 MSE 比纯线性模型低59%。
• 门控利用率： 门控利用率指标（$U_{KAN}$）与信号复杂度相关。在合成实验中，$U_{KAN}$ 从线性（0.49）到机制切换（0.72）信号单调递增。在真实数据上，$U_{KAN}$ 在主要为线性的数据集（如 ETTh1）上较低，而在复杂数据集（如 Solar）上较高。
• 解释的忠实性：
  • 删除曲线： 移除排名靠前的边（按激活范围 $R_e$ 排序）导致的性能下降始终大于随机移除或移除排名靠后的边。在 Weather 数据集上，移除前 50 条边使 MSE 增加了 $2.20 \times 10^{-4}$，而随机移除的影响微乎其微。
  • 样条价值： 仅移除 B 样条分量（保留基础 SiLU）会导致预测退化，在 Weather 数据集上占完全置零效果的41%。这提供了证据，表明学习到的样条形状本身除了基础激活外还承载着预测价值。
  • 滞后恢复： 在具有已知因果滞后的合成信号上，提出的边到滞后归因（$A_e$）以 0.44 的 AUPRC 恢复了真实滞后（是随机水平的 6 倍），识别出负责滞后依赖的具体 KAN 边。
• 与 MLP 的比较： 虽然门控 MLP 可以达到与门控 KAN 相当的精度，但它无法提供时序功能电路分析所需的显式、可检查的边函数。

意义与主张
本文主张，KAN 的可解释性不仅需要可视化样条图，更需要时序 grounding和经干预测试的忠实性。

• 机制洞察： 该框架证明 KAN 可以分解为功能电路，其中特定的边与特定的输入滞后相关联，并通过移除进行验证。
• 诊断效用： 门控架构提供了一个可测量的诊断指标（$U_{KAN}$），指示何时需要非线性校正，解释了为什么 KAN 在某些数据集（复杂、机制切换）上有帮助，而在其他数据集（主要为线性）上则不然。
• 样条的价值： 这项工作提供了实证证据，表明学习到的 B 样条形状不仅仅是拟合伪影，而是预测的功能性组成部分，因为移除它会显著影响性能。
• 适度范围： 作者承认，他们的干预建立了模型内部效应，而非关于数据生成过程的因果主张。他们还指出，虽然门控 KAN 具有竞争力，但并非普遍达到最先进水平，该框架是迈向理解 KAN 在预测中何时以及如何做出贡献的一步，而非宣称普遍优越性。