Empirical Stability Analysis of Kolmogorov-Arnold Networks in Hard-Constrained Recurrent Physics-Informed Discovery

本文实证研究了将 Kolmogorov-Arnold 网络（KAN）集成到硬约束循环物理信息架构中，发现尽管 KAN 在处理单变量多项式残差时具有一定竞争力，但其在深层配置中表现出严重的超参数脆弱性和不稳定性，且在处理乘法项（如范德波尔系统）时表现不如标准 MLP，揭示了原始 KAN 公式中加法归纳偏置在状态耦合方面的局限性。

要点

这篇论文就像是一次**“新工具测试报告”。研究人员试图把一种名为KAN（柯尔莫哥洛夫 - 阿诺德网络）**的新型人工智能模型，安装到一种专门用来学习物理规律的“硬核”系统中，看看它能不能比传统的旧工具（MLP）更聪明、更准确地发现未知的物理公式。

为了让你轻松理解，我们可以把这项研究想象成**“寻找丢失的拼图”**。

1. 背景：我们在找什么？

想象你有一台复杂的机器（比如一个摆动的钟摆），你知道它大部分是怎么动的（比如重力、摩擦力），但有一部分动力来源是未知的（比如某种神秘的阻力）。

• HRPINN（旧系统）：就像一个经验丰富的老工匠。他手里拿着已知的物理规则（比如牛顿定律），只负责修补那个“未知的部分”。他的工作是把这块“拼图”补上，让机器跑得更准。
• KAN（新工具）：最近很火的一种新式智能绘图笔。它的理论是：任何复杂的图形都可以拆解成许多简单的“单线条”画出来的。研究者希望用它来画那块“未知的拼图”，因为它理论上更容易发现简单的数学规律（比如 $x^3$）。

2. 实验：两个不同的“谜题”

研究者选了两种不同的机器来测试这个新工具：

• 谜题 A：杜芬振子（Duffing）

  • 特点：这个谜题的未知部分很简单，就像是一个单人的独舞。它的规律只跟一个变量有关（比如 $x^3$）。
  • 结果：KAN 表现不错！它像是一个擅长画单线条的画家，很快就把这个简单的形状画出来了，甚至比老工匠（MLP）画得更像。

• 谜题 B：范德波尔振子（Van der Pol）

  • 特点：这个谜题的未知部分很复杂，像是双人舞。它需要两个变量互相配合（比如 $(1-x^2)v$，速度和位置要相乘）。
  • 结果：KAN 彻底崩溃了。无论怎么调整参数，它都画不出那个复杂的“双人舞”形状。它要么画成一条直线，要么画得乱七八糟，甚至完全失效。而老工匠（MLP）虽然笨一点，但能稳稳地画出这个复杂的互动关系。

3. 核心发现：为什么新工具会“翻车”？

这就好比**“积木”和“乐高”的区别**：

• KAN 的弱点（加法思维）：
  KAN 的设计初衷是把复杂的图拆解成很多独立的单线条（加法思维：$f(x) + g(y)$）。

  • 在“单人舞”（杜芬）中，这很完美。
  • 但在“双人舞”（范德波尔）中，你需要的是乘法（$x$ 和 $y$ 互相影响）。虽然理论上 KAN 可以通过把很多层积木叠起来（深层网络）来模拟乘法，但在实际训练中，这种层层叠加就像是在走钢丝。只要有一层稍微歪一点，在反复循环（递归）的过程中，误差就会像滚雪球一样越来越大，导致整个系统崩塌。

• MLP 的优势（乘法思维）：
  传统的 MLP 就像是一个全能工具箱。它在一开始就把所有变量混合在一起（矩阵乘法），直接处理“双人舞”的互动。虽然它画不出那么完美的“单线条”公式，但它非常稳定，不会轻易崩溃。

4. 结论：新工具还没准备好“独挑大梁”

这篇论文告诉我们：

1. KAN 很聪明，但很脆弱：在处理简单的、独立的物理规律时，它很有潜力，甚至能发现漂亮的数学公式。
2. 但在复杂互动面前，它还不行：当物理规律需要变量之间“互相打架”或“紧密合作”（乘法耦合）时，目前的 KAN 在反复循环的系统中太不稳定了，容易“走火入魔”。
3. 未来的方向：虽然现在的 KAN 在“硬约束”的循环系统中表现不佳，但这并不意味着它没希望。未来的研究可能需要给 KAN 加上“稳定器”（比如混合架构或特殊的训练方法），让它既能保持发现公式的才华，又能像老工匠一样稳如泰山。

一句话总结：
研究人员发现，这种新式的“智能绘图笔”（KAN）在画简单的直线时很惊艳，但一旦要画复杂的曲线互动，它就容易手抖崩溃；而传统的“老工匠”（MLP）虽然不够灵活，但在处理复杂互动时反而更靠谱。这项研究给未来的物理 AI 发展敲了一记警钟：在追求“可解释性”之前，先要保证“稳定性”。

技术摘要

这是一份关于《硬约束循环物理信息发现中 Kolmogorov-Arnold 网络的实证稳定性分析》（Empirical Stability Analysis of Kolmogorov-Arnold Networks in Hard-Constrained Recurrent Physics-Informed Discovery）的技术总结。

该论文由巴西圣卡塔琳娜联邦大学的 Enzo Nicolás Spotorno 等人撰写，主要研究了将新兴的 Kolmogorov-Arnold 网络（KAN）集成到硬约束循环物理信息神经网络（HRPINN）架构中，用于发现振荡系统中的未知残差项，并评估其相对于传统多层感知机（MLP）的稳定性与有效性。

---

1. 研究背景与问题 (Problem)

• 核心架构：研究基于硬约束循环物理信息神经网络（HRPINN）。该架构将已知的物理结构和积分器固定在循环更新规则中，强制网络仅学习未知的残差动力学（Residual Dynamics）。这种设计从结构上保证了物理一致性。
• 研究动机：
  • 传统的 MLP 在科学机器学习中表现良好，但缺乏可解释性。
  • Kolmogorov-Arnold 网络（KAN）基于 Kolmogorov-Arnold 表示定理，使用可学习的单变量 B 样条（B-splines）替代固定激活函数。其加性归纳偏置（Additive Inductive Bias）理论上非常适合表达物理定律（通常是非线性项的截断级数展开），并具备符号发现（Symbolic Discovery）的潜力。
• 核心假设：作者假设将 HRPINN 中的 MLP 残差分支替换为 KAN，能够更有效地恢复未知项（特别是物理贡献独立的项），并提高参数效率。
• 待解决问题：
  • KAN 在循环（Recurrent）设置下的训练稳定性如何？
  • KAN 能否处理变量耦合（Variable Coupling）项（如乘法相互作用），而不仅仅是可分离的单变量项？
  • 在硬约束积分循环中，误差积累是否会导致 KAN 优化失败？

2. 方法论 (Methodology)

• 实验框架：
  • 使用 HRPINN 框架，残差分支 $R_\theta(x, v)$ 接收归一化状态 $[x, v]$。
  • 对比模型：标准 ReLU MLP vs. B 样条 KAN。
  • 训练策略：单步教师强制（Single-step Teacher Forcing）和 时间反向传播（BPTT）。
• 测试对象（振荡器）：
  • Duffing 振荡器：残差为单变量多项式（$-0.3x^3$），代表加性可分离情况。
  • Van der Pol 振荡器：残差涉及乘法相互作用（$(1-x^2)v$），代表变量耦合情况。
  • 这两个系统被选用来测试 KAN 在“加性可分离”与“乘法耦合”边界上的表现。
• 评估指标：
  • Discovery $R^2$：在相空间（$x, v \in [-2.5, 2.5]$）的 $100 \times 100$ 密集网格上，计算网络预测残差与真实解析解的相关性。
  • 候选拟合（Candidate Fitting）：为了公平比较，对 KAN 和 MLP 均使用统一的候选函数拟合方法，独立于符号提取机制，直接评估曲面恢复的准确性。
• 实验设计：
  • 进行了 3 项互补研究，每项包含 100 个随机种子（Seeds）：
    1. 配置消融：改变网格大小（Grid Size）和稀疏度，评估超参数稳定性。
    2. 参数尺度消融（教师强制）：比较不同参数规模下的效率。
    3. 参数尺度消融（BPTT）：考察循环展开对训练的影响。

3. 关键结果 (Key Results)

A. 超参数稳定性与配置敏感性

• Duffing（单变量）：某些粗网格配置的 KAN 表现优异，甚至在部分情况下优于 MLP。
• Van der Pol（乘法耦合）：大多数 KAN 配置表现出极高的方差或完全失败。许多配置产生负的 $R^2$ 值（表明解发散）。
• 对比：MLP 在标准设置下表现出鲁棒性，而 KAN 表现出严重的超参数脆弱性（Hyperparameter Fragility）。

B. 参数效率与规模扩展

• Duffing：极小的 KAN（约 120 参数）在单变量残差恢复上与同等大小的 MLP 竞争，甚至偶尔优于更大的 MLP。这支持了 KAN 在处理可分离项时的假设。
• Van der Pol：
  • 随着 KAN 变宽或变深，性能崩溃（Collapse），$R^2$ 降至接近零或负值。
  • MLP 则随参数增加平滑扩展，始终获得更高精度。
• BPTT 的影响：全循环训练（BPTT）在一定程度上缓解了浅层 KAN 的问题（最小 KAN 在 BPTT 下 Van der Pol $R^2 \approx 0.74$），但深层 KAN 仍然灾难性地不稳定。

C. 定性分析（残差曲面）

• Duffing：中位数 KAN 能准确重现立方体形状（$x^3$），发现系数为 $-0.234x^3$（真值 $-0.3x^3$），局部相关性优于 MLP。
• Van der Pol：K AN 难以解析乘法结构，往往退化为近似线性形式，无法捕捉预期的抛物线调制。

4. 主要贡献与结论 (Contributions & Conclusion)

1. 验证了假设的局限性：

   • KAN 在可分离的单变量残差（如 Duffing）中确实高效且参数友好。
   • 但在乘法耦合项（如 Van der Pol）中，原始 KAN formulation 存在严重缺陷。

2. 揭示了根本瓶颈：

   • 问题不在于 KAN 的表达能力（理论上可以通过深层组合表达乘法，如 $xy = \frac{1}{4}((x+y)^2 - (x-y)^2)$）。
   • 核心瓶颈是优化稳定性。在硬约束的循环积分回路中，快速累积的误差导致深层 KAN 的组合优化极不稳定。
   • MLP 通过第一层的稠密矩阵乘法（$w_i x + w_j v$）天然地强制变量交互，而原始 KAN 具有强烈的加性归纳偏置（$\phi(x) + \phi(v)$），使其难以在循环设置中学习到复杂的耦合关系。

3. 对未来的启示：

   • 原始 KAN 在循环物理信息架构中的直接应用受到优化不稳定的限制，而非表达能力不足。
   • 未来的方向应转向混合架构（Hybrid Formulations）或算子链（Operator Chaining，例如先单独表示 $1-x^2$ 再与速度交互），以改善乘法稳定性。
   • 尽管存在挑战，KAN 独特的样条剪枝（Spline Pruning）能力仍为直接符号恢复提供了 MLP 不具备的潜力，但需在解决优化稳定性后才能充分发挥。

5. 意义 (Significance)

• 实证基准：本文为在硬约束循环架构中使用原始 KAN 建立了严格的基准，揭示了其在处理变量耦合时的脆弱性。
• 理论修正：挑战了"KAN 天然适合所有物理发现”的乐观观点，指出在循环系统中，优化动力学（Optimization Dynamics）比归纳偏置本身更为关键。
• 指导后续研究：为未来的混合建模（Hybrid Modeling）指明了方向，即需要结合 KAN 的可解释性与 MLP 的交互稳定性，或开发专门针对振荡动力学的 KAN 变体（如 SKANODEs 等），以推动从 ODE 到 PDE 的扩展应用。

总结：该论文通过严谨的实证分析表明，虽然 KAN 在处理简单多项式残差时具有潜力，但在处理复杂的变量耦合及循环误差积累时，其原始形式表现出不稳定性，目前不如 MLP 可靠。未来的突破点在于改进优化策略或设计混合架构，而非单纯依赖原始 KAN 结构。