🔢 mathematics

KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery

本文提出了名为 KANDy 的零深度宽神经网络架构，通过结合 Kolmogorov-Arnold 网络与稀疏回归技术，实现了对混沌及复杂动力系统（包括离散/连续系统及偏微分方程）中可解释性控制方程的有效发现，并成功恢复了如 Hopf 纤维化等系统的拓扑结构。

原作者： Kevin Slote, Jeremie Fish, Erik Bollt

发布于 2026-03-26

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Kevin Slote, Jeremie Fish, Erik Bollt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 KANDy 的新工具，它的任务是充当“科学侦探”，专门用来从混乱的数据中找出自然界背后的数学规律（公式）。

想象一下，你面前有一团乱麻，或者一个疯狂旋转的陀螺，你想知道它为什么这么转，能不能用一句话（一个公式）概括它的规则。以前的方法要么太笨拙，要么太死板，而 KANDy 就像是一个拥有“透视眼”和“变形金刚”能力的超级侦探。

下面我用几个生活中的比喻来解释它的核心原理和成就：

1. 核心难题：混乱中的“失忆”

在自然界中，很多系统（比如天气、流体、甚至心脏跳动）都是混沌的。这意味着它们对初始条件极其敏感。

比喻：就像你在玩“传话游戏”，或者在拥挤的舞池里推搡。如果你稍微推错一点点，几分钟后，整个队伍的动作就完全变了。
问题：以前的 AI 模型（像普通的神经网络）就像是一个只会死记硬背的学生。它能记住前几秒的动作，但一旦时间拉长，它就开始“胡言乱语”，预测完全偏离了轨道。而且，它们通常只告诉你“大概是这样”，却给不出具体的数学公式（比如 $F=ma$ 这种）。

2. KANDy 的两大法宝

KANDy 结合了两种强大的技术，就像给侦探配了两件神器：

法宝一：KAN（可学习的“乐高积木”）

传统的神经网络像是一个黑盒子，里面有很多层，很难看懂它是怎么思考的。而 KAN（Kolmogorov-Arnold Network）不同，它把复杂的计算拆解成了一个个简单的、像乐高积木一样的小函数。

比喻：普通 AI 像是在用一块巨大的、不可分割的石头雕刻，很难知道哪一刀切出了什么。KANDy 则是用一堆形状各异的乐高积木（比如正弦波、多项式）去拼凑。因为它用的是“积木”，所以最后拼出来的东西，人类是可以看懂的，能直接读出公式。

法宝二：“升维”魔法（Lifting）

这是 KANDy 最聪明的地方。有些规律在原始数据里是看不见的，就像你只看一个人的背影，猜不出他在想什么。

比喻：假设你要描述一个在三维空间里打转的球。如果你只盯着它的影子（二维），它看起来像是在乱跳。但如果你把它“升维”到三维空间看，你会发现它其实是在走一个完美的圆。
KANDy 的做法：它不直接看原始数据，而是先给数据“加料”（比如把 $x$ 和 $y$ 乘起来变成 $xy$），把数据投射到一个更高维度的空间里。在这个新空间里，原本混乱的规律变得简单、线性了。这就好比把一团乱麻理顺，或者把折叠的地图展开。

3. 它解决了什么大麻烦？

以前的方法（叫“稀疏回归”）有一个死穴：它假设规律必须很简单，只能由很少的几个词组成（比如 $x + y$ ）。如果规律很复杂（比如 $x / (1+y)$ 这种分式，或者像 Ikeda 光腔模型那样复杂的三角函数），以前的方法就束手无策，因为它找不到合适的“词”来拼。

KANDy 的突破：
它不再死板地寻找“最少的词”，而是利用 KAN 的灵活性，自动学习出那些复杂的形状。

比喻：以前的侦探手里只有一把尺子，量不出弯曲的线。KANDy 手里有一把万能尺，既能量直线，也能量曲线，还能自动变形。

4. 它做到了什么惊人的事？

论文里展示了几个“硬骨头”案例：

洛伦兹系统（天气模型）：这是混沌理论的鼻祖。KANDy 不仅猜出了公式，而且预测的轨迹能维持很久，没有像其他模型那样迅速“跑偏”。
霍普纤维（Hopf Fibration）：这是一个非常抽象的数学拓扑结构，像是一个四维空间里的甜甜圈套圈。KANDy 竟然能从数据中“看”出这种高深的几何结构，并把它还原出来。这就像让 AI 从一堆乱线中识别出“莫比乌斯环”的形状。
激波（Burgers 方程）：在流体力学中，激波就像海浪突然拍在岸上形成的断崖。以前的 AI 看到这种“断裂”就晕了，但 KANDy 能精准地捕捉到这种突变，并写出正确的公式。
Ikeda 光腔模型：这是一个以前稀疏回归方法完全搞不定的复杂光学系统，KANDy 却完美地还原了它的公式。

5. 总结：为什么这很重要？

这就好比以前我们看天象，只能凭经验说“明天可能下雨”（黑盒预测）。
现在，KANDy 不仅能说“明天可能下雨”，还能直接写出**“因为气压是 X，温度是 Y，所以会下雨”**的完整物理公式。

它的核心价值在于：

可解释性：它给出的不是黑盒代码，而是人类能读懂的数学公式。
抗干扰：在数据混乱、甚至包含突变（激波）的情况下，它依然能稳住阵脚，找到规律。
通用性：无论是简单的摆动，还是复杂的流体湍流，它都能用同一套逻辑去破解。

简单来说，KANDy 就是给科学家装上了一副“透视眼镜”，让他们能从混乱的数据洪流中，直接捞出那些决定世界运行的底层数学法则。

论文技术总结：KANDy (Kolmogorov-Arnold Networks for Dynamics)

论文标题：KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery
作者：Kevin Slote, Jeremie Fish, Erik Bollt (Clarkson University)
核心主题：提出了一种名为 KANDy 的新型架构，用于从数据中发现混沌和复杂动力系统的控制方程。该方法结合了柯尔莫哥洛夫 - 阿诺德网络（KANs）的可解释性与稀疏回归（Sparse Regression）的方程发现能力，旨在解决传统方法在处理非稀疏、高维及拓扑复杂系统时的局限性。

1. 研究背景与问题 (Problem)

在应用动力学系统中，数据驱动的模型发现面临以下核心挑战：

混沌系统的预测失效：由于对初始条件的敏感依赖性（Lyapunov 指数），预测轨迹通常在几个 Lyapunov 时间后迅速发散，导致长期预测失去价值。
稀疏回归（如 SINDy）的局限性：
- 稀疏性假设失效：许多系统（如 Ikeda 映射、Holling 型生态模型、Kuramoto 模型）的控制方程包含无限级数展开或复杂的非线性项（如 $ax/(1+bx)$），无法用少量多项式项稀疏表示。
- 拓扑不变性：稀疏回归难以处理具有全局拓扑结构（如 Hopf 纤维化）或对称性的系统，局部学习无法捕捉全局几何结构。
深度神经网络的不可解释性：传统的深度神经网络（MLP）虽然能拟合数据，但难以提取出人类可读的控制方程（Symbolic Equations）。
深度 KAN 的不足：虽然 KAN 具有可解释性，但标准的深层 KAN 在处理双线性项（如 Lorenz 系统中的 $xy$）时存在代数障碍，且深层结构可能掩盖全局方程结构。

2. 方法论 (Methodology)

KANDy 提出了一种零深度（Zero-depth）、宽幅（Wide）的神经网络架构，结合了提升（Lifting）机制和柯尔莫哥洛夫 - 阿诺德表示定理（KAT）。

2.1 核心架构：零深度 KAN

设计：KANDy 没有隐藏层（深度为 0），本质上是一个带有可学习样条激活函数的广义回归模型。
输入：不仅包含原始状态变量，还包含**物理信息提升（Physics-informed Lifted）**特征。例如，对于 Lorenz 系统，输入库包含 $x, y, z$ 以及提升项 $xy, xz$ 等。
输出：直接预测状态变量的时间导数（ $\dot{x}, \dot{y}, \dot{z}$ ）或下一时刻状态。
优势：零深度结构避免了深层网络中函数组合导致的符号提取模糊问题，使得输出直接对应于控制方程的线性组合。

2.2 提升机制 (Lifting)

借鉴 Koopman 算子理论，将原始状态空间映射到一个更高维（甚至无限维）的线性化空间。
通过引入非线性提升函数 $\Phi(x)$ ，将复杂的非线性动力学转化为提升空间中的近似线性动力学。
这使得 KAN 能够用单变量样条函数的和来近似多变量函数，从而绕过传统 KAT 中内层函数“病态”（如 Cantor 集）的问题。

2.3 训练目标：混合损失函数

为了兼顾局部向量场精度和全局轨迹稳定性，KANDy 采用组合损失函数：
$\mathcal{L}(\theta) = \mathcal{L}_{deriv}(\theta) + \lambda_{roll} \mathcal{L}_{roll}(\theta)$

导数损失 ( $\mathcal{L}_{deriv}$ )：监督模型预测的导数与真实导数的一致性（局部准确性）。
** rollout 损失 ( $\mathcal{L}_{roll}$ )**：通过数值积分（如 Runge-Kutta）将预测导数积分回状态轨迹，并与真实轨迹对比。这强制模型在自回归（Autoregressive）模式下保持长期稳定性，防止误差累积导致的相位漂移。

2.4 符号方程提取

训练完成后，对 KAN 的每条边（Edge）上的样条激活函数进行贪婪符号拟合。
从预定义的符号库（多项式、三角函数等）中选择最佳拟合函数，并引入复杂度惩罚（Complexity Penalty）。
通过剪枝（Pruning）去除拟合度低或复杂度高的边，最终生成稀疏、可解释的控制方程。

3. 关键贡献 (Key Contributions)

KANDy 架构的提出：首次将零深度 KAN 与提升特征结合，专门用于动力学方程发现。证明了对于许多动力系统，深度并非必要，表达力（通过提升特征）才是关键。
突破稀疏性限制：成功处理了传统稀疏回归（SINDy）失效的系统，如 Ikeda 光学腔映射（包含三角函数和分母项）和 Holling Type II 捕食模型。
拓扑与对称性恢复：
- 在 Hopf 纤维化 实验中，KANDy 成功学习到了商空间映射，将 $S^3$ 上的轨道坍缩为 $S^2$ 上的点，恢复了非平凡拓扑结构，而标准深层 KAN 在此任务上失败。
- 证明了深度 KAN 在处理双线性项（如 $xy$）时存在代数障碍（Theorem 1 & 2），而 KANDy 通过提升特征解决了这一问题。
长期预测稳定性：通过 rollout 损失正则化，KANDy 在 Lorenz 系统中实现了长达 5 个 Lyapunov 时间 的相干滚动预测，显著优于仅依赖单步损失的方法。
PDE 方程发现：成功从数据中恢复了 Kuramoto-Sivashinsky (KS) 方程和 无粘 Burgers 方程 的控制方程，即使在存在激波（Shock）和间断的情况下，也能保持数值稳定性和方程结构的正确性。

4. 实验结果 (Results)

离散系统 (Henon & Ikeda)：
- Henon 映射：100% 精确恢复了控制方程参数。
- Ikeda 映射：成功恢复了包含三角函数和分母项的非稀疏方程，这是 SINDy 无法做到的。
连续系统 (Lorenz)：
- 恢复了 Lorenz 方程的主要结构（$xy, xz$ 项）。
- 参数估计误差较小（ $\rho$ 误差约 2.2%， $\beta$ 误差约 1.3%）。
- 在训练集外（Out-of-distribution）的初始条件下，轨迹仍能收敛到吸引子，并保持 5 个 Lyapunov 时间的相位一致性。
偏微分方程 (KS & Burgers)：
- KS 方程：恢复了非线性对流项 ( $u u_x$ )、二阶导数项 ( $u_{xx}$ ) 和四阶导数项 ( $u_{xxxx}$ )，尽管系数受无量纲化影响，但结构完全正确。
- 无粘 Burgers 方程：在激波形成区域，KANDy 的 NRMSE (0.049) 显著优于 OLS (0.150) 和 LASSO (0.150)，且能准确捕捉激波位置，无虚假振荡。
拓扑实验 (Hopf Fibration)：
- KANDy 的角误差为 $1.8 \times 10^{-5}$ ，而标准深层 KAN 的角误差为 1.02。KANDy 成功学习到了纤维丛的不变结构。

5. 意义与结论 (Significance)

范式转变：KANDy 将方程发现重新定义为在提升坐标系统中寻找结构简单的非线性映射，而非单纯依赖深度网络的层级组合。
可解释性与鲁棒性：提供了一种既能处理复杂、非稀疏动力学，又能输出人类可读符号方程的框架。
理论洞察：通过数学证明（Theorems 1-7）揭示了标准 KAN 在处理双线性项时的代数障碍，为设计更有效的科学机器学习架构提供了理论依据。
应用前景：该方法适用于从生物网络、流体动力学到气候模型等各种具有混沌、对称性和拓扑结构的复杂系统，为数据驱动的科学发现提供了强有力的工具。

总结：KANDy 通过“零深度 + 宽幅 + 提升特征”的设计，巧妙地平衡了模型表达能力、可解释性和长期预测稳定性，成功克服了稀疏回归在非线性项丰富系统中的瓶颈，是动力学系统发现领域的一项重要进展。