🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

本文提出了 Symbolic-KAN 架构，通过将离散符号结构嵌入可训练深度网络，在保持可扩展性的同时实现了从数据中直接学习并生成紧凑、可解释的解析表达式，从而有效解决了科学机器学习中可解释性与高效性之间的权衡难题。

原作者： Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Symbolic-KAN（符号柯尔莫哥洛夫 - 阿诺德网络）的新技术。为了让你轻松理解，我们可以把这项技术想象成是在教一台“超级电脑”如何像人类科学家一样既聪明又透明地学习。

1. 核心难题：黑盒 vs. 白盒

在科学和工程中，我们通常面临两个选择：

传统的深度学习（如普通神经网络）： 就像一个超级天才的黑盒。它看了一万张猫的照片，能准确认出猫，但你问它“为什么这是猫？”它答不上来，因为它内部是一团乱麻的数学公式。它很强大，但不可解释。
传统的符号回归（Symbolic Regression）： 就像一个拿着放大镜的侦探。它试图从数据中拼凑出简单的数学公式（比如 $F=ma$）。它很透明，人类能看懂，但计算起来非常慢，而且一旦数据太复杂，它就找不到规律了。

Symbolic-KAN 的目标就是：造出一个既能像黑盒那样快速处理海量数据，又能像侦探那样直接吐出人类能看懂的数学公式的“透明天才”。

2. 它是如何工作的？（三个关键步骤）

想象 Symbolic-KAN 是一个正在装修的“乐高工厂”。

第一步：准备材料库（符号库）

工厂里有一个巨大的材料架，上面摆满了各种各样的基础积木块（数学函数），比如：

直线积木（ $x$ ）
抛物线积木（ $x^2$ ）
波浪积木（ $\sin x$ ）
指数积木（ $e^x$ ）
等等...

第二步：模糊的混合训练（软选择）

刚开始训练时，工厂里的机器（神经网络）很混乱。它不知道哪个积木最好用，所以它把所有积木都混在一起，像打奶昔一样搅拌。

比如，它可能说：“这个输出大概是 30% 的 $x^2$ 加上 20% 的 $\sin x$ 再加上 50% 的 $x$ 。”
这时候，它虽然能算出结果，但公式太复杂，人类看不懂，就像一杯混合了所有口味的怪味奶昔。

第三步：门控与“硬化”（去伪存真）

这是 Symbolic-KAN 最神奇的地方。它引入了一个**“挑剔的监工”**（门控机制和正则化）。

监工的任务是不断逼迫机器做决定：“别搞混合了！你必须只选一个最合适的积木！”
随着训练进行，机器被迫把那些不重要的积木（比如多余的 $\sin x$ ）扔掉，只留下最核心的那个（比如 $x^2$ ）。
最终，原本浑浊的“奶昔”变成了纯净的单一积木。

结果：训练结束后，你不再得到一堆复杂的代码，而是得到了一行清晰的数学公式，比如 $y = 2x^2 + 3\sin(x)$ 。而且，这个公式是机器自己从数据里“悟”出来的，不是人类硬塞给它的。

3. 它有多厉害？（实际表现）

论文里做了三个实验，证明了它的实力：

猜谜游戏（数据回归）：
- 给机器看一堆散乱的点，让它猜背后的规律。
- 结果：机器不仅猜对了，还直接写出了 $y=x^2$ 这样的简单公式。它甚至能猜出像 $y = \sin(3x) / (1+x^2)$ 这样复杂的组合，并准确识别出里面用了正弦函数和洛伦兹函数。
预测摇摆（动力学系统）：
- 模拟一个像“范德波尔振荡器”这样的物理系统（一种会自己摇摆的电路）。
- 结果：机器不仅完美预测了未来的摇摆轨迹，还成功反推出了控制这个摇摆的物理参数（比如阻尼系数）。即使数据里有非整数次幂这种很难搞的数学项，它也能精准识别。
解开物理方程（物理信息学习）：
- 让机器去解复杂的物理方程（如反应 - 扩散方程、拉普拉斯方程）。
- 结果：相比传统的神经网络（PINN），Symbolic-KAN 算得更准，而且更稳定。当问题变得更复杂（比如空间范围变大）时，传统方法会失效，但 Symbolic-KAN 依然能保持高精度，并且它选出的数学积木（比如 $\sin$ 和 $\sinh$ ）完美对应了物理世界的真实结构。

4. 总结：为什么这很重要？

这就好比以前我们造汽车，引擎是黑盒，坏了只能换整个引擎；现在 Symbolic-KAN 让我们能直接看到引擎内部的每一个齿轮（数学公式），知道它是如何运转的。

对科学家来说：这意味着我们可以从数据中直接发现新的物理定律，而不仅仅是做一个预测工具。
对工程师来说：这意味着模型更可靠，因为我们可以检查它的逻辑，而不是盲目信任。
对大众来说：这意味着未来的 AI 不再是“黑箱”，而是可以像人类一样，用清晰的逻辑和公式来解释世界。

一句话总结：Symbolic-KAN 就像一位既拥有超级计算能力，又坚持用“人话”（数学公式）写报告的科学家，它让 AI 的学习过程变得透明、可解释，且极其精准。

1. 研究背景与问题 (Problem)

在科学机器学习（SciML）领域，存在一个长期的核心矛盾：可解释性与可扩展性之间的权衡。

传统符号回归（Symbolic Regression）：能够生成显式的解析表达式，具有高度的可解释性，但通常依赖组合搜索，计算成本高昂，且难以处理高维数据。
深度神经网络（如 MLP）：具有强大的数据拟合能力和可扩展性，但通常被视为“黑盒”，缺乏内在的可解释性，难以直接提取物理定律或控制方程。
现有 KAN（Kolmogorov-Arnold Networks）的局限性：虽然 KAN 通过可学习的单变量基函数（如 B 样条）比 MLP 更接近解析公式，但在深层网络中，由多个基函数组合而成的全局表达式往往变得冗长且难以阅读，无法直接提供紧凑的控制方程。此外，基于稀疏性的方法（如 SINDy）依赖于预定义的候选项库，无法自动发现库中不存在的新组合。

核心问题：如何设计一种神经网络架构，既能像深度学习那样高效地处理数据和高维问题，又能直接输出紧凑、人类可读的符号表达式，而无需事后拟合（post-hoc fitting）？

2. 方法论 (Methodology)

作者提出了 Symbolic-KAN，一种将离散符号结构直接嵌入到可训练深度网络中的新型架构。其核心思想是将多元函数表示为“学习到的单变量原语”与“学习到的标量投影”的组合。

2.1 网络架构设计

基于 KART 的重构：遵循 Kolmogorov-Arnold 表示定理，但进行了灵活修改。标准 KAN 对每个输入坐标使用固定的基函数，而 Symbolic-KAN 的每个单元学习一个标量投影（ $s_k = w^T h + b$ ），然后对该投影应用一个单变量映射。
可学习的原语库（Primitives Library）：每个边（edge）不再固定使用样条函数，而是从一个包含多种解析原语的库中选择（如 $\{0, 1, x, x^2, \sin x, \cos x, \tanh x, e^x, \log(1+|x|), \dots\}$ ）。
双重仿射变换：为了保持模块化和优化稳定性，架构保留了外部投影参数（ $w, b$ ）和内部原语参数（ $\gamma, \beta$ ）的分离。前者控制输入子空间的几何结构，后者控制原语局部的缩放和平移。

2.2 门控训练与离散选择 (Gated Training & Discrete Selection)

这是实现“符号化”的关键机制，通过分层门控将连续混合模型转化为严格符号架构：

原语选择门（Primitive-selection gates）：使用 Gumbel-Softmax 操作，配合温度参数 $\tau$ 的退火策略。训练初期 $\tau$ 较大，允许探索整个原语库；随着训练进行， $\tau$ 减小，分布逐渐尖锐化，最终迫使每个边选择唯一的一个原语（One-hot 选择）。
边选择掩码（Edge-selection masks）：每个单元接收多个标量投影候选，通过置信度评分和 Top-1 操作，最终只保留一条最相关的投影路径。
单元门（Unit gates）：通过软阈值控制隐藏单元的激活，剪枝掉不重要的单元，进一步稀疏化网络结构。
正则化：引入熵正则化（Entropy Regularization）和非极大值抑制（NMS）损失项，强制系数向 One-hot 分布收敛，并防止不同边选择相同的原语。

2.3 训练流程

两阶段训练：
- 阶段 I：优化松弛后的门控参数（ $\alpha, \eta, \zeta$ ）和温度参数 $\tau$ ，使网络在连续空间中探索并逐渐收敛到离散结构。
- 阶段 II：将门控“硬化”（Hardening）为离散选择（One-hot），移除被剪枝的单元，然后使用二阶优化器（如 L-BFGS）微调剩余的连续参数，以获得高精度的解析系数。
损失函数：结合数据拟合损失（或物理约束损失，如 PDE 残差）与符号正则化损失（熵、NMS、稀疏性惩罚）。

3. 主要贡献 (Key Contributions)

架构创新：提出了 Symbolic-KAN，首次将离散符号结构（原语选择、投影方向选择）直接嵌入到可微分的深度网络训练中，无需后处理。
自动发现机制：该框架不仅能拟合数据，还能作为可扩展的原语发现机制。它能自动识别最相关的解析组件，为稀疏方程学习（如 SINDy）提供高质量的候选库，解决了传统方法依赖预定义库的局限性。
紧凑的闭式表达：经过训练和硬化后，网络直接输出紧凑的闭式解析表达式（Closed-form expressions），无需额外的符号回归步骤。
广泛的适用性：验证了该方法在纯数据驱动回归、逆动力学系统识别以及物理信息神经网络（PINN）求解正/逆偏微分方程（PDE）任务中的有效性。

4. 实验结果 (Results)

论文在三个主要领域进行了验证：

4.1 数据驱动回归 (Data-driven Regression)

任务：从散乱数据中恢复 1D 非线性函数（如 $x^2$ 和复杂的三角/有理函数组合）。
结果：Symbolic-KAN 成功识别出正确的原语（如 $x, x^2, \sin, \cos$ ），并在硬化后剪枝掉冗余项，生成了与真实函数高度一致的紧凑表达式。相对误差极低（ $10^{-5}$ 量级），并表现出良好的外推能力。

4.2 动力学系统识别 (Dynamical Systems)

任务：基于 Van der Pol 振荡器（包含非整数幂次 $x^{2.15}$ 和非线性阻尼）的时间序列数据，反演系统参数和结构。
结果：
- 准确恢复了系统参数（ $a, \mu, c$ ），误差在 1% 以内。
- 识别出的符号原语（ $\sin, \cos, x$ ）与系统的振荡特性物理意义相符。
- 在长时程（ $T=50$ ）模拟中保持了轨迹的相位和振幅稳定性，证明了模型对非线性动力学的捕捉能力。

4.3 物理信息学习 (Physics-Informed Learning)

任务：求解反应 - 扩散方程（Reaction-Diffusion）和拉普拉斯方程（Laplace）的正向及逆问题。
结果：
- 精度提升：在扩展域（ $[-4, 4]$ ）上，Symbolic-KAN 的验证误差比 cPIKAN 降低了约 95%，比传统 PINN 降低了 99% 以上。
- 参数反演：在反应 - 扩散方程中，反应系数 $\kappa$ 的估计误差小于 0.3%，远优于基线模型。
- 结构发现：对于拉普拉斯方程（真解含 $\sin$ 和 $\sinh$ ），模型自动选择了 $\sin, \cos, \sinh, \cosh$ 等原语，证明了其能发现与物理定律一致的函数族结构。

5. 意义与影响 (Significance)

迈向可解释的科学机器学习：Symbolic-KAN 填补了纯数据驱动模型与纯符号回归之间的鸿沟，提供了一种既具备深度学习扩展性，又具备物理可解释性的统一框架。
机制性学习（Mechanistic Learning）：模型不再仅仅是拟合数据，而是能够“理解”并重构底层的解析结构。这对于发现未知的物理定律、简化复杂模型以及提高模型在分布外（OOD）数据的泛化能力具有重要意义。
未来方向：该工作为构建稳健、可解释的神经求解器和算子学习框架奠定了基础，特别是在控制方程结构未知的场景下，提供了一种从数据中自动提炼科学规律的新范式。

总结：Symbolic-KAN 通过引入可学习的离散符号门控机制，成功将神经网络的拟合能力转化为紧凑的符号表达式，解决了科学机器学习中“黑盒”与“白盒”难以兼得的问题，是迈向可解释、可扩展科学 AI 的重要一步。