🔢 mathematics

Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

本文提出了一种基于谢泼德（Shepard）型归一化机制的单位分解高斯柯尔莫哥洛夫-阿诺德网络（PU-GKAN），通过将高斯基函数转化为单位分解特征映射，有效提升了基于径向基函数（RBF）的 KAN 网络在训练稳定性、参数敏感度及复杂函数拟合方面的性能。

原作者： Amir Nooeizadegan

发布于 2026-04-28

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Amir Nooeizadegan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 PU-GKAN 的新技术。为了让你轻松理解，我们不需要去啃那些复杂的数学公式，我们可以把这个神经网络想象成一个**“超级调音师团队”**。

1. 背景：什么是 KAN？（从“固定乐器”到“会变魔术的乐器”）

传统的神经网络（比如 MLP）就像是一群只会弹固定音符的钢琴家。无论你给他们什么曲子，他们只能通过调整“力度”来模仿。

而最近很火的 KAN（Kolmogorov-Arnold Networks） 则完全不同。它不再是固定的钢琴家，而是一群**“变形金刚乐手”**。每一个连接（边）上都自带一个可以变形的乐器。如果你想表现高音，乐器就变尖；想表现低音，乐器就变圆。这种灵活性让它在处理科学问题（比如物理公式）时非常厉害。

2. 问题：高斯基函数遇到了“调音危机”

在 KAN 的世界里，大家发现用一种叫**“高斯函数”**（也就是那种像小山丘一样的平滑曲线）作为乐器非常好用。

但问题来了：这些“小山丘”有一个非常敏感的参数，叫 $\epsilon$ （尺度参数）。

如果 $\epsilon$ 太小： 乐器变得像“针”一样尖，只能弹极小的点，稍微偏一点就没声音了，音乐变得断断续续（这叫过拟合或局部化太严重）。
如果 $\epsilon$ 太大： 乐器变得像“大平原”一样平，所有的音符听起来都一样，完全失去了细节（这叫欠拟合或数值不稳定）。

这就好比你调音时，要么声音尖锐得刺耳，要么平淡得像白开水，很难找到那个完美的平衡点。

3. 核心创新：PU-GKAN（“分而治之”的调音大法）

作者提出了一种叫 “单位分解”（Partition-of-Unity） 的方法，听起来很高大上，其实原理非常像我们生活中的**“光影调节”**。

想象一下这个场景：
你手里有几盏手电筒（高斯函数），你想照亮一个房间。

以前的方法（普通 GKAN）： 你直接把手电筒照过去。如果两盏灯重叠了，那个地方就会特别亮；如果灯离得远，中间就会黑漆漆的一片。这导致光照非常不均匀，很难控制。
作者的新方法（PU-GKAN）： 他在每个地方都加了一个**“自动亮度调节器”。这个调节器的逻辑是：“不管有多少盏灯照过来，我都要保证所有灯光加起来的总亮度永远等于 1。”**

这样一来：

光照均匀了： 无论灯怎么重叠，房间里的亮度始终是平稳的，不会忽明忽暗。
不再怕“调音难”： 因为有了这个自动调节器，即使你把手电筒的范围（ $\epsilon$ ）调得稍微有点大或有点小，整体的亮度分布依然是稳定的。

4. 实验结果：它到底有多强？

作者做了很多测试，结果非常惊人：

更聪明、更准： 在处理各种复杂的数学函数时，PU-GKAN 的误差比老方法小得多。
更稳健： 即使你没能精准地找到那个完美的“调音参数”，PU-GKAN 也能表现得很出色，不像老方法那样“一调就崩”。
能搞定硬核物理： 在模拟物理世界的“波动方程”和“亥姆霍兹方程”（这些是研究声波、电磁波的核心方程）时，它表现出了极强的稳定性。

总结一下

如果把传统的神经网络比作**“死板的搬运工”，把普通的 Gaussian KAN 比作“虽然灵活但脾气古怪的艺术家”，那么这篇文章提出的 PU-GKAN 就是一个“既有艺术天赋，又自带自动平衡系统的专业大师”**。

它通过一种简单的数学手段（让所有基函数之和等于 1），解决了高斯函数“要么太尖、要么太平”的顽疾，让 AI 在模拟科学世界时变得既精准又稳健。

这是一篇关于改进 Kolmogorov-Arnold Networks (KANs) 架构的学术论文。以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

传统的 Kolmogorov-Arnold Networks (KANs) 使用 B-样条（B-splines）作为边上的可学习激活函数。虽然近年来出现了基于高斯径向基函数（RBF）的 Gaussian KAN (GKAN)，旨在提高计算效率和光滑性，但 GKAN 继承了经典 RBF 方法的一个核心缺陷：对尺度参数 $\epsilon$ （shape parameter）的高度敏感性。

具体表现为：

尺度过小：基函数过于局部化，导致模型难以捕捉全局特征。
尺度过大：基函数趋于平坦，导致特征矩阵出现病态（ill-conditioned），数值稳定性变差。
分布不均：在深层网络中，中间层的输入分布可能偏离高斯中心区域，导致基函数利用率低下。

2. 研究方法 (Methodology)

作者提出了一种名为 PU-GKAN (Partition-of-Unity Gaussian KAN) 的新架构。其核心思想是引入 Shepard 型归一化（Shepard-type normalization）。

核心技术实现：

单位分解归一化 (Partition-of-Unity Normalization)：
在每一条边（edge）上，不再直接使用原始的高斯基函数 $\phi_g(t)$ ，而是将其除以局部所有高斯基函数的总和 $S_\epsilon(t)$ ：
$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$
这样处理后，所有基函数在任意点 $t$ 的和恒等于 1，从而构成了一个“单位分解”（Partition of Unity）。
有限特征与核函数视角 (Finite-Feature & Kernel Viewpoint)：
作者从数学上证明了 PU-GKAN 仍然保持了 KAN 的加性核结构，并推导出了其诱导的归一化有限维核函数。这使得分析模型的秩（rank）、条件数（conditioning）和近似质量变得更加明确。
尺度选择准则 (Scale Selection Rule)：
基于第一层特征矩阵的条件数分析，作者提出了一个实用的 $\epsilon$ 选择区间：
$\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$
其中下界由相邻中心点的重叠程度决定，上界由保守的数值稳定性阈值决定。

3. 主要贡献 (Key Contributions)

提出新架构：引入了 PU-GKAN，这是一种在不改变 KAN 标准边结构的前提下，通过基函数层面的归一化实现稳定化的方法。
数学理论支撑：不同于纯经验性的改进，该方法具有坚实的数学基础（Shepard 近似、单位分解理论和条件数分析），并证明了其具有精确常数重构能力（Exact constant reproduction）。
鲁棒性提升：通过归一化，有效地调节了网络内部坐标的分布，减少了极端值的出现，使基函数的使用更加均衡。
通用性验证：证明了该归一化方法不仅适用于高斯基函数，也适用于 Matérn 等其他径向基函数。

4. 实验结果 (Results)

作者通过多维度的数值实验验证了 PU-GKAN 的优越性：

函数逼近 (Function Approximation)：在多种光滑及中度非光滑目标函数（如 $F_1 \sim F_6$ ）上，PU-GKAN 的验证误差（RMSE）显著低于标准 GKAN，改进幅度通常在 30% 到 70% 以上。
参数敏感性：PU-GKAN 对尺度参数 $\epsilon$ 的敏感度大幅降低，其低误差区域比 GKAN 更宽。
高维扩展性：在 1D 到 4D 的高维测试中，PU-GKAN 持续表现出更低的误差和更好的稳定性。
物理信息学习 (Physics-Informed Learning)：在求解 Helmholtz 方程和波动方程 (Wave Equation) 等偏微分方程（PDE）时，PU-GKAN 在收敛速度和最终精度上均优于 GKAN。
例外情况：对于极度不连续的目标函数（如 $F_7$ ），由于光滑基函数的本质限制，改进效果相对有限。

5. 研究意义 (Significance)

这项工作为基于 RBF 的 KAN 架构提供了一种简单且高效的稳定化机制。它解决了高斯基函数在深度学习框架下常见的数值不稳定性问题，同时没有增加额外的计算负担或改变网络的基本拓扑结构。这对于科学机器学习（Scientific ML）和物理信息神经网络（PINNs）领域中需要高精度、高稳定性模型的需求具有重要的应用价值。