💻 computer science

Scaling of Gaussian Kolmogorov--Arnold Networks

本文系统研究了高斯 KAN 中尺度参数 $\epsilon$ 的作用，指出其选择主要由第一层决定，并提出了一个基于高斯中心数量 $G$ 的实用稳定区间 $[\frac{1}{G-1},\frac{2}{G-1}]$ ，将其确立为高斯 KAN 的关键设计原则而非随意超参数。

原作者： Amir Noorizadegan, Sifan Wang

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amir Noorizadegan, Sifan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个关于**高斯 Kolmogorov-Arnold 网络（Gaussian KANs）**的核心问题：如何给这个神经网络“调音”？

为了让你更容易理解，我们可以把构建这个神经网络想象成组建一支交响乐团，而论文的核心发现就是关于如何给乐器定调（Scale Parameter $\epsilon$ ）。

1. 背景：什么是 Gaussian KAN？

传统的神经网络（MLP）像是在用固定的积木搭房子，每一层的积木形状是死板的。而 KAN 网络则像是一个更灵活的工匠，它把“积木”换成了可以学习的“曲线”。

在高斯 KAN中，这些“曲线”是高斯函数（也就是那种中间高、两边低，像小土包一样的钟形曲线）。

$\epsilon$ （尺度参数）是什么？ 想象一下，这些“小土包”的宽度。
- 如果 $\epsilon$ 很小，土包就很窄、很尖（像针一样）。
- 如果 $\epsilon$ 很大，土包就很宽、很平（像大馒头）。

问题在于： 以前大家不知道这个“宽度”该设多少。设得太窄，土包之间互不干扰，但连不成一片；设得太宽，土包全糊在一起，分不清谁是谁。这就像给乐团定调，定得太高或太低，音乐都会很难听。

2. 核心发现：第一层是“命门”

论文做了一个非常有趣的实验：他们发现，决定整个网络好坏的关键，完全在于“第一层”（也就是直接接收输入数据的那一层）。

比喻： 想象你在第一层给每个人发了一张“身份卡”（特征）。
- 如果第一层的“土包”太宽（ $\epsilon$ 太大），所有人的身份卡都变得一模一样（大家都变成了模糊的一团），后面的层就算有再大的本事，也分不清谁是谁了。这就叫“特征坍塌”。
- 如果第一层的“土包”太窄（ $\epsilon$ 太小），虽然分得清，但每个人只有一点点信息，后面的层也学不到东西。

结论： 只要第一层的“土包”宽度选对了，后面的层随便怎么搭，网络都能工作得很好。所以，我们只需要关注第一层的宽度，不用管后面那些复杂的层。

3. 解决方案：一个简单好用的“黄金区间”

既然知道了第一层最重要，那宽度到底该设多少呢？论文通过大量的数学推导和实验，发现了一个**“黄金法则”**，只跟一个数字有关：土包的数量（ $G$ ）。

假设你在一条线上均匀地放了 $G$ 个“土包”中心：

太窄的下限： 土包之间的间距是 $\frac{1}{G-1}$ 。如果宽度比这个还小，土包就太尖了，互不接触。
太宽的上限： 如果宽度超过 $\frac{2}{G-1}$ ，土包就太宽了，开始糊成一团，导致计算不稳定（就像琴弦太松，一拨就断）。

论文给出的“黄金食谱”是：

把宽度 $\epsilon$ 设定在 $\frac{1}{G-1}$ 到 $\frac{2}{G-1}$ 之间。

举个例子：
如果你在第一层放了 20 个土包（ $G=20$ ）：

间距大约是 $1/19 \approx 0.05$ 。
那么，你的最佳宽度 $\epsilon$ 就应该在 0.05 到 0.10 之间。

这就好比给乐团定调，你不需要去听每一个乐器的声音，只需要根据乐队的规模（土包数量），把音准定在这个范围内，整个乐团就能自动奏出美妙的音乐。

4. 这个发现有什么用？

这篇论文把以前需要“凭运气”或“瞎试”的超参数选择，变成了一条简单的工程规则：

不再盲目试错： 以前你可能要试几百个不同的宽度值，现在你只需要在 $\frac{1}{G-1}$ 到 $\frac{2}{G-1}$ 这个范围内找，大大节省了时间。
训练更稳定： 在这个范围内，网络不容易“崩溃”（数学上叫条件数稳定），训练过程更顺畅。
甚至能预测： 论文发现，只要训练刚开始跑几百步，看看误差（MSE）在哪，就能知道哪个宽度最好，不需要等到训练结束。
通用性强： 无论是处理简单的数学函数，还是解决复杂的物理方程（如波动方程），这个规则都管用。

5. 总结

这就好比以前做蛋糕，大家不知道烤箱该开多少度，只能凭感觉乱试，经常烤焦或者烤不熟。

这篇论文告诉你：“别猜了！只要根据你蛋糕模具的大小（ $G$ ），把温度设定在 $1/(G-1)$ 到 $2/(G-1)$ 之间，你的蛋糕（神经网络）就一定能烤得完美。”

它证明了，高斯 KAN 网络并不是一个需要神秘魔法的黑盒，只要掌握了这个简单的“定调”原则，它就能变得既强大又稳定，甚至能和目前流行的其他网络（如切比雪夫 KAN）打得有来有回。

一句话总结： 给高斯 KAN 网络定宽度，看第一层，数土包个数，把宽度设在间距的 1 倍到 2 倍之间，这就够了！

高斯 Kolmogorov–Arnold 网络（Gaussian KANs）的尺度缩放研究：技术总结

1. 研究背景与问题 (Problem)

Kolmogorov–Arnold 网络（KANs）作为一种替代传统多层感知机（MLPs）的架构，通过在边缘上放置可学习的单变量函数来构建，近年来在科学计算和物理信息神经网络（PINNs）中引起了广泛关注。虽然原始 KAN 基于 B-样条基，但高斯径向基函数（RBF）因其平滑性、局部性和简单的解析形式，成为了一种极具吸引力的替代方案（如 FastKAN 等）。

然而，高斯尺度参数 $\epsilon$ 的选择在 KAN 的神经架构设置中仍是一个未解决的难题：

现状：在现有文献中， $\epsilon$ 通常通过启发式固定、试错法选择，或作为可训练参数但缺乏对其作用的深刻理解。
挑战：在经典高斯 RBF 插值中，尺度参数控制着近似能力与数值稳定性之间的平衡。选择不当会导致近似能力弱（ $\epsilon$ 过小）或严重的病态条件（ $\epsilon$ 过大，导致基函数重叠过多，矩阵奇异）。
核心问题：在深度边缘架构（Deep Edge-based Architecture）中， $\epsilon$ 如何影响网络行为？是否存在一个普适的、基于理论指导的实用选择区间，而非任意的超参数调整？

2. 方法论 (Methodology)

本文提出了一种基于第一层特征几何和**条件数（Conditioning）**的分析框架，将经典 RBF 的缩放理论转化为神经网络的实用设计原则。

2.1 核心理论：第一层瓶颈假设

第一层的主导性：作者指出，第一层是唯一直接作用于原始输入域的层。如果第一层因尺度选择不当导致输入点不可区分（特征坍缩），后续层无法恢复这种信息丢失。
数学形式化：
- 定义第一层特征矩阵 $\Phi \in \mathbb{R}^{N \times dG}$ ，其中 $N$ 是样本数， $d$ 是输入维度， $G$ 是高斯中心数量。
- 证明当 $\epsilon \to \infty$ 时，特征矩阵趋向于秩为 1 的极限，导致核矩阵坍缩。
- 提出第一层瓶颈命题：若两个输入在第一层特征映射后不可区分，则整个网络输出相同。因此，网络的数值行为主要由第一层特征矩阵的几何性质决定。

2.2 诊断指标与区间推导

条件数诊断：不再关注 Gram 矩阵 $\Phi^\top\Phi$ 的条件数（其平方放大了不稳定性），而是直接监控特征矩阵 $\Phi$ 的谱条件数 $\kappa(\Phi)$ 和最小奇异值 $\sigma_{\min}(\Phi)$ 。
实用区间推导：
- 下界：由中心间距决定， $\epsilon_{\min} = \frac{1}{G-1}$ 。低于此值，基函数过于局部化。
- 上界：通过数值实验寻找使 $\kappa(\Phi)$ 接近实用阈值（如 $3 \times 10^3$ ，适应 float32 精度）的 $\epsilon$ 值。
- 拟合简化：通过大量实验数据拟合，发现上界主要依赖于中心数量 $G$ ，而与样本数 $N$ 关系较弱。最终简化为实用规则：
  $\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$

2.3 实验验证

基准测试：在四个不同性质的目标函数（平滑多峰、周期振荡、尖锐峰值、不连续分段）上进行回归实验。
变量控制：系统性地改变样本密度 $N$ 、中心数量 $G$ 、网络深度/宽度、输入维度 $d$ 。
物理信息验证：在 Helmholtz 方程（PINN 设置）中验证该区间的有效性。
对比基准：使用匹配参数（每边系数数量相同）的切比雪夫（Chebyshev）KAN 作为精度参考。

3. 关键贡献 (Key Contributions)

确立了第一层的主导地位：从理论和实验上证明，高斯 KAN 的尺度选择主要由第一层决定。第一层的条件数比深层更能准确反映全网的误差行为。
提出了实用的尺度选择区间：推导并验证了区间 $\epsilon \in [\frac{1}{G-1}, \frac{2}{G-1}]$ 。该规则简单、无需试错，且在不同任务、维度和架构下均表现稳健。
重新定义了稳定性与精度的权衡：指出该区间不仅是数值稳定的安全区，也是近似精度最高的区域（误差呈 U 型分布，最低点位于该区间内）。
扩展了应用策略：
- 可变尺度：展示了在共享中心下使用可变尺度（每个中心不同 $\epsilon_g$ ）能进一步提升精度。
- 基于训练 MSE 的搜索：证明在早期训练（如 500 轮）中，训练 MSE 即可有效定位最佳 $\epsilon$ ，无需等待收敛或验证集，降低了搜索成本。
- 共享尺度策略：实验表明，所有层使用相同的最佳 $\epsilon$ 与每层独立调整 $\epsilon$ 相比，精度差异不大，但共享尺度更简单高效。

4. 主要结果 (Results)

误差景观（Error Landscape）：验证误差随 $\epsilon$ $ϵ$ 的变化呈现明显的"U 型”曲线。
- $\epsilon$ 过小：基函数过于局部，近似能力不足。
- $\epsilon$ 过大：特征矩阵病态，导致数值不稳定和精度下降。
- 最佳区域：始终位于推导出的区间 $[\frac{1}{G-1}, \frac{2}{G-1}]$ 内。
与切比雪夫 KAN 的对比：在匹配每边可训练系数数量的情况下，正确缩放的 Gaussian KAN 在精度上可与标准的 Chebyshev KAN 媲美，甚至在某些情况下更优。
参数敏感性分析：
- $N$ (样本数)：增加 $N$ 降低整体误差水平，但不会显著改变最佳 $\epsilon$ 的位置。
- $G$ (中心数)：增加 $G$ 会向左移动最佳 $\epsilon$ 窗口（因为间距变小），并拓宽可用范围。
- 输入维度 $d$ ：增加维度不改变最佳 $\epsilon$ 的相对位置，因为第一层特征矩阵是由一维块拼接而成，尺度机制保持一致。
- 网络架构：增加深度或宽度主要扩大右侧（大 $\epsilon$ ）的可用范围，但不改变由第一层几何决定的左侧边界。
物理信息验证：在 Helmholtz 方程求解中，即使引入 PDE 残差和边界损失，最佳 $\epsilon$ 依然落在该区间内，证明了该规则的泛化能力。

5. 意义与结论 (Significance)

从“超参数”到“设计原则”：本文将高斯尺度参数 $\epsilon$ 从一个任意的超参数选择，转化为一个基于第一层几何和数值稳定性的可解释的设计原则。
解决 RBF 的“缩放依赖”问题：正如 Larsson 和 Schaback 所言，RBF 对缩放的强依赖是“特性”而非"Bug"。本文展示了如何通过理解并利用这种依赖性（通过第一层条件数控制），来实现稳定且高精度的训练。
降低使用门槛：提供的简单公式 $\epsilon \approx \frac{1}{G-1} \sim \frac{2}{G-1}$ 使得 Gaussian KAN 的部署更加标准化，减少了调参成本，特别适用于缺乏精确解的 PINN 场景（通过早期训练 MSE 搜索）。
未来方向：虽然本文聚焦于固定中心，但结果暗示了可变尺度（Variable Scales）和自适应中心重定位的潜力，为未来更复杂的 KAN 变体提供了理论基础。

总结：该论文通过深入分析第一层特征矩阵的几何性质，为 Gaussian KAN 提供了一个简单、稳健且理论支撑充分的尺度选择规则，显著提升了该类网络在科学计算和机器学习中的实用性和可靠性。