📊 statistics

Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

本文介绍了自适应 RBF-KAN，这是一种新颖的框架，它通过整合多种径向基核函数（包括 Matérn 核和 Wendland 核）并采用留一交叉验证进行数据驱动的核形状参数初始化，从而增强了 Kolmogorov-Arnold 网络，相较于现有的基于 RBF 的方法，在各类函数类型上提升了模型性能。

原作者： Roberto Cavoretto, Alessandra De Rossi, Adeeba Haider, Amir Noorizadegan

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roberto Cavoretto, Alessandra De Rossi, Adeeba Haider, Amir Noorizadegan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人根据几个分散的点来绘制一幅画。机器人需要找出连接这些点的线条和曲线，以重现原始图像。这就是数学家所称的“函数近似”。

很长一段时间以来，实现这一目标的标准方法是使用MLP（多层感知机），它们就像一组僵硬的画家网格。它们拥有固定的画笔（激活函数），无法改变。如果画面需要锐利的角、平滑的曲线或波浪线，机器人就必须使用更多的画家和更多的画笔才能画对，这使得过程既缓慢又昂贵。

随后，一种名为KAN（柯尔莫哥洛夫 - 阿诺德网络）的新型机器人被发明出来。KAN 不再使用固定的画笔，而是赋予机器人“智能画笔”，这些画笔可以改变形状以适应它们正在绘制的画面的特定部分。这使得它们更加准确且更易于理解。然而，原始的 KAN 速度较慢，因为它们的“智能画笔”是复杂的数学形状（样条），计算耗时很长。

为了解决速度问题，研究人员创建了FastKAN。他们将复杂的样条替换为高斯径向基函数（RBFs）。可以将这些想象为平滑的钟形山丘。它们计算速度快，但有一个缺点：它们带有“固定宽度”。

问题：“一刀切”的帽子

想象你有一顶帽子（RBF），你必须戴着它来作画。

如果帽子太宽，它会模糊细节。你无法看清悬崖的锐利边缘或水面上微小的涟漪。
如果帽子太窄，它会过度聚焦于某一点，开始将噪声视为模式，导致画面杂乱无章、过度细节化。

在标准的 FastKAN 中，你必须在开始作画前选定一个帽子尺寸，且无法更改。如果你正在绘制平滑的天空，宽帽子很棒。但如果你正在绘制锯齿状的山脉或波浪起伏的海洋，同样的宽帽子就会毁掉画面。

解决方案：自适应 RBF-KAN

本文作者引入了一种名为自适应 RBF-KAN的新版本。他们通过两种巧妙的方法解决了“固定帽子”的问题：

1. “先试后买”测试（LOOCV）
在机器人开始作画之前，作者会对其进行快速测试。他们使用一种称为**留一法交叉验证（LOOCV）**的方法。

类比： 想象你有一套拼图。你拿出一块拼图，尝试根据其他拼图猜测它的样子，并查看你的猜测有多接近。你对每一块拼图都这样做。
结果： 这项测试告诉机器人，针对它即将绘制的特定画面，多大尺寸的“帽子”（形状参数）效果最好。这是一种数据驱动的猜测，让机器人有一个良好的开端，而不是随机猜测。

2. “变形”帽子
一旦机器人开始作画，它并不会就此止步。作者使帽子的尺寸变得自适应。

类比： 随着机器人作画，它意识到：“嘿，这座山的这部分需要更窄的帽子，但这片天空的这部分需要更宽的帽子。”
机制： 机器人学会在工作过程中调整帽子的宽度。它使用一种数学技巧（对数空间映射）来确保帽子永远不会缩小到零或变成负数（这会破坏数学逻辑），从而使其能够平滑演变以完美契合画面。

3. 新的帽子衣橱
原始的 FastKAN 只有一种类型的帽子：高斯（平滑的钟形曲线）。作者为衣橱添加了新类型：

Matérn 核：这些就像可以稍微粗糙或更尖锐的帽子，适合绘制具有突然跳跃或边缘的画面。
Wendland 核：这些就像会突然停止的帽子（紧支集），非常适合捕捉尖锐的峰值或波浪，而不会将它们模糊到背景中。

测试时的表现如何？

作者在四种不同类型的“画面”（数学函数）上测试了他们的新机器人：

平滑的山丘：标准的高斯帽子表现良好，但新方法找到了完美的尺寸，使其表现更佳。
锐利的阶梯（不连续性）：标准的高斯帽子模糊了边缘。新的Matérn帽子凭借其自适应尺寸，保持了边缘的 razor-sharp（极其锐利）。
波浪（振荡）：标准帽子太宽，完全平滑掉了波浪。新的Wendland帽子凭借其特定形状，完美地捕捉了波浪。
突然的尖峰（奇点）：标准帽子错过了峰值。新的Wendland帽子 zoomed in（聚焦）并精准命中。

结论

作者声称，通过结合智能的“预测试”来选择起始帽子尺寸，并允许帽子在作画过程中改变形状，他们的新自适应 RBF-KAN：

比原始、复杂的 KAN 更快。
比使用固定帽子的标准 FastKAN 更准确。
更灵活，因为它可以根据画面是平滑、锯齿状还是波浪状，在不同类型的“帽子”（核函数）之间切换。

简而言之，他们制造了一个机器人画家，它不仅仅使用固定的工具；它会先测量画布，挑选合适的工具，然后在创作过程中即时调整该工具，以创造出完美的图像。

技术摘要：自适应 RBF-KAN

问题陈述
Kolmogorov-Arnold 网络（KANs）通过在网络边缘放置可学习的单变量函数，而非在节点处使用固定激活函数，为多层感知机（MLPs）提供了一种替代方案。虽然原始 KAN 实现利用 B 样条基，但该方法在训练期间会产生巨大的计算成本。FastKAN 通过将样条替换为高斯径向基函数（RBFs）来解决这一问题，显著提高了效率。然而，标准 FastKAN 依赖于固定的核形状参数（ $h$ ）。该参数的选择至关重要：过小的值可能导致过拟合，而过大的值则会导致过度平滑。固定的参数限制了模型在不同函数类型（例如平滑曲面、不连续性、振荡模式和奇点）上的适应能力。此外，标准 FastKAN 公式仅限于高斯核，这可能限制了其在非平滑或高度局部化函数上的表示灵活性。

方法论
作者提出了一种自适应 RBF-KAN（也称为自适应 FastKAN），该模型在现有框架中引入了两项主要改进：

基于 LOOCV 的初始化：作者不使用固定或随机初始化的形状参数，而是利用留一交叉验证（LOOCV）来估计初始核尺度（ $h_{opt}$ ）。这是基于从输入数据构建的辅助一维 RBF 插值模型进行的。为了确保数值稳定性，在插值矩阵中添加了一个小正则化项（ $\lambda = 10^{-9}$ ）。最优的 $h$ 通过两阶段搜索（粗搜索和细搜索）找到，该搜索旨在最小化最大 LOOCV 误差。
自适应形状参数学习：为了使网络能够在训练期间细化核尺度，形状参数在 log 空间中被重新参数化（ $\theta = \ln(h)$ ）。这确保了 $h = e^\theta$ 保持严格为正，从而防止基于梯度的优化过程中出现数值不稳定（除以零或指数增长）。参数 $\theta$ 与样条系数一起通过反向传播进行更新。
扩展核族：该框架被扩展至超越高斯核，包含更广泛的径向基函数族。具体而言，作者首次将Matérn（M2, M4, M6）和Wendland（W2, W4, W6）核引入 KAN 架构。这些核提供了不同程度的平滑度和紧支集，使网络能够更好地适应具有不同结构特征的函数。

主要贡献

LOOCV 与深度 KAN 的首次整合：据作者所知，这是第一项将基于 LOOCV 的核尺度估计与深度 KAN 架构训练相结合的研究。
新颖的核整合：本文将 Matérn 和 Wendland 核引入 KAN 框架，超越了标准 FastKAN 仅使用高斯核的方法。
数据驱动的初始化策略：所提出的方法为核尺度提供了一种 principled（有原则的）、数据驱动的初始化方式，减少了对昂贵超参数搜索的依赖，同时允许在训练过程中进行进一步细化。
全面的基准测试：该研究在代表平滑、不连续、振荡和奇异行为的四种不同基准函数上，将所提出的方法与 MLPs、标准 KANs、EfficientKAN、Chebyshev KAN、KAF 以及标准 FastKAN 进行了评估。

结果
在单位正方形域 $[0, 1]^2$ 上的数值实验揭示了以下结果：

核选择至关重要：没有单一核适用于所有函数类型。
- 平滑函数（Franke）：高斯（GA）核表现最佳，这与其无限可微性一致。
- 不连续性：Matérn C2（M2）核显著优于 GA，以更低的误差和更少的模糊捕捉到了急剧的跳跃。
- 振荡模式：高斯核无法捕捉高频振荡，而 Wendland C2（W2）核则准确重建了该模式。
- 奇点：对于局部峰值，Wendland C6（W6）核相比 GA 基线将误差降低了约 52%。
适应性提升性能：自适应 RBF-KAN 始终优于具有固定形状参数的标准 FastKAN。例如，在振荡函数上，误差从 $4.54 \times 10^{-1}$ （固定 GA）降至 $6.24 \times 10^{-2}$ （自适应 W2）。
效率与准确性的权衡：虽然标准 KAN（基于样条）提供高精度，但其计算成本高昂（训练时间约 60 秒，而 RBF 变体约为 3-5 秒）。自适应 RBF-KAN 保持了 FastKAN 的计算效率，同时在所有测试案例中实现了具有竞争力或更优越的准确性。研究发现 MLPs 计算效率高，但在处理复杂模式时准确性不足，通常会过度平滑高频特征。

意义与主张
本文声称，将基于 LOOCV 的初始化与自适应核学习相结合，为改进基于 RBF 的 KAN 模型提供了一种实用且灵活的策略。作者强调，他们的工作代表了首次尝试将基于 LOOCV 的尺度估计与深度 KAN 训练联系起来。他们认为，所提出的方法解决了固定核选择和固定形状参数的局限性，使网络能够更好地调整其基表示以适应目标函数的具体结构特征（平滑性、不连续性、振荡或奇点）。研究结论指出，虽然不同的核在不同类别的函数中显示出各自的优势，但自适应框架提供了一种稳健的解决方案，它在 FastKAN 的计算效率与应对多样化近似挑战所需的准确性之间取得了平衡。未来的工作建议调查其在更高维问题、含噪真实世界数据集以及求解偏微分方程等科学计算任务中的应用。

问题：“一刀切”的帽子

解决方案：自适应 RBF-KAN

测试时的表现如何？

结论

技术摘要：自适应 RBF-KAN

类似论文