🤖 machine learning

Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

本文提出并从理论上验证了利用径向基函数构建的分层柯尔莫哥洛夫-阿诺德网络架构（RBF-KAN 和 RBF-SKAN），旨在有效逼近高维确定性函数与随机场，并证明了其在 Wasserstein-2 度量下缓解维度灾难并实现收敛的能力。

原作者： Mingtao Xia, Qijing Shen

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingtao Xia, Qijing Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机理解这个世界。有时，世界是一个可预测的机器（就像时钟），而有时它是一个混沌的风暴（就像天气）。这篇论文介绍了两种新的“大脑架构”，旨在比以往的方法更好地学习这些模式。

以下是利用简单类比对这项发明的拆解：

1. 问题所在：“维度陷阱”

想象你正在尝试描述一个形状。

如果它是一条线（1D），很容易。
如果它是一个立方体（3D），就变难了。
如果它是一个拥有 100 个维度的超立方体，那简直是一场噩梦。

在数学和人工智能领域，这被称为**“维度之咒”**（Curse of Dimensionality）。随着你增加变量（维度）的数量，理解该形状所需的数据量会呈爆炸式增长，标准的 AI 模型会变得混乱并失效。它们试图一次性记住整个巨大的拼图，结果被压垮了。

2. 解决方案：针对“可预测事物”的“分层 RBF-KAN”

作者构建了一种新型神经网络，称为分层 RBF-KAN。

类比： 把标准 AI 想象成一名总承包商，他试图通过同时观察每一块砖、每一扇窗户和每一片屋顶瓦片来建造整栋房子。这既混乱又缓慢。
新方法： 分层 RBF-KAN 就像是一个由专业分包商组成的团队，他们在严格的层级结构下工作。
- 第一步： 一个团队只负责处理 x 轴（左右）。
- 第二步： 另一个团队只负责处理 y 轴（上下）。
- 第三步： 一个“经理”层将这些简单的、一维的故事组合成一张复杂的 3D 图画。

为什么这有效：
与其试图一次性解决一个 100 维的谜题，该网络将其分解为 100 个微小的、容易处理的一维谜题。然后，它将这些答案缝合在一起。

论文的观点： 在数学上证明了，与旧方法相比，这种方法在处理高维数据方面表现得更好。它本质上是通过简化问题来“作弊”，从而规避了维度之咒。
核心秘诀： 他们还加入了“ResNet”技术（其作用类似于摩天大楼中的电梯，允许信息在需要时跳过某些楼层），使学习过程更快、更稳定。

3. 第二种解决方案：针对“混沌事物”的“分层 RBF-SKAN”

有时，世界不仅仅是一个形状，它是一个随机场。想象你在预测风向。它不仅仅是一个数字，而是一团可能性的云。你需要预测的不只是风在哪里，还有它出现在那里的概率。

类比： 之前的方法（如 CVAE 或 CNF）就像是通过观察单张快照来猜测天气。它们通常能猜对“平均值”，但在预测“变率”（即风暴）方面会失败。
新方法： RBF-SKAN 是一个概率模拟器。它不只是学习一条路径，而是学习整个“可能性云”。
- 它使用了与第一个模型相同的“专业分包商”层级结构。
- 但它在网络内部增加了一层受控的随机性（类似于掷骰子）。这使得它能够生成许多符合现实世界混沌状态的不同可能结果。

为什么这有效：
论文声称，与目前的行业标准相比，该模型在捕捉数据“扩散度”（不确定性）方面表现更好。它学习的是随机性的“形状”，而不只是平均值。

4. 结果：他们发现了什么？

作者在三类挑战上测试了这些新大脑：

高维函数： 他们试图教 AI 一个复杂的、带有最多 6 个维度的扭曲数学函数。
- 结果： 新的 Hierarchical RBF-KAN 是绝对的赢家。当维度增加时，旧模型（如标准 RBF 网络或其他 KAN）无法学习该模式，而新模型保持了准确性。
混沌系统（洛伦兹系统）： 他们试图预测一个混沌天气系统（著名的“蝴蝶效应”）的路径。
- 结果： 该模型比测试过的任何其他网络都能更准确地预测路径和潜在的运动规则。
随机场（不确定性）： 他们尝试重建一个带有噪声的随机数据场。
- 结果： 这个全新的 RBF-SKAN 是唯一能够同时准确预测数据平均值以及变率（标准差）的模型。竞争对手（CVAE 和 CNF）虽然擅长预测平均值，但在预测混沌方面表现糟糕。

总结

这篇论文提出了一种构建 AI 大脑的新方法，使其能够：

将庞大、复杂的问题分解为细小的、简单的 1D 片段（解决了“维度之咒”）。
使用层级化的专业化层，而不是一个巨大且混乱的网络。
比目前的顶尖模型更好地处理可预测的数学和混沌的随机性。

作者得出结论，通过这样组织网络，我们可以以更高的准确性和更少的困惑来学习复杂的、高维的事物。

技术摘要：分层 RBF-KAN 与 RBF-SKAN 架构

问题陈述
本文旨在解决高维确定性函数逼近以及随机场模型学习中的挑战。虽然径向基函数神经网络（RBFNN）在通用逼近方面已具备成熟的理论基础并具有优越的优化特性，但现有的多层 RBF 架构在处理复杂的多元设置时，往往难以应对“维度灾难”。此外，最近的 Kolmogorov–Arnold 网络（KAN）架构虽然旨在重现 Kolmogorov–Arnold 表示定理，但主要侧重于基于样条函数的激活函数或均匀层结构。作者指出，目前在严格分析分层、非均匀 RBF 架构如何有效地学习高维函数和随机场方面存在研究空白，特别是在其缓解维度问题以及在 Wasserstein 度量下逼近随机场的能力方面。

方法论
作者提出了两种新型架构：

分层 RBF-KAN： 专为多维确定性函数逼近而设计。不同于使用均匀神经元数量全连接层的标准 RBFNN 或以往的 RBF-KAN 模型，该架构采用了“分层块（hierarchical block）”结构。每个块由两个不同的激活层组成，其中第一层后激活层的神经元数量是第二层的 $(2d+1)$ 倍，这明确模拟了 Kolmogorov–Arnold 表示定理的结构。激活函数采用高斯核 $B(x) = \exp(-x^2)$ 。该框架支持标准前馈传播以及 ResNet 式的跳跃连接（skip connections）。
分层 RBF-SKAN： 一种用于随机场学习的 RBF-KAN 随机扩展。该架构集成了两个 RBF-KAN 模块。第一个模块处理输入，第二个模块通过从独立分布中采样权重（ $w_{i,j}$ ）和 RBF 尺度参数来引入随机性。这使得网络能够输出一个分布而非单一的确定性值，从而实现随机场模型的学习。

理论贡献
本文为两种架构建立了严谨的通用逼近定理：

确定性逼近： 作者证明了分层 RBF-KAN 可以以任意精度逼近任何连续多元函数。至关重要的是，他们推导了定量误差界限，表明在特定的平滑条件下，收敛速率不会随着输入维度 $d$ 的增加而显式恶化。这表明该架构可以通过降低逼近问题的有效维度，在一定程度上缓解维度灾难。
随机逼近： 对于分层 RBF-SKAN，作者证明了在平方 Wasserstein-2 ( $W_2$ ) 度量下的渐近通用逼近结果。他们证明，只要底层概率测度相对于输入空间满足一致 Lipschitz 连续条件，该框架即可逼近随机场模型。

实验结果
作者通过三个主要的数值实验验证了其方法：

多维函数逼近： 在输入维度从 1 到 6 的高度振荡函数（等式 23）上对分层 RBF-KAN 进行了测试。结果表明，虽然标准的 RBF-MLP 和朴素的 RBF-KAN 无法在维度增加时保持精度，但所提出的分层 RBF-KAN 能够保持高精度。研究发现，引入 ResNet 技术对于多块配置下的训练稳定性和精度至关重要。
混沌动力系统重建： 该架构被用于重建 Lorenz 系统。与各种 MLP 和 KAN 变体相比，分层 RBF-KAN（采用两块结构及 ResNet）在预测轨迹和学习动力学方面均达到了最低的相对误差。
随机场学习： 将分层 RBF-SKAN 与条件正规化流（CNF）和条件变分自编码器（CVAE）进行对比，以重建多元随机场。所提方法在预测随机场的标准差方面表现出优越的性能，特别是在高维情况下，而 CVAE 和 CNF 方法在捕捉随机性方面表现出显著误差。

意义与主张
本文声称，所提出的分层设计对于忠实地重现 Kolmogorov–Arnold 表示结构至关重要，而这对于学习多元函数是必不可少的。主要主张包括：

分层 RBF-KAN 为部分缓解函数逼近中的维度灾难提供了一条理论路径，这一特性在现有的多层 RBF 或标准 KAN 架构中并未得到明确保证。
分层 RBF-SKAN 为随机场学习中的不确定性量化提供了一个稳健的框架，在捕捉分布特性（特别是标准差）方面优于主流的机器学习方法（如 CNF 和 CVAE）。
将 ResNet 技术集成到多块分层 RBF-KAN 中，显著增强了逼近精度和训练稳定性。

作者总结道，虽然由于分层结构和 $W_2$ 损失评估的原因，所提方法的计算成本高于标准 MLP，但它们在高维和随机学习任务中提供了更高的精度和表达能力。未来的工作建议探索更深层的块结构、将其集成到 Transformer 架构中，以及扩展到分类任务。

1. 问题所在：“维度陷阱”

2. 解决方案：针对“可预测事物”的“分层 RBF-KAN”

3. 第二种解决方案：针对“混沌事物”的“分层 RBF-SKAN”

4. 结果：他们发现了什么？

总结

技术摘要：分层 RBF-KAN 与 RBF-SKAN 架构

类似论文