🤖 machine learning

Geometry-Aware R-Structured Kolmogorov-Arnold Networks

本文介绍了几何感知型 R-结构 Kolmogorov-Arnold 网络（GRS-KAN），这是一种将可微 R 函数集成到 KAN 中的混合架构，旨在通过解析地编码几何约束和逻辑运算，从而在显著提高涉及不连续性问题的预测精度和边界定位能力的同时，增强模型的可解释性。

原作者： Sergei Kucherenko, Nilay Shah

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sergei Kucherenko, Nilay Shah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人画画。

旧方法（标准神经网络）
通常，我们给机器人一张空白画布，并对它说：“看这 1,000 个正方形的例子，弄明白怎么画出一个来。”机器人通过进行数百万次微小的、平滑的调整来尝试猜测形状。这就像是通过轻轻揉搓一块粘土，试图从中雕刻出一个完美的正方形。它可能会接近目标，但边缘总是会有一点模糊，而且要让它理解“这是一个正方形”和“这不是一个正方形”需要耗费大量精力。

新方法（论文提出的解决方案：GRS-KAN）
论文作者提出了一种更聪明的方法来教机器人。他们说：“不要只是去猜测形状。我们会给你正方形的蓝图，你只需要学习如何把剩下的部分画出来。”

他们创造了一种新型的“大脑”（神经网络），叫做 GRS-KAN。把它想象成一个负责绘画的双人团队：

平滑画家（KAN 部分）： 这部分擅长学习平滑、流动的模式，比如云朵的曲线或落日的渐变。它像普通的机器人一样从数据中学习。
建筑师（R-Function 部分）： 这部分是一个严格的规则遵循者。它持有一份预先制定的、关于矩形或圆形的数学蓝图。它不靠猜测，它确切地知道边缘在哪里。

它们是如何协同工作的
魔力发生在两者结合的时候。

场景 A：“跳跃” 想象一张图片，背景是平滑的蓝天，但中间突然出现了一个鲜红的正方形。普通的机器人很难画出那个锐利的红色边缘；它会把它画得模糊。GRS-KAN 使用建筑师来瞬间画出那个完美的、锐利的红色正方形，而平滑画家则负责处理蓝天。结果是一幅拥有清晰边缘的完美图像。
场景 B：“遮罩” 想象一张图片，图像只存在于一个矩形内部，而其他地方完全是黑色的（空的）。建筑师就像一个模板，它会说：“只在框内绘画。”然后平滑画家会在框内填入正确的图案。

“智能开关”（不可知模型）
论文还引入了一个该团队的“智能开关”版本。有时，我们不知道一张图片是需要一个锐利的正方形，还是仅仅是一个平滑的曲线。

智能开关会观察问题并询问：“我们需要建筑师吗？”
如果答案是肯定的（比如遇到正方形），它会开启建筑师，让它承担重任。
如果答案是否定的（比如遇到平滑的云朵），它会关闭建筑师，让平滑画家独自完成一切。
通过这种方式，机器人不会浪费能量试图将一个正方形的形状强加给一个圆形的问题。

论文的研究发现
作者在涉及正方形和矩形的计算机问题上测试了这一点。

准确性： 与旧方法相比，新方法在寻找形状精确边缘方面表现得好得多。它将误差降低了高达 67%。
清晰度： 因为机器人使用了形状的数学蓝图，我们实际上可以看到并理解它是如何决定边缘位置的。它不再是一个“黑箱”；我们可以指向蓝图并说：“啊，这就是为什么它在那儿画了一条线。”
效率： 它学习这些形状时使用的“神经元”（脑细胞）比旧方法更少。

总结
这篇论文关于给予 AI 一个关于形状的“规则手册”。与其强迫 AI 去猜测墙壁或圆圈在哪里，不如直接把定义墙壁或圆圈的数学公式交给它。这使得 AI 在绘制锐利边缘时更快、更准确，并且更容易被人类理解。

技术摘要：几何感知 R-结构 Kolmogorov–Arnold 网络 (GRS-KAN)

问题陈述
尽管 Kolmogorov–Arnold 网络 (KANs) 通过将权重矩阵替换为可学习的一元函数，在科学计算领域展现出了显著的前景，但它们在处理显式几何约束方面仍然是一个“黑盒”。标准的 KAN 必须利用平滑样条基函数，从训练数据中隐式地推断复杂的几何结构（如可行域、布尔条件和不连续性）。这种隐式推断往往会导致在边界附近的精度欠佳，并且需要大量的参数量来逼近剧烈的过渡。相反，R-函数（由 V. L. Rvachev 开发）提供了一个严谨的解析框架，用于将逻辑运算和复杂几何形状表示为单一的可微方程，但这些函数尚未被集成到现代神经网络架构中以学习平滑的函数关系。

方法论
本文提出了一种几何感知 R-结构 Kolmogorov–Arnold 网络 (GRS-KAN)，这是一种将学习平滑非线性结构与编码已知几何约束解耦的混合架构。

核心集成： 该框架保留了标准的 KAN 分支，用于利用可学习的边函数（由平滑的 SiLU 基函数和 B-样条修正组成）学习数据的平滑函数行为。同时，它引入了一个 R-函数分支，利用可微的 R-合取 ( $\land$ ) 和 R-析取 ( $\lor$ ) 解析地编码已知的几何区域（例如矩形、圆形或复杂的布尔组合）。
可微几何： R-函数将逻辑条件（例如“在矩形内部”）映射为实值函数，其中符号决定了区域。这些函数通过逻辑 Sigmoid 函数 ( $\sigma(\kappa R(x))$ ) 进行平滑处理，从而创建出适用于基于梯度的反向传播的可微门控。
架构变体： 作者介绍了三种特定的配置：
- 目标加法 GRS-KAN (Targeted Additive GRS-KAN)： 模拟具有平滑背景加局部跳变的函数（ $f_{smooth} + c \cdot \text{gate}$ ）。
- 目标乘法 GRS-KAN (Targeted Multiplicative GRS-KAN)： 模拟仅在已知几何支撑范围内非零的函数（ $f_{smooth} \cdot \text{gate}$ ）。
- 不可知 GRS-KAN (Agnostic GRS-KAN)： 一种统一的架构，结合了基准 KAN、加法分支和乘法分支。它采用可学习的结构选择参数 ( $w_{KAN}, w_{add}, w_{mul}$ ) 来自动确定主导的交互机制（纯平滑、加法或乘法），具体取决于数据本身。

主要贡献

理论框架： 一种将 R-函数的解析表示（几何与逻辑约束）直接集成到可微 KAN 框架中的方法。
解析构造： 利用 R-函数构建几何指示器（如矩形）的显式闭式表达式，并配备了用于反向传播的解析梯度。
架构创新： 提出了加法、乘法和不可知变体，允许在不牺牲优化所需的可微性的前提下，进行显式的几何编码。
自动结构发现： 证明了可学习的结构权重可以识别特定的几何先验是否对给定任务有益，从而有效地实现结构选择。

实验结果
研究针对平滑基准测试和涉及矩形支撑的不连续问题进行了数值实验。

平滑基准测试： 在标准 KAN 基准测试（如 $f(x,y) = \exp(\sin(\pi x) + y^2)$ 和 $f(x,y)=xy$）上，作者的实现成功复现了 KAN 剪枝为稀疏结构并恢复精确符号表达式的能力，验证了基准模型的有效性。
不连续/几何基准测试：
- 矩形加法不连续性： 与标准 KAN 相比，目标加法 GRS-KAN 将测试 RMSE 降低了 67%，并将边界带 RMSE 降低了 61%。显式的几何编码使得模型能够精确定位不连续点，而标准 KAN 则会产生平滑且不准确的过渡。
- 掩码乘积 (Masked Product)： 对于仅在矩形内定义的函数，乘法 GRS-KAN 将测试 RMSE 降低了 58%，并将边界 RMSE 降低了 50%。
- 不可知性能： 不可知变体成功识别了特定任务的正确结构（例如，对于无约束的 $xy $，抑制几何分支；对于掩码$ xy$，优先考虑乘法权重）。虽然它并不总是优于专门的目标变体，但它在不需要先验知识的情况下实现了极具竞争力的精度。

意义与主张
作者声称，GRS-KAN 代表了与现有 KAN 变体不同的一个独特方向，后者的重点主要在于修改近似机制（如基函数或注意力机制）。相反，GRS-KAN 将显式解析几何直接纳入神经网络架构中。

其主要意义在于能够：

提高精度： 通过显式编码已知的几何约束，显著提高了在存在不连续性或受限定义域的问题中的预测精度和边界定位能力。
增强可解释性： 该模型提供了所学几何结构的显式解析表示，超越了黑盒近似，揭示了几何如何与平滑背景相互作用。
自动化先验选择： 不可知变体表明，神经网络可以自动判断是否需要几何先验，为那些几何约束函数角色未知的科学问题提供了鲁棒的解决方案。

作者指出，虽然实验使用了简单的矩形和圆形，但该框架在理论上适用于任意隐式区域，包括非凸域和约束的布尔组合，为工程设计空间和过程控制的应用铺平了道路。

技术摘要：几何感知 R-结构 Kolmogorov–Arnold 网络 (GRS-KAN)

类似论文