📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

本文介绍了几何约束型 Kolmogorov-Arnold 网络（Banach-KANs），该网络通过由标量指数 $p$ 控制的、源自 Banach 对偶映射的可学习函数来取代固定的边激活函数，从而在符号回归中实现了卓越或具有竞争力的性能，并证明了与传统的固定基 KAN 相比，其对噪声和小样本量具有更强的鲁棒性。

原作者： K S Sesh Kumar

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： K S Sesh Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在科学发现的世界里，许多自然法则描述了一个量如何随另一个量的变化而变化。钟摆的摆动取决于它的角度；汽车的速度取决于交通密度；恒星的亮度取决于它的温度。几十年来，科学家们一直使用数学模型来捕捉这些关系，但一种新的方法已经出现，它将模型本身视为一个灵活的学习实体。这种被称为柯尔莫哥洛夫-阿诺德网络（Kolmogorov–Arnold Network）的方法，通过将复杂问题分解为许多微小且简单的部分来发挥作用。它不再强迫整个系统学习单一、僵化的规则，而是构建了一个网络，其中每两个点之间的每一个连接都由其自身独特的、可学习的函数所控制。这些网络面临的核心挑战始终是决定这些函数的形状应当是什么样的。传统上，研究人员必须预先设定一种特定的形状——比如一条平滑的曲线或一个重复的波形——并将其应用于整个问题。这有点像试图只用一种类型的扳手去修理一台损坏的机器；它对某些螺栓很有效，但在面对另一些时却表现得一败涂涂。

伦敦帝国理工学院的一位研究人员提出了另一种思考这个问题的方法。他意识到，真正的问题不在于函数本身的形状，而在于该函数所处的底层“几何结构”或空间。在数学中，几何决定了距离如何测量，以及一条曲线可以有多尖锐或多平滑。该研究人员开发了一种新型网络，其几何结构在学习开始前并非固定的。相反，网络会直接从数据中学习每个单独连接的最佳几何结构。他通过为网络中的每个连接引入一个单一的可调节数值实现了这一点。这个数字就像一个旋钮，可以改变连接的行为：使其从尖锐且具有阈值感的特性，转变为平滑且线性的特性，甚至是扁平且饱和的状态。通过让数据来决定如何设置这个旋钮，网络可以调整其自身的内部结构，以匹配其正在解决的问题的特定特征。

该研究人员在五十个不同的数学问题上测试了这个想法，这些问题涵盖了从标准物理方程到旨在压力测试系统的合成挑战。他将这种新型的几何自适应网络与依赖固定形状的旧模型进行了对比，例如样条函数（splines，类似于用于绘制平滑曲线的柔性尺子）或多项式。结果显示，当数据包含突然跳变或尖锐棱角时，固定形状的模型表现挣扎，往往会产生波动且不准确的结果，因为它们的形状过于僵化，无法足够弯曲以拟合数据。相比之下，能够调整自身几何结构的新型网络，其表现达到或超过了所有固定形状基准模型的水平。在十八个核心难题方程组中，新方法取得了最佳的平均排名；而在完整的五十个问题集中，它的表现也同样不逊于最强的传统方法。

或许最重要的发现是这些新网络处理噪声的方式。在现实世界中，测量很少是完美的；它们通常包含随机误差或“静电噪声”。当研究人员在数据中加入越来越多的噪声时，传统模型很快就会崩溃。随着噪声的增加，它们的误差率增长了二十一倍或更多。而几何自适应网络则表现得更为稳健。即使噪声水平上升，它们的误差率增长也非常有限，通常不到原始误差的四倍。这表明，通过学习正确的几何结构，网络可以忽略随机静电，从而专注于真实的信号，而这种能力是固定形状模型所欠缺的。

研究还揭示，网络并不仅仅学习一种统一的几何结构。相反，同一网络内的不同连接学习到了不同的几何旋钮设置。一些连接学会了变得非常尖锐以处理突发变化，而另一些则学会了变得平滑以处理渐进趋势。这种专业化现象在不同类型的方程和输入维度中一致地发生。例如，当问题涉及更多变量时，网络往往会学习到更尖锐的几何结构。这种行为提供了一种可解释性：通过观察网络选择的设置，研究人员可以看到反映问题底层结构的信号。网络本质上是在告诉我们：“这个部分的问题需要一个尖锐的边缘，而那个部分则需要一条平滑的曲线。”

研究人员还探索了在数据量极少的情况下会发生什么。在这些小样本场景中，新网络再次超越了固定形状模型，后者通常需要大量数据才能进行有效学习。这种自适应几何的能力使得新网络可以用更少的样本来逼近正确答案。然而，研究也指出了这种方法的局限性。虽然该方法在低维到中维问题上表现出色，但它并不是用于图像识别等任务的深度、大规模神经网络的替代品。事实上，在测试图像数据集时，只有当给予新方法二十到三十倍的参数量时，它才能达到标准网络的性能，这表明其优势在于针对特定回归问题的效率和适应性，而非单纯的规模扩张。

最终，这项工作将焦点从“选择正确的工具”转向了“构建一个可以改变自身形状的工具”。研究人员证明，解决复杂回归问题的关键不在于用于表示数据的特定数学基础，而在于该表示所处的几何空间。通过将这个空间变为一个可学习的参数，他创造了一个对噪声更具鲁棒性、对小数据集更高效、并且更能捕捉其试图建模的关系之本质特征的系统。研究结果表明，在未来，最有效的模型可能不是那些拥有最复杂固定架构的模型，而是那些能够学习其所解决问题的几何结构的模型。

技术摘要：几何约束型 Kolmogorov–Arnold 网络

问题陈述

Kolmogorov–Arnold 网络 (KANs) 将深度架构中的固定激活函数替换为可学习的一元边函数。虽然现有的 KAN 变体（例如使用 B-样条、切比雪夫多项式或傅里叶特征的模型）提供了灵活性，但它们依赖于固定的基函数展开。这在观测数据之前，就预设了一种特定的函数空间几何特性（如平滑性、周期性或局部性）。

本文认为，这种固定的几何特性是一个根本性的限制。正如引言中所证实的，当拟合具有不匹配结构的靶函数时，不同的固定基函数会表现出截然不同的失效方式（例如，平滑基函数在处理像 Heaviside 阶跃函数这样的不连续结构时表现不佳）。核心问题不在于表示能力，而在于几何失配：所施加的基函数几何特性与目标函数的内在几何特性不一致。

方法论：几何约束型 KAN

作者提出了几何约束型 KAN，其中边的激活函数不再是从离散基集合中选择，而是衍生自一个可学习 Banach 空间的对偶映射 (duality map)。

1. 理论基础

该方法利用了范数、凸势函数及其梯度（即激活函数）之间的对应关系：
$\text{范数} \implies \text{几何} \implies \text{凸势函数 } \Psi \implies \text{激活函数 } \phi = \nabla \Psi$
作者并非固定基函数，而是使用 $\ell_p$ 系列来参数化几何特性。指数 $p$ 控制了边的定性行为：

$p \to 1$ ：产生尖锐的、类似阈值的行为（类似于 $\ell_1$ 几何）。
$p = 2$ ：恢复线性/欧几里得正则态。
$p > 2$ ：在原点附近产生更平坦的响应，并在尾部产生幂律增长。

2. 架构变体

本文定义了一个受控的三个架构家族，以隔离研究表达能力与几何适应性的影响：

Tanh-KAN：使用标准的 $\tanh$ 激活函数（衍生自 Orlicz 对偶， $\Psi(z) = \log \cosh z$ ）。它提供有界的表达能力，但缺乏几何适应性。
$\ell_p$ -KAN：使用对偶映射 $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ 。它通过可学习的指数 $p$ 实现几何适应，但缺乏有界的饱和性。
Banach-KAN：这是主要模型，它结合了上述两个分支：
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
该架构统一了有界饱和性（来自 $\tanh$ ）和自适应幂律几何（来自 $J_p$ ），使边缘能够跨越多样化的响应区间。

3. 实现细节

可学习指数：指数通过 $p = 1 + \exp(\theta)$ 进行参数化，从而实现 $\theta$ 的无约束优化。
数值稳定性：精确的对偶映射 $J_p$ 在 $p < 2$ 时在 $z=0$ 处具有奇异导数。作者实现了一个处处 $C^1$ 连续的平滑映射： $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ ，这在保持尾部几何解释的同时，确保了原点处的可微性。
可训练深度条件：理论分析（命题 1）表明，对于具有高斯预激活的前馈堆叠，仅当 $p > 3/2$ 时才存在临界权重尺度。低于此阈值时，若没有残差连接，信号传播可能会变得不稳定。

核心贡献

几何约束参数化：引入了源自 Banach 对偶映射的 KAN 边激活函数，其几何特性（由 $p$ 控制）直接从数据中学习，而非通过选择基函数来确定。
统一解释：将 KAN 边函数重新定义为几何控制的映射，而非基函数展开。
经验鲁棒性：证明了学习几何特性相比于固定基 KAN 和显式样条正则化，在小样本回归中能提高对测量噪声和近似的鲁棒性。
可解释信号：展示了学习到的指数能提供一致且依赖于目标的几何排序（例如，更尖锐的目标产生更低的 $p$ ），这种排序在不同噪声水平和输入维度下是稳定的。
灵活性消融：通过与匹配预算的对照组（如斜率自适应激活、有理函数和混合模型）进行比较，分离了“几何”效应与通用的参数灵活性。

实验结果

模型在 50 个符号回归目标（40 个来自 AI Feynman 基准，10 个来自合成压力测试）和 12 个 PMLB 表格数据集上进行了评估。

清洁数据上的表现

中值 NRMSE：在全量 50 个方程基准测试中，Banach-KAN 达到了 0.030 的中值 NRMSE，在统计上与 Chebyshev-KAN (0.030) 持平，并优于 Spline-KAN (0.037)。
排名：Banach-KAN 在“Core 18”子集上取得了最佳平均排名 (2.00)，并在全集中并列第一 (2.32 vs. 2.34 对于 Spline)。
小样本机制：在小样本场景（ $n=50$ 和 $n=100$ ）下，Banach-KAN 赢得的方程数量最多，优于需要更多数据才能收敛的固定基模型。

对噪声的鲁棒性

论文强调了在测量噪声（ $\sigma$ 从 0 增加到 1）下的显著增益：

退化比例：随着噪声增加，固定基模型退化严重（Spline G=3 退化了 21.6 倍，Cheby-KAN 退化了 14.9 倍）。
几何约束稳定性：几何约束型变体退化程度显著较低。 $\ell_p$ -KAN 仅退化了 3.7 倍，而 Banach-KAN 退化了 8.8 倍。值得注意的是，即使是经过交叉验证的样条函数也退化了约 11 倍，这表明学习到的几何特性比调优后的正则化更具鲁棒性。
噪声机制偏移：在高噪声（ $\sigma=1.0$ ）情况下， $\ell_p$ 变体优于 Banach-KAN，这表明纯幂律几何在极端噪声下比组合架构更具鲁棒性。

外推与表格数据

外推能力：在超出范围的测试中（在输入空间的内 60% 处训练），Banach-KAN 和 $\ell_p$ -KAN 实现了最低的 NRMSE（分别为 0.35 和 0.42），显著优于像 Splines (0.73) 和 RBFs (0.86) 这样的局部基函数。
表格数据：在 12 个 PMLB 数据集上，几何约束族赢得了 10/12 个数据集。Tanh-KAN 是最强的单一模型（5 胜），而 Banach-KAN 获得 1 胜。Spline G=3 未获胜。

重要性与主张

本文将其贡献定位为一种设计原则，而非单纯的 SOTA（最先进性能）基准记录。作者明确指出：

规模适度：该方法旨在用于低到中维度的回归任务。它并不在原生领域（如图像分类，其中 MLP 需 20–30 倍参数量才能匹配性能）与深度架构（如 ResNet）竞争。
针对特定机制的“正确工具”：其主张是，在具有可比单边预算、存在测量噪声以及小样本机制的情况下，诱导几何（通过学习 $p$ ）对学习成功的控制作用超过了纯粹的表示能力。
可解释性：学习到的指数 $p$ 可作为目标函数结构的“几何读数”，在无需手动调优的情况下，提供关于所需正则性（尖锐 vs. 平滑）的可解释信号。
局限性：作者承认，随着数据量的增加，单边形式存在容量上限，且目前的评估主要局限于符号回归和表格数据，未来需要在高维模态（序列、图像）上进行更多工作。

总之，本文认为几何是 KAN 中的首要建模选择。通过使几何特性通过学习指数 $p$ 实现自适应，模型能够将其归纳偏置与数据对齐，从而在固定基函数失效的机制下，实现更优的鲁棒性和逼近能力。