🤖 machine learning

Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

本文介绍了 MKAN，这是一种通过指数重参数化和正权重来保证所有参数具有硬单调性的 Kolmogorov-Arnold 网络变体，它提供了一个具有理论依据的尺寸规则，并在经验上证明了其相对于现有单调神经网络具有更优越的性能和可解释性。

原作者： Mikhail Krasnov, Carolina Fortuna, Blaž Bertalanič

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikhail Krasnov, Carolina Fortuna, Blaž Bertalanič

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做决策，比如预测应该批准还是拒绝一笔贷款，或者医疗测试是否表明患有某种疾病。在现实世界中，有些规则是显而易见的：债务增加绝不应该意味着风险降低，或者剂量增加绝不应该意味着毒性降低。如果一个机器人学到了“债务越多 = 风险越低”这样的模式，那么它学到的就是错误的，即便它在测试数据上得到了正确的答案。

这篇论文介绍了一种新型的机器人大脑，叫做 MKAN（单调 Kolmogorov–Arnold 网络），它的结构中硬编码了这些“常识”规则。

以下是他们工作的详细拆收，使用了简单的类比：

1. 问题所在：“黑盒” vs. “违规者”

标准 AI（黑盒）： 大多数神经网络就像一个巨大的、缠绕在一起的毛线球。你拉动一根线（输入），另一处的结（输出）就会移动。你无法轻易看到输入是如何改变输出的。有时，它们会学习一些奇怪且不合逻辑的模式（比如“债务越多 = 更安全”）仅仅是为了拟合训练数据。
之前的“受规则约束”的 AI： 科学家们曾尝试将规则强加于这些网络。但那就像是在绳子还在移动时试图在上面打结。他们必须停止训练，检查规则，修复绳子，然后重新开始。这既慢又混乱。
旧有的“透明”AI (KAN)： 有一种较新的 AI 类型叫做 KAN，它就像一个透明的玻璃管。你可以清楚地看到每一个输入是如何通过管道变成输出的。但它没有内置“常识”规则，因此它仍然可能学习到不合逻辑的模式。

2. 解决方案：MKAN（“带有护栏的玻璃管”）

作者创建了 MKAN，它结合了两者的优点：

它是透明的： 像玻璃管一样，你可以清楚地看到每个输入如何影响输出。
它是硬约束的： 他们在玻璃管本身内置了“护栏”。无论机器人如何学习，它在物理上都不可能学到“债务越多 = 风险越低”。

他们是怎么做到的？
把机器人的学习过程想象成一位厨师在调整食谱。

旧方法： 厨师尝了尝汤，发现太咸了，于是不得不停下来，写下笔记，并手动取出盐。
MKAN 方法： 厨师使用一个特殊的量杯，这个量杯只能盛装正量的盐。往里加“负数量的盐”在物理上是不可能的。机器人通过调整这些特殊的量杯来进行学习，因此它从一开始就不会犯错。这意味着机器人学习得更快，也不需要被叫停去“修复”它的逻辑。

3. 重大发现：“2倍大小”的权衡

这篇论文提出了一个深刻的数学问题：“如果我们强迫机器人遵循这些严格的规则，它会变得不那么聪明吗？为了完成同样的工作，它是否需要更多的脑力？”

他们证明了一个定理（一个数学保证）说明：

如果你拿一个普通的、灵活的大脑，并强迫它变得严格逻辑化（单调），它为了完成同样的工作，可能需要稍微长大一点。
规则： 为了保持逻辑完美，该大脑最多需要增加两倍数量的“神经元”（维度）。
类比： 想象你在打包行李箱。一个灵活的行李箱可以被挤压成任何形状。一个坚硬的行李箱（单调的行李箱）可能需要稍微大一点才能装下同样的衣服。论文证明，即使在最坏的情况下，你也只需要一个两倍大的行李箱。在许多现实案例中，它甚至不需要那么大。

4. 他们测试了什么

他们不仅做了数学推导，还用真实数据进行了测试：

“贷款”与“健康”测试： 他们在预测贷款违约和心脏病的标准数据集上测试了 MKAN。它的表现与现有的最佳规则遵循型 AI 一样出色，但增加了透明度的优势（你可以看到它做出决策的原因）。
“合成”测试： 他们创造了一个规则完美的虚构世界（例如：更大的圆圈总是意味着更亮的颜色）。在这个完美的世界上，MKAN 比其他 AI 模型更能更好地发现隐藏的规则，证明了“护栏”有助于它找到数据的真实逻辑。
“大小”测试： 他们在数字和豆子的图像上测试了“2倍规则”。他们发现，当我们将单调型 AI 的规模扩大一倍时，它能匹配甚至超越灵活型 AI 的性能，从而证实了他们的数学理论。

总结

这篇论文展示了一种新的 AI 架构 MKAN，它具有以下特点：

逻辑安全： 它在物理上无法学习不合逻辑的规则（如“越多越糟”）。
透明： 与大多数 AI 不同，你可以看清它的运作方式。
高效： 它使用标准的快速方法进行学习，无需复杂的“修复”步骤。
可预测： 如果你需要它严格符合逻辑，你只需要让它比普通 AI 大至多两倍，就能获得相同的结果。

简而言之，他们构建了一个既诚实（透明）又明理（单调）的机器人大脑，且没有牺牲太多的速度或体积。

问题陈述

单调性是表格数据、科学建模和经济学等领域中至关重要的归纳偏置，在这些领域中，输出已知会对特定输入做出单调响应（例如，债务越高，违约风险越高）。虽然现有的单调神经网络（MNNs）已经存在——涵盖了从 min-max 架构到深度晶格网络（deep lattice networks）以及自回归流（autoregressive flows）的各种形式——但这些架构通常依赖于多层感知器（MLP）、晶格或自回归流。这些架构缺乏 逐边函数透明度（per-edge functional transparency），而这正是 Kolmogorov–Arnold 网络（KANs）的一个核心优势，即 KANs 通过可学习的一元样条函数展示了每个输入-输出坐标对输出的具体贡献方式。

此前唯一尝试将 KANs 与单调性结合的研究 MonoKAN，仅对受限的参数子集施加约束，并且需要一种投影式训练过程。此外，MonoKAN 仅在监督学习设置下进行了评估。目前在文献中存在一个空白，即缺乏一种满足以下条件的 KAN 变体：

对所有参数值都保证硬单调性（hard monotonicity）。
可通过标准的无约束梯度下降进行训练。
拥有关于施加单调性成本的表示论保证。

方法论：MKAN

作者提出了 MKAN（Monotonic Kolmogorov–Arnold Network），这是一种通过三种特定机制在构造上强制实现单调性的 KAN 变体：

B-样条系数的指数重参数化： 为了确保每个样条 $\phi'_{ij}$ 是单调递增的，作者强制要求 B-样条系数满足严格的排序条件（ $\gamma^{(1)} < \gamma^{(2)} < \dots$ ）。他们没有直接学习受约束的系数，而是引入了无约束参数 $\omega$ ，并通过指数映射定义系数： $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$ 。这保证了对于所有 $\omega \in \mathbb{R}$ ，排序条件均得到满足。
正向边权重： 样条输出和跳跃连接（skip connections）的缩放权重通过指数化（ $\exp(w)$ ）处理，以确保它们保持严格正值。
单调基激活函数： 跳跃连接使用单调递增的激活函数（ReLU）。

由此产生的层输出定义为：
$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$
由于单调递增函数的复合仍然是单调递增的，因此堆叠这些层可以产生一个全局单调的特征提取器。至关重要的是，这种公式化形式允许通过 标准的无约束梯度下降 进行训练，而无需投影步骤。

核心贡献

1. KANs 中硬性、无投影的单调性 (C1)
MKAN 是首个在每个参数值下都能保证单调性的 KAN 变体。它消除了对复杂投影式训练或受限参数子集的需求，填补了 MonoKAN 留下的空白。

2. 单调性的表示成本定理 (C2)
论文提出了一个表征施加单调性“成本”的理论结果（定理 3）。

定理： 任何具有 $C^K$ 特征提取器 $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ 且诱导球形语义邻域划分的提取器，都存在一个单调实现 $F': [-1, 1]^N \to \mathbb{R}^{N'}$ ，该实现诱导相同的划分。
界限： 单调提取器的维度为 $N' = N^* + k$ ，其中 $k$ 是原提取器中非单调坐标的数量。由于 $0 \le k \le N^*$ ，最坏情况下的界限为 $N' \le 2N^*$ 。
含义： 这是一个与架构无关的规模规则，表明单调编码器需要最多两倍于非单调编码器的特征维度，即可保留语义邻域结构。

3. 实证验证 (C3)
作者在监督和自监督两种机制下对 MKAN 进行了验证：

监督学习： 在 SMM/ICML-2024 基准测试集（分类和回归任务）上，MKAN 的表现与最先进的单调网络（如 SMM）相当，同时具备独特的逐边函数透明度。
自监督学习：
- 在受控的合成“单调生成”数据集（椭圆）上，MKAN 恢复真实因子的 Spearman 相关性显著高于 KAN、MLP 和线性基准模型。
- 在四个真实世界数据集（MNIST、Fashion MNIST、Dry Bean、MAGIC）上，通过特征规模扫描验证了定理 3 的 $2N^*$ 预测，结果显示具有 $2N$ 个特征的 MKAN 性能达到或超过了具有 $N$ 个特征的 KAN。

结果

函数逼近： 在合成单调多元函数上，MK3 达到了与 Smooth Min-Max (SMM) 基准相当的中位数 MSE，并显著优于原始 KAN（后者随着维度增加会出现灾难性过拟合）。
表格基准测试： 在 SMM/ICML-2024 测试集中，MKAN 取得了顶尖或接近顶尖的性能。例如，在 COMPAS 上领先（69.6% vs SMM 69.5%），并在 LoanDefaulter 上表现出色（65.49% vs SMM-mini 65.47%）。
自监督对齐： 在针对合成椭圆数据集的 DIP-VAE 框架中，MKAN 与真实因子的 Spearman 相关系数达到 83.0，显著优于 KAN (49.4) 和 MLP (40.1)。虽然无约束模型（KAN）实现了更低的重构误差，但它们无法恢复数据的单调结构。
特征规模验证： 在真实数据集上的实验证实，具有 $2N$ 个特征的 MKAN 通常优于具有 $N$ 个特征的 KAN，且具有 $N$ 个特征的 MKAN 表现往往与具有 $N$ 个特征的 KAN 相当，从而验证了理论界限。

意义与主张

本文声称，将单调性重新定义为一种可量化的表示成本权衡，而非一种会降低性能的类别限制。其主要意义在于：

独特性： MKAN 是唯一一种将硬性、无约束单调性（在所有参数下均有保证）与 KAN 的逐边函数透明度 相结合的方法。
理论基础： 它提供了第一个单调表示成本定理，为设定单调编码器的规模提供了原则性指导（最多增加 2 倍维度）。
实际效用： 通过支持标准梯度下降，MKAN 使单调 KAN 比以往基于投影的方法更容易训练和部署。

作者也指出了局限性，包括 MKAN 缺乏自适应网格范围、定理 3 是一个存在性结果而非学习保证，以及对球形邻域的假设。建议的未来工作包括通过逐边掩码实现部分单调性，以及将定理扩展到椭球形邻域。