🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

本文介绍了 TruKAN，这是一种新颖的 Kolmogorov-Arnold 网络架构，它通过使用截断幂函数取代 B-样条基函数，实现了准确性、计算效率和可解释性之间的卓越平衡，并证明了在集成到用于计算机视觉任务的 EfficientNet-V2 框架时，其性能较现有的 KAN 变体有显著提升。

原作者： Ali Bayeh, Samira Sadaoui, Malek Mouhoub

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Bayeh, Samira Sadaoui, Malek Mouhoub

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人识别猫、狗和汽车的照片。为了做到这一点，机器人的“大脑”需要由能够识别模式的数学层组成。

长期以来，处理这类任务的标准大脑被称为 MLP（多层感知器）。你可以把 MLP 想象成一条工厂流水线，每个工人（神经元）都使用完全相同、预设好的工具（一个固定的激活函数，如 ReLU）来完成工作。它快速且可靠，但有点僵化。

随后，一种被称为 KAN（Kolmogorov-Arnold 网络）的新型大脑出现了。KAN 就像是一个大师级工匠团队。他们不使用预设的工具，而是让每一位工人学习属于自己的、独特的定制工具（一种“样条曲线/spline”），以解决他们面临的具体问题。这使得 KAN 非常聪明且易于理解（具有可解释性），因为你可以观察他们的工具并了解其运作方式。

然而，这里有一个问题： 学习这些定制工具既慢又昂贵。这就像是在每次开始新工作时，都要要求每位工人从零开始亲手雕刻自己的锤子。论文中称之为“计算瓶颈”。

走进 TruKAN：聪明的捷径

作者 Ali Bayeh、Samira Sadaoui 和 Malek Mouhoub 引入了一种名为 TruKAN 的新架构。他们的目标是保留 KAN “大师级工匠”的优势，同时让训练过程像标准的工厂流水线一样快速且高效。

他们通过以下简单的类比实现了这一目标：

1. 将“木雕”换成“乐高积木”

标准 KAN 使用被称为 B-样条（B-splines） 的东西来构建他们的定制工具。想象一下，B-样条是复杂的、弯曲的木制部件，需要一个非常特定的、递归的雕刻过程（de Boor-Cox 算法）来塑形。它很精确，但很慢。

TruKAN 将其替换为 截断幂函数（Truncated Power Functions）。

类比： 把 B-样条想象成手工雕刻的木制接头。把截断幂函数想象成 乐高积木。
TruKAN 不再从头开始雕刻曲线，而是通过将简单的、预定义的形状（多项式）拼接在一起，并在需要弯曲的地方添加“节点”（连接点）来构建曲线。
在数学上，这与旧方法是等价的（它们可以构建相同的形状），但由于不需要复杂的递归雕刻算法，因此组装起来要快得多。

2. “共享”与“个体”蓝图

论文探讨了排列这些乐高积木的两种方式：

共享节点（Shared Knots）： 想象一支建筑队，每个人都使用同一套预先测量好的连接点。这很高效，并且能保持团队的协调一致。
个体节点（Individual Knots）： 想象每个工人都有自己的一套定制连接点。这更灵活，但需要更多的空间和时间来组织。

研究人员发现，共享节点 通常效果最好，它在速度和准确性之间找到了一个完美的平衡点。

3. “稳定器”（归一化）

由于这些类似乐高的函数在堆叠过高时有时会变得有些摇晃（数值不稳定），研究人员添加了一个名为 层归一化（Layer Normalization） 的“稳定器”。

类比： 这就像给汽车添加避震器。它能抚平路面的颠簸（训练过程中的波动），这样汽车在高速行驶时就不会发生碰撞（误差爆炸）。他们发现，添加这个稳定器显著提高了 TruKAn 的准确性。

结果：速度与智慧

团队在四个著名的图像识别数据集（CIFAR-10, CIFAR-100, Oxford-Pets, 和 STL-10）上测试了 TruKAN。他们将其与以下模型进行了对比：

MLP： 标准的工厂流水线。
标准 KAN： 缓慢的手工雕刻大师。
SineKAN： 一种使用正弦波（类似于另一种不同类型的乐器）的变体。

研究结果：

准确性： TruKAN 通常是赢家或非常接近第一名。它匹配或超越了标准 MLP，并击败了其他 KAN 变体。
速度： TruKAN 的训练速度比标准 KAN 快得多。在某些测试中，每步速度快了 3 到 4 倍。
内存： 与标准 KAN 相比，TruKAN 使用的计算机内存（RAM）显著减少。一个版本的使用量不到 120 MB，而标准 KAN 则超过了 500 MB。
可解释性： 正如原始的 KAN 一样，TruKAN 保持了“透明性”。你仍然可以观察模型并了解它是如何弯曲数据来做出决策的，而不像标准 MLP 那样是一个“黑盒”。

核心结论

论文认为 TruKAN 是兼顾两者的最佳选择。它保留了 KAN “可解释”和“聪明”的特性，但用更快速的、类似乐高的构建方法取代了缓慢的手工雕刻数学。

通过使用 截断幂函数（乐高）和 共享节点（高效蓝图），TruKAN 让计算机能够更快、更省内存地学习复杂的视觉任务（例如识别宠物或汽车），同时不会失去理解“计算机是如何思考”的能力。

该论文并未声称：

它并未声称这目前适用于医疗诊断或自动驾驶汽车（尽管提到了这些作为未来的潜在领域）。
它并未声称 TruKAN 对每项任务都是完美的；它在测试的特定图像数据集上表现最好。
它并未声称已经解决了所有问题；他们指出，某些变体（例如没有稳定器的个体节点）在泛化方面仍可能遇到困难。

TruKAN 技术摘要：利用截断幂函数实现更高效的 Kolmogorov-Arnold 网络

问题陈述

Kolmogorov-Arnold 网络（KANs）已成为多层感知器（MLPs）的一种极具前景的替代方案，提供了卓越的可解释性以及学习一维边向函数的能力。然而，标准的 KANs 依赖于 B-样条（B-spline）基函数作为其可学习激活函数。评估这些 B-样条需要递归的 de Boor–Cox 算法，其计算成本高昂，常导致 KANs 的训练速度比同等的 MLP 慢多达 10 倍。此外，对复杂样条算法和固定网格结构的依赖可能导致在高维问题和深层架构中的扩展性问题，表现为梯度噪声和优化不稳定。虽然像 SineKAN 和 FourierKAN 这样的近期变体试图解决这些问题，但它们往往在可解释性方面引入了新的权衡，或者仍局限于合成基准测试和简单的 MNIST 等数据集。

方法论

作者提出了 TruKAN，一种保留了经典 KAN 拓扑结构和可学习激活函数的全新架构，但使用源自 $k$ 阶样条理论的**截断幂函数（truncated power functions）**家族取代了 B-样条基。

核心架构组件：

截断幂基（Truncated Power Basis）： 不同于 B-样条，TruKAN 利用形式为 $(x - t_j)^k_+$ 的截断幂函数。从理论上讲，这些函数所生成的空间与 B-样条的空间是完全一致的，但其计算评估方式截然不同。虽然 B-样条具有紧支撑性（通过递归需要 $O(k^2)$ 的区间复杂度），但截断幂函数具有全局支撑性。然而，作者认为在实践中并不总是需要高分辨率网格，这使得 TruKAN 能够以较少的节点（knots）高效运行。
混合层结构： 每个 TruKAN 层结合了两个组件：
- 一个截断幂组件用于捕捉局部、分段的非线性。
- 一个多项式组件（全局趋势）用于取代标准 KAN 中使用的辅助 SiLU 激活函数。该多项式项提供了一个平滑且可微的全局映射，补偿了缺乏显式全局非线性（如 SiLU）的问题。
节点配置（Knot Configurations）： 文中介绍了两种关于节点位置的变体：
- 共享节点（Shared Knots）： 所有输出通道共享一组相同的节点位置。
- 独立节点（Individual Knots）： 每个输出通道拥有自己的一套可学习节点位置。
- 研究探讨了固定（预定义区间）和可学习（在训练过程中进行优化，并带有顺序和正定性约束）两种节点策略。
训练框架：
- 优化： 为了解决使用截断幂函数训练深层网络时可能出现的不稳定性（由于指数级增长/衰减可能导致梯度爆炸），作者采用了由 LookAhead 包裹的 AdamW 混合优化策略。这取代了先前 KAN 研究中使用的标准 L-BFGS，以更好地适应随机小批量（mini-batch）训练。
- 归一化： 研究调查了在分类器头中引入层归一化（Layer Normalization）（以及批归一化）的影响，因为传统的正则化技术（如 Dropout）在 KANs 中的效果表现不一。
- 骨干网络（Backbone）： 这些模型被集成到 EfficientNet-V2 框架中，将标准的线性分类器头替换为 MLP、KAN、SineKAN 或 TruKAN 层。

主要贡献

架构创新： 使用截断幂函数取代 B-样条，并结合多项式全局项，构建了一个既能保持 KAN 的表达能力，又能简化基函数评估的模型。
增强的可解释性： 通过使用截断幂函数，每个节点的贡献变得更加明确。节点 $t_j$ 处的非零系数直接表明了在该特定点处存在有意的 $k$ 阶曲率，相比于 B-样条重叠的支撑集，这提供了更高的透明度。
可扩展性与效率： 论文证明了 TruKAN 可以有效地扩展到深层架构和复杂的视觉任务，超越了以往 KAN 研究受限的合成数据环境。
全面的基准测试： 作者在四个计算机视觉数据集（CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10）上进行了严格评估，通过匹配参数量确保了与不同规模（小型和深度）网络配置的公平比较。

实验结果

评估是在使用不同分类器大小（小型和大型架构）的 EfficientNet-V2 骨干网络下针对四个数据集进行的。

准确率与 F1 分数：
- 小型架构： TruKAN 变体，特别是带有层归一化和共享节点的变体（TruKAN-SN），始终优于或等同于基准 KAN 和 SineKAN 模型。在 CIFAR-10 上，TruKAN-IN 取得了最高的准确率（0.8927），超过了最佳的 MLP 基准。在 STL-10 上，TruKAN-SN 达到了 0.9341 的准确率，仅略微落后于归一化后的 MLP。
- 大型架构： TruKAN 模型展示了卓越的可扩展性。在 CIFAR-10 上，TruKAN-IN 实现了 0.8932 的准确率，尽管其使用的参数量更少，却优于 MLP-N 基准。在所有数据集上，TruKAN 变体一致地优于 KAN 和 SineKAN 基准，通常能达到与最强 MLP 相当甚至更好的结果。
- 归一化影响： 层归一化对 TruKAN 的性能至关重要，显著提高了泛化能力，特别是对于容易出现过拟合现象的独立节点配置。
计算效率：
- 训练时间： 共享节点 TruKAN 模型（TruKAN-FS）的单步训练时间约为 0.0024 秒，相比标准 KAN 模型（0.0087s - 0.0099s）实现了 3-4 倍的提升。
- 内存占用： TruKAN-FS 的峰值 GPU 显存仅为 118.04 MB，显著低于 KAN-PBT（570.84 MB）和 KAN-PBF（691.79 MB）。然而，由于节点存储量的扩大，独立节点变体（TruKAN-FI）产生了高昂的内存成本（约 2.6 GB）。
- 参数量： 与其 KAN 和 SineKAN 对手相比，TruKAN 模型通常能以更少的训练参数实现相当或更好的性能。

意义与主张

论文声称 TruKAN 成功解决了计算效率与遵循 KAN 原则之间的权衡。通过使用截截断幂函数和多项式全局项取代递归 B-样条算法，TruKAN 实现了：

卓越的效率： 与标准 KANs 相比，显著降低了训练时间和内存使用量，使其适用于复杂的视觉任务。
保持了表达能力： 该模型保留了 KAN 的理论近似能力，同时提高了在真实世界数据集上的准确性。
提升了可解释性： 截断幂函数的显式特性使得与 B-样条或 SineKAN 等全局谱方法相比，能够更清晰地检查学习到的边函数和节点贡献。

作者总结道，TruKAN 为 KAN 提供了一条切实可行的发展路径，展示了超越以往研究受限设置的优势。他们承认，尽管该方法提高了稳定性，但在集成其他正则化技术（如 Dropout）以及探索混合精度训练以进一步提升效率方面仍面临挑战。未来的工作建议探索这些领域，并将 TruKAN 应用于强化学习和时间序列预测。