🤖 machine learning

KAN-Robust-Bench: A Benchmark for Evaluating the Robustness of Kolmogorov-Arnold Networks

本文介绍了 KAN-Robust-Bench，这是一个用于评估 Kolmogorov-Arnold 网络针对强对抗攻击的认证鲁棒性与经验鲁棒性的基准测试，旨在确定最优的防御策略与架构。

原作者： Mohammad Meymani, Roozbeh Razavi-Far

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Meymani, Roozbeh Razavi-Far

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代世界中，人工智能已成为日常生活中一个沉默的伙伴，为我们整理电子邮件、引导汽车行驶并诊断疾病。这些系统通过在海量数据中寻找模式来学习，就像孩子通过观察许多张猫的照片来识别猫一样。然而，这种学习过程存在一个隐藏的弱点。正如人类会被巧妙的错觉所欺骗一样，这些计算机模型也会被图像中微小到几乎不可见的改变所愚弄。研究人员可能会在了一张停止标志的图片上添加一些数字噪点——这些变化微小到人类肉眼根本无法察觉——而计算机可能会突然将其识别为限速标志。这种脆弱性被称为“规避攻击”（evasion attack），它对任何依赖人工智能做出安全决策的系统都构成了严重的安全性风险。

为了理解如何保护这些系统，科学家们一直在不断测试各种新型的“计算机大脑”。几十年来，标准设计一直是一种以层级处理信息特定类型的网络。最近，一种被称为柯尔莫哥洛夫-阿诺德网络（Kolmogorov-Arnold Network，简称 KAN）的不同设计作为一种有前景的替代方案出现了。旧的设计堆叠固定函数的层，而 KAN 使用灵活的、可学习的曲线，能够更自然地适应数据中的复杂形状。研究人员面临的一个重大问题是，这种更灵活的设计是否也更加脆弱。如果一个模型更擅长学习，它是否也更容易被欺骗？来自新不伦瑞克大学的一个研究小组决定通过让几种新的 KAN 设计接受一系列严格的压力测试来回答这个问题，将它们置于最强大的已知欺骗人工智能的方法面前进行对抗。

研究人员专注于三种特定版本的 KAN 架构，每种架构都旨在处理视觉任务，如识别照片中的物体。他们使用两组标准的图像集对这些模型进行了测试：一组包含常见的物体（如汽车和动物），另一组则包含路标上的数字。为了观察这些模型如何应对挑战，团队使它们遭受了三种不同类型的数字攻击。第一种类型是一种快速的一步式技巧，它将图像向模型最容易出错的方向进行微调。第二种类型是一种更具耐心的多步攻击，它通过反复优化技巧，直到找到迷惑模型的完美方式。第三种类型是一种高度复杂的优化攻击，它寻找导致失败所需的最小可能变化。

为了抵御这些技巧，团队尝试了三种不同的策略。第一种是通过向模型展示正常图片和带有陷阱的修改版本来进行训练，迫使计算机学会如何忽略噪声。第二种策略涉及在模型观察图像之前添加一层随机静电或噪声，从而有效地模糊了攻击者所依赖的锐利边缘。第三种方法涉及通过数学证明，即使图像在一定限度内被改变，模型的决策也不会发生变化，从而建立了一个保证稳定性的安全网。

结果清晰地描绘了这些新网络在压力下的表现。当模型没有任何特殊保护时，它们表现得异常脆弱。即使是最先进的 KAN 设计也会被最简单的攻击所愚弄，随着噪声的增加，其准确率大幅下降。然而，当研究人员应用通过陷阱图像进行训练的策略时，结果发生了彻底的变化。这种被称为“对抗训练”（adversarial training）的方法被证明是最强大的盾牌。经过此类训练的模型即使面对最强大的多步攻击也能保持高准确率。例如，在路标数据集上，经过这种训练的模型即使在攻击达到最大强度时，仍能保持 67% 以上的准确率，而未经训练的版本则会崩塌至接近零。

另外两种防御策略提供了不同种类的保护。添加随机噪声的方法虽然不像训练法那样能有效阻止模型被愚弄，但它提供了一种不同类型的安全性。它提供了一个数学保证，即如果图像在特定微小范围内发生改变，模型的答案不会改变。这很有价值，因为它提供了一个已知的安全边界，尽管该方法在面对最强攻击时的整体性能可能不如训练后的模型。第三种利用数学边界来检查稳定性的策略也提高了模型的韧性，但通常在保护力度上不及直接使用攻击进行训练的方法。

其中一个最有趣的发现是，模型的内部结构选择与防御策略同样重要。在测试的三种不同 KAN 设计中，一种特定的架构始终优于其他架构。这种特定的设计通过结合不同的图像特征混合方式，在所有测试中都表现出了最强的鲁棒性。它能更好地抵御快速技巧、耐心的多步攻击以及复杂的优化攻击。这表明，仅仅转向一种新型网络是不够的；网络的具体构建方式决定了它能承受多大程度的攻击。

研究还表明，任务的难度改变了结果。模型在路标数据集上的表现明显优于在常见物体数据集上的表现。在路标数据集上，即使是未经训练的模型在抵御攻击方面也表现得相当出色，而受保护的模型准确率达到了 90% 以上。这表明某些类型的视觉数据对于这些系统来说，在安全性处理方面天生比其他类型更容易。

最终，研究表明，虽然这些新的柯尔莫哥洛夫-阿诺德网络是强大的工具，但它们并非对欺骗免疫。保护它们最可靠的方法是在学习阶段教它们什么是攻击。虽然其他方法可以提供数学上的安全性保证，但它们并不总是能转化为面对最强技巧时同等的现实世界性能。这项工作为开发者提供了一条清晰的路线图：如果他们希望这些灵活的新型网络是安全的，就必须将防御直接构建到训练过程中，确保模型学会看穿噪声，而不仅仅是忽略噪声。

技术摘要：KAN-Robust-Bench

问题陈述

尽管 Kolmogorov-Arnold 网络（KANs）已成为各种任务（包括时间序列分析、图学习和计算机视觉）中极具前景的替代方案——即传统的多层感知器（MLPs）——但其对对抗性威胁的脆弱性仍未得到充分探索。现有文献主要将 KANs 与传统的架构（如 MLPs 和卷积神经网络 CNNs）进行比较，通常得出结论认为 KANs 可能更容易受到噪声和攻击的影响。然而，目前缺乏关于在相同对抗条件下，不同 KAN 架构之间鲁棒性的系统性评估。此外，在采用对抗训练（AT）、随机平滑（RS）和区间界限传播（IBP）等防御策略时，KAN 家族内部经验鲁棒性与认证鲁棒性之间的权衡关系也尚未得到全面的分析。

方法论

作者提出了 KAN-Robust-Bench，这是一个旨在评估最先进 KAN 架构的经验及认证鲁棒性的基准测试。研究侧重于白盒规避攻击，假设攻击者完全了解模型的架构、参数和梯度。

评估的架构

研究选择了三种在计算机视觉领域具有顶尖性能的特定 KAN 架构：

KAN-Mixers： 通过将标准 MLP 层替换为 KAN 层来扩展 MLP-Mixer 架构，利用 Token 混合（token-mixing）和通道混合（channel-mixing）。
KANICE： 一种结合了 KAN 和 CNN 的混合架构，具有用于空间特征提取的交互式卷积块（ICB）和用于函数逼近的 KAN 线性层。
PoolKANNeXt： 一种受 ConvNeXt 启发的混合 KAN-CNN 架构，利用基于池化的特征混合和双激活 KAN 模块。

数据集

实验在 CIFAR-10 和 SVHN 数据集上进行，数据使用每个数据集的标准均值和方差向量进行归一化。

防御策略

研究评估了三种主要的防御机制：

对抗训练 (AT)： 模型在由通过投影梯度下降（PGD）生成的良性样本和对抗性样本组成的混合数据上进行训练。
随机平滑 (RS)： 通过向输入注入高斯噪声并利用蒙特卡洛采样聚合预测，构建一个平滑分类器。这提供了 $\ell_2$ 认证鲁棒性。
区间界限传播 (IBP)： 一种认证防御，通过网络传播输入扰动边界。训练损失是洁净损失（clean loss）与 IBP 损失的线性组合，以平衡准确率和鲁棒性。

攻击配置

模型针对强力的白盒规避攻击进行了测试：

FGSM： 单步攻击，扰动大小 ( $\epsilon$ ) 范围从 0.01 到 0.09。
PGD： 多步迭代攻击，包括标准型、多步（带重启）以及自适应（带变换期望，Expectation-over-Transformation）变体。
Carlini & Wagner (C&W)： 一种使用 $\ell_2$ 范数的基于优化的攻击。

指标

性能通过洁净数据的标准准确率 (SA) 和对抗数据的鲁棒准确率 (RA) 进行衡量。对于 RS 和 IBP，报告了认证准确率 (CA) 和认证半径 (Certified Radius)，以提供特定扰动范围内的数学保证。

核心贡献

系统性评估： 本文提供了首次在 CIFAR-10 和 SVHN 上对 KAN 家族内部（KAN-Mixers, KANICE, PoolKANNeXt）进行鲁棒性的系统比较，而非仅仅是将 KANs 与 MLPs/CNNs 进行对比。
防御策略分析： 严格评估了 AT、RS 和 IBP 对 KAN 架构的影响，确定了针对不同攻击类型的最优防御策略。
认证鲁棒性报告： 研究报告了随机平滑下的 $\ell_2$ 认证鲁棒性和 IBP 下的 $\ell_\infty$ 认证鲁棒性，提供了形式化保证及经验结果。
基准测试： 为未来关于 KAN 鲁棒性的研究建立了基准，强调了影响模型韧性的特定架构和防御选择。

实验结果

认证鲁棒性（随机平滑）

在 $\ell_2$ 范数认证下：

PoolKANNeXt 在 CIFAR-10 上表现出最强的认证鲁棒性，在半径为 2/255 时实现了约 80.33% 的认证准确率 (CA)，平均半径为 1.18。
在 SVNH 上，PoolKANNeXt 和 KANICE 都展现了极具竞争力的认证鲁棒性，在较小半径下的 CA 值超过 92%。
KAN-Mixers 在 CIFAR-10 上的认证鲁棒性低于其他两种架构，但在 SVHN 上表现具有竞争力。

经验鲁棒性

针对 FGSM 攻击：

对抗训练 (AT) 始终为抵御基于梯度的攻击提供最强的保护。例如，在 CIFAR-10 上，PoolKANNeXt-AT 在 $\epsilon=0.09$ 时保持了 45.56% 的鲁棒准确率，而其未防御版本则降至 7.54%。
RS 和 IBP 提供了相对于未防御模型的适度改进，但在针对 FGSM 的经验鲁棒性方面明显逊于 AT。
SVHN 模型在所有策略下通常比 CIFAR-10 模型表现出更高的鲁棒性。

针对 PGD 攻击：

AT 仍然是主导防御手段。PoolKANNeXt-AT 在 CIFAR-10 上实现了最高的鲁棒性（约 54.6%），而未防御的模型则跌破 8%。
RS 表现出复杂的结果；虽然它提高了相对于普通模型的鲁棒性，但仍逊于 AT。
IBP 提供了适度的改进，但在应对迭代攻击时的经验性能难以匹配 AT。

针对 C&W ( $\ell_2$ ) 攻击：

出现了一个明显的趋势，即 随机平滑 (Randomized Smoothing) 变得极具竞争力，通常优于 AT。
在 SVHN 上，KAN-Mixers-RS 实现了最高的鲁棒性 (72.58%)，略高于其普通版本和经过对抗训练的版本。这表明平滑机制对于 $\ell_2$ 范数扰动特别有效。

架构洞察

结果表明，鲁棒性高度依赖于架构。例如，PoolKANNeXt 通常在认证鲁棒性和 PGD 抗性方面表现出色，而 KAN-Mixers 在结合 RS 时对 C&W 攻击表现出更优的性能。研究强调，即使在同一个 KAN 框架内，架构组件（例如交互式卷积块与 Mixer 式 Token 处理）也会以不同的方式影响鲁棒性。

意义与主张

论文声称，虽然对抗训练 (AT) 是防御 KAN 抵御基于梯度攻击（FGSM 和 PGD）最有效的策略，但随机平滑 (Randomized Smoothing) 在面对像 C&W 这样的 $\ell_2$ 范数攻击时，提供了极具竞争力的、有时甚至是更优的防御。研究强调，架构选择会显著影响经验及认证鲁棒性，这表明优化超参数和选择特定的 KAN 变体对于提升鲁棒性至关重要。

作者总结道，他们的工作提供了一个针对如何通过防御策略和架构选择来影响 KAN 类模型鲁棒性的聚焦评估。他们谦虚地建议，未来的研究应探索更多样化的认证技术（如验证和凸松弛），并调查更广泛的 KAN 架构，以进一步理解这些模型的局限性与优势。