⚡ electrical engineering

Distance-Aware Error for Spline Networks: A Bottom-Up Approach to Uncertainty

本文提出了一种确定性的自底向上框架，用于推导样条神经网络（包括柯尔莫哥洛夫 - 阿诺德网络）的距离感知误差界，该方法通过分析单个神经元的误差及其在复合过程中的传播，证明了其在形状估计和安全导航等应用中相较于概率基线具有更优的速度和可靠性。

原作者： Masoud Ataei, Mohammad Javad Khojasteh, Vikas Dhiman

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Masoud Ataei, Mohammad Javad Khojasteh, Vikas Dhiman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人在黑暗的森林中导航。你给机器人一张地图，这张地图是基于它以前见过的几棵树绘制的。当机器人靠近那些树时，它会感到自信。但当它 wander 到从未见过的森林区域时会发生什么？一个聪明的机器人不应该只是猜测；它应该说：“这里我不确定，请小心。”

本文介绍了一种名为 DAREK（柯尔莫哥洛夫网络的距离感知不确定性）的新工具，它帮助这些“样条神经网络”（一种利用平滑、灵活曲线进行学习的 AI）确切地知道它们应该有多不确定。

以下是其工作原理的分解，使用简单的类比：

1. 问题：自信的傻瓜

大多数 AI 模型就像一个背熟了练习题答案的学生。如果你问它试卷上的问题，它能答对。如果你问一个完全无关主题的问题，它可能仍然会给出答案，但它不知道自己错了。它们缺乏一个“安全笼”。

在安全关键型工作（如驾驶汽车或控制机器人）中，这是危险的。我们需要一个系统，它知道：“我离训练数据越远，我就越不应该信任自己的答案。”

2. 解决方案：自下而上构建安全网

作者提出了一种“自下而上”的方法。他们不是猜测整个网络的不确定性，而是计算每一个微小部分（神经元）的不确定性，然后将它们叠加起来。

将 AI 网络想象成一个接力赛跑队：

神经元（跑步者）： 每个神经元接收一部分信息，将其平滑处理，然后传递给下一位跑步者。
误差（绊倒）： 有时跑步者可能会稍微绊一下。
DAREK 方法： DAREK 不是等待看整个团队是否跑错，而是根据每个跑步者离训练跑道的距离，精确计算每个跑步者可能绊倒的程度。然后，它将所有这些潜在的绊倒相加，告诉你整个团队的最大可能误差。

3. 如何测量“距离”

本文使用了一种涉及**节点（knots）**的巧妙数学技巧。

类比： 想象一根灵活的木条（样条），在特定点被钉子（节点）固定住。木条在钉子之间是平滑的。
规则： 如果你站在钉子旁边，木条是非常可预测的。如果你站在两个钉子中间，你必须猜测木头是如何弯曲的。如果你离任何钉子都很远，你的猜测就非常有风险。
DAREK 的工作： 它测量你当前的问题离最近的“钉子”（训练数据）有多远。你离得越远，“安全笼”（误差界限）就越宽。这确保了 AI 在未涉足的领域承认其不确定性。

4. 为什么它比其他方法更好

本文将 DAREK 与两种其他流行的不确定性猜测方法进行了比较：

蒙特卡洛（“掷骰子”方法）： 这种方法尝试让 AI 运行数千次，每次都有微小的随机变化，以观察答案的变化程度。它很准确，但很慢，就像让 20 个不同的人解决同一个数学问题，然后取他们的平均值。
高斯过程（“统计地图”方法）： 这种方法利用复杂的统计信息绘制不确定性地图。它很好，但随着数据量的增加，它会变得笨重且缓慢，就像试图随身携带一本巨大且详细的地图集到处走。

DAREK 的优势： 它是快速且确定性的。它不需要掷骰子，也不需要携带沉重的地图集。它使用直接的数学公式瞬间计算出“最坏情况”。论文表明，它比“骰子”方法和“统计地图”方法都快。

5. 现实世界测试

作者在论文中提到的三种具体场景中测试了 DAREK：

形状猜测： 试图根据几个分散的激光点来确定物体的形状。DAREK 知道何时它离这些点太远而过度猜测。
人脸检测： 在具有许多特征的图片中寻找人脸。即使图片很复杂，DAREK 依然保持可靠。
安全导航： 一个机器人必须移动而不发生碰撞的模拟。当机器人使用 DAREK 时，它们在棘手的情况下成功避免了碰撞，而在这些情况下，其他方法因为过于自信地相信其错误猜测而失败。

总结

DAREK 是一种特定类型 AI 的新型“安全计算器”。它通过测量 AI 离其学习数据的距离来工作。

靠近数据？ AI 很自信。
远离数据？ AI 会竖起一面大红旗，说：“我不太了解这个，请小心。”

它完成这一过程的速度很快，无需运行数千次模拟，使其成为机器人和安全为最高优先级的系统的理想选择。作者甚至提供了一个免费库，以便其他工程师可以将这种“安全笼”插入他们自己的 AI 模型中。

技术摘要：样条网络的距离感知误差（DAREK）

问题陈述
本文探讨了样条神经网络（SNNs），特别是柯尔莫哥洛夫 - 阿诺德网络（KANs）中不确定性量化的挑战。尽管存在概率方法（如蒙特卡洛、贝叶斯神经网络）和高斯过程（GPs），但它们通常面临计算成本高昂、依赖采样或缺乏可解释性的问题。此外，现有的 KAN 最坏情况误差界往往过于宽松、不具备距离感知性（即不随与训练数据距离的增加而单调递增），或仅定义至一个未知常数。作者旨在为 SNN 开发一种确定性、距离感知且紧致的误差界，该方法计算高效，适用于概率假设可能不成立的 safety-critical（安全关键）应用。

方法论
所提出的方法 DAREK（柯尔莫哥洛夫网络的距离感知不确定性）采用自底向上的分析方法推导最坏情况误差界。该方法分为三个主要阶段：

神经元级误差界：
- 分析始于将网络中的每个神经元视为样条函数。
- 作者利用牛顿多项式误差界（定理 1）为分段多项式近似建立紧致界，假设底层函数是 $k+1$ 阶 Lipschitz 连续的。该界本质上是距离感知的，其规模与到 $k+1$ 个最近节点（knots）距离的几何平均值成正比。
- 为了处理样条近似因噪声或优化约束而未精确穿过节点的现实场景，作者利用引理 1扩展了该界。这引入了节点处的误差，并通过分段线性拟合（带线性拟合的误差界，EBL）进行近似，以避免龙格现象（Runge's phenomenon）和数值不稳定性。
逐层及网络级传播：
- 通过分析样条函数的复合，将误差界扩展到多层网络。
- 定理 2和定理 3分别提供了两层和 $L$ 层 KAN 的误差界。总误差由当前层的插值误差和从前层传播的误差组成，后者按后续层的 Lipschitz 常数进行缩放。
- 该框架通过将有残差（例如 KAN 中添加到样条上的 SiLU 函数）视为无误差分量并将总误差归因于样条部分（定理 4），来处理残差连接。
常数与误差的分配：
- 一个关键挑战是将全局 Lipschitz 常数和总近似误差分配到各个神经元和层。本文提出并评估了多种策略：
  - Lipschitz 分配： 方法包括基于优化的、对数的、线性的、均等的和最坏情况分配。实证结果表明，“均等分配”在计算成本和界紧致性之间提供了有利的权衡。
  - 节点处误差分配： 由于逐层误差不可观测，总节点误差通过“最后一层误差”、“均等分配”或“沙普利值”（通过蒙特卡洛采样近似）等方法进行分配。

主要贡献

分析性最坏情况界： 本文在高阶 Lipschitz 连续性假设下，建立了多层样条神经网络首个分析性、距离感知的误差界。
自底向上的复合： 它引入了一种新颖的框架，将误差界从单个神经元复合至整个网络，明确处理误差传播和节点误差。
扩展到平滑函数： 该方法将误差界扩展到包含样条之外的加性平滑函数（如 SiLU）的层。
距离感知度量： 开发了一种度量（采样距离感知性，SDA），用于定量评估不确定性估计器随与训练数据距离增加而提升的程度。
效率与可解释性： 该方法提供了一个库，用于将这些界集成到现有的 KAN 模型中，为高斯过程和蒙特卡洛集成提供了一种计算高效的替代方案。

实验结果
作者在多个任务上评估了 DAREK：

函数近似： 在基准函数（如余弦函数、Two Moon 数据集）上，DAREK 成功包裹了真实误差。用于 Lipschitz 常数的“均等分配”策略以最小的计算开销实现了低违规率。
物体形状估计： 在二维激光扫描任务中，DAREK 估计了物体的有符号距离函数（SDF），展示了其泛化到现实世界映射问题的能力。
高维人脸检测： 在 CelebA 数据集上，将 DAREK 与高斯过程和集成方法进行了比较。虽然高斯过程因其核函数形式实现了完美的 SDA，但 DAREK 的 SDA 随维度增加显著改善（在 100 维时达到约 95%），优于表现出不一致模式的集成方法。
安全多智能体导航： 在具有有界扰动的模拟环境中，DAREK 被集成到鲁棒控制框架（MPC + CBF）中。基于 DAREK 的控制器实现了高达 95% 的成功率，优于原始控制器，并在安全关键导航中达到或超过了基于高斯过程的控制器，同时计算效率更高。

意义与主张
本文主张 DAREK 提供了可解释性、计算效率和理论保证的独特组合。通过将误差定位到特定节点并确保界具有距离感知性，该方法为 SNN 提供了“安全笼”，使其适用于机器人和自主控制等安全关键领域。作者强调，他们的界是确定性的，不依赖概率假设或大量样本进行推理，从而解决了贝叶斯和高斯过程方法的关键局限性。然而，本文适度承认了局限性，例如依赖训练数据进行节点选择（如果样本缺乏代表性，可能会限制泛化能力），以及在跨高维聚合界时可能出现的过度保守。作者指出，所提出的 Lipschitz 和误差分配方法是启发式的，并不保证能完美匹配真实的系统属性。

1. 问题：自信的傻瓜

2. 解决方案：自下而上构建安全网

3. 如何测量“距离”

4. 为什么它比其他方法更好

5. 现实世界测试

总结

类似论文