🤖 machine learning

Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise

本文首次建立了采用带相关噪声的小批量 DP-SGD 训练的柯尔莫哥洛夫 - 阿诺德网络的总体风险界，克服了非凸优化中的技术挑战，提供了比先前全批量或独立噪声分析更尖锐的泛化保证，从而更好地反映了实际训练场景。

原作者： Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解读。

全局概览：在保护秘密的同时教导智能机器人

想象你有一个非常聪明的机器人（称为柯尔莫哥洛夫 - 阿诺德网络，或KAN），你想教它识别模式，比如从医学扫描中识别疾病或预测股市趋势。

通常，为了教导这个机器人，你需要向它展示成千上万个例子。然而，这些例子往往包含敏感的私人信息（如患者的姓名或公司的商业机密）。你不希望机器人记住这些秘密并在日后意外泄露。

为了阻止这种情况，数学家使用一种称为**差分隐私（DP）**的技术。这就像在机器人接收的课程中加入一点点“静电”或“噪声”。这种噪声就像雾气；它让机器人难以记住任何一个具体的例子，但它仍然足够聪明，可以学习一般规则。

问题所在：

旧理论： 以前关于这些机器人在隐私保护下学习效果的数学理论，是基于一种非常缓慢、低效的教学方式，称为“全批量（Full-Batch）”。这就像老师在问一个问题之前，先给全班朗读整本教科书。在现实世界中，我们采用“小批量（mini-batches）”教学（读几页，问一个问题，再读几页）。旧的数学理论并不适用于这种更快、更现实的方法。
噪声问题： 标准的隐私方法添加的是“随机静电”，每次都会完全改变（独立噪声）。但研究人员最近发现，如果静电是“相关的”——意味着上一节课的静电有助于抵消当前课程的静电——效果会好得多。这就像降噪耳机。然而，没有人从数学上证明这种“降噪”技巧适用于这些特定的智能机器人（KAN），尤其是在它们通过小批量进行快速教学时。

解决方案：
本文首次为使用以下方法教导这些 KAN 机器人写出了数学“保证”（风险界限）：

小批量（快速、现实世界的方式）。
相关噪声（智能的、具有降噪功能的隐私方法）。

核心挑战：为什么这如此困难？

作者面临两个主要障碍，他们将其描述为“技术障碍”：

“回声”问题： 在标准隐私中，噪声是随机且独立的。如果你今天添加噪声，它不会影响明天。但对于相关噪声，今天的噪声与昨天的噪声相关联。在数学上，这破坏了通常用于证明事物有效的“中心化”技巧。这就像试图平衡一堆积木，而底部的积木会根据顶部积木昨天的移动方式不断移位。
“保镖”问题： 为了防止机器人学习奇怪、极端的模式，训练算法设有一个“保镖”（称为投影步骤），如果机器人的设置变得过于狂野，就会将其踢回安全区域。作者发现，这个保镖意外地破坏了“降噪”效果。这就像俱乐部的保镖阻止降噪耳机工作，因为他们正挡在门口。

他们如何解决：三步魔法技巧

为了绕过这些问题，作者发明了一种看待数学的新方法：

“幽灵”机器人（辅助未投影动力学）： 与其观察那个会被保镖踢的“真实机器人”，他们想象了一个永远不会被踢的“幽灵机器人”。他们证明了只要真实机器人保持在安全区域内，幽灵机器人的行为就几乎与真实机器人完全相同。
“移位”视角（移位迭代）： 他们意识到，由于噪声与过去相关联，他们不能仅仅观察机器人的当前位置。他们必须“移位”他们的视角，有效地将当前的噪声吸收到机器人的状态中。这使得他们能够看到昨天和今天的噪声如何相互抵消，就像两股波浪撞击并抚平水面一样。
“信心检查”（高概率自举）： 他们使用了一种统计技巧来证明，以极高的概率，真实机器人实际上永远不需要保镖。它会自己保持在安全区域内。这意味着他们可以在数学中忽略保镖，只使用“幽灵机器人”方程，这些方程要容易解决得多。

结果：他们证明了什么？

该论文提供了一个公式，告诉我们机器人将在新的、未见过的数据上表现如何。

对于非隐私训练： 他们表明，即使没有隐私噪声，使用小批量训练这种特定类型的机器人（KAN）效果也非常好，通常优于旧理论所建议的效果。
对于隐私训练（独立噪声）： 他们确认了标准的“随机静电”方法是有效的，但他们给出了一个更精确的公式，说明了为了获得多少隐私需要牺牲多少准确性。
对于隐私训练（相关噪声）： 这是重大胜利。他们证明了使用“降噪”（相关）方法对这些机器人是有效的。
- 不足之处： 他们发现，虽然相关噪声在理论上很出色，但当你试图平衡“隐私预算”（你需要多少隐私）与“噪声水平”时，数学变得复杂。在他们的特定设置中，降噪的好处有时会被需要添加更多噪声以满足严格隐私规则的需求所抵消。然而，他们为此建立了第一个数学基础，证明了它是可行的，并提供了工具以便未来能更好地实现它。

总结类比

想象你正在试图教一群学生（KAN）解决一个谜题。

旧方法： 你一次性把整本谜题书读给他们听（全批量）。这既慢又无聊。
现实世界： 你一次给他们看几页（小批量）。
隐私： 你希望他们学习谜题的逻辑，但不要记住页面上的具体数字，因为这些数字是秘密。所以，你在学习时在他们耳边低语一点静电。
创新： 你不再每次都低语随机的静电，而是低语一种能抵消前一次低语的模式（相关噪声）。
本文的贡献： 在这篇论文之前，没人知道这种“有模式的低语”是否真的能帮助学生学会谜题逻辑而不感到困惑。作者证明了它确实有效，但也表明你必须非常小心如何低语这种模式，否则学生可能会因为“保镖”（安全规则）干扰低语而感到困惑。他们提供了确切的配方（数学界限）来实现这一目标。

技术摘要：基于带相关噪声的 DP-SGD 训练的 Kolmogorov–Arnold 网络的总体风险界

1. 问题陈述

本文解决了 Kolmogorov–Arnold 网络（KANs）理论理解中的一个关键空白。KANs 是一种结构化的多层感知机（MLPs）替代方案，通过可学习的单变量函数参数化交互作用。尽管 KANs 在涉及敏感数据的科学和工程领域已展现出强大的实证性能，但现有针对其泛化能力（总体风险）的理论保证却十分有限。

具体而言，先前的工作 [60] 仅在全批量梯度下降（GD）和独立噪声差分隐私（DP）条件下建立了 KANs 的总体风险界。这留下了两个重要的实际场景未被分析：

带梯度裁剪的小批量随机梯度下降（SGD）：这是现代神经网络的标准训练方案，其优化动力学与全批量 GD 有根本性差异。
相关噪声 DP 机制：近期机制（如 DP- $\lambda$ CGD [28]）引入噪声的时间相关性（ $\xi_t = \kappa(Z_t - \lambda Z_{t-1})$ ）以改善隐私 - 效用权衡。标准 DP 理论假设噪声是独立的，而在 KANs 等非凸设置中，针对相关噪声训练的总体风险界尚不存在。

核心挑战在于，噪声的时间依赖性破坏了标准单步 SGD 分析所必需的“条件中心化”结构，同时非凸优化中用于确保稳定性的投影步骤阻碍了相关扰动的部分抵消。

2. 方法论与技术途径

作者通过将风险分解为优化风险（收敛至经验最小值）和泛化间隙（经验风险与总体风险之差），建立了总体风险界。

A. 优化分析（非凸、相关噪声）
为了在非凸区域处理相关噪声，作者开发了一种新颖的证明框架，绕过了标准投影 SGD 论证的局限性：

辅助未投影动力学：他们引入了一条辅助轨迹 $\{\tilde{W}_t\}$ ，该轨迹在不进行投影的情况下演化，但使用相同的小批量和噪声。这使得分析能够聚焦于噪声结构，而不受投影算子的阻碍。
移位迭代点：为解决相关噪声中缺乏条件中心化（即 $E[\xi_t | \mathcal{F}_{t-1}] \neq 0$ ）的问题，他们定义了移位迭代点 $U_t = \tilde{W}_t + \eta c_{priv} Z_t$ 。该变换吸收了当前的扰动，揭示了一种抵消结构，其中主导的相关项简化为与 $(1-\lambda)$ 成正比的残差。
高概率自举：他们采用“停止”分析来证明辅助轨迹保持在局部区域内，在该区域内 KAN 特定的曲率估计（基于神经正切核边界）成立。这涉及证明投影以高概率处于非激活状态，从而将投影迭代点 $W_t$ 等同于辅助未投影迭代点 $\tilde{W}_t$ 。

B. 泛化分析
泛化间隙利用算法稳定性进行界定。通过在相邻数据集上耦合两次算法运行（使用相同的初始化、小批量和噪声序列），作者表明，在迭代点之差中，加性噪声项相互抵消。稳定性界取决于前一步推导出的优化风险。

C. 隐私核算
本文针对无放回均匀子采样下的相关噪声机制（DP- $\lambda$ CGD）提供了隐私保证。它推导出了满足 $(\epsilon, \delta)$ -DP 所需的噪声乘数 $\kappa$ 的解析上界，利用支配对和曲棍球棒散度来考虑相关结构。

3. 主要贡献

本文做出了以下具体贡献：

实际场景下 KANs 的首个总体风险界：它建立了由带裁剪的小批量 SGD 训练的两层 KANs 的首个总体风险界，涵盖了非隐私和 DP 设置。这将 KAN 理论从 [60] 的全批量 GD 设置中推进出来。
首个非凸相关噪声 DP 分析：据作者所知，这是针对非凸设置中相关噪声机制的首个总体风险分析。该分析具体应用于由带裁剪的小批量 DP-SGD 训练的 KANs。
精确的特化结果：结果恢复并改进了现有界：
- 对于非隐私小批量 SGD，在多项式对数宽度区域，界得出的优化风险和总体风险阶数为 $O(1/n)$ ，抑制了对数因子和对 NTK 边界 $\gamma$ 的依赖。
- 对于独立噪声 DP-SGD（ $\lambda=0$ ），界在忽略对数因子的情况下与 [7] 的凸 DP-SCO 下界相匹配，并通过减少所需的网络宽度和对 NTK 边界的依赖，改进了 [60] 的全批量 DP-GD 结果。
- 对于相关噪声 DP-SGD，分析确定了相关参数 $\lambda$ 如何影响优化风险，尽管在保守的隐私校准下，最终总体风险率渐近地与独立噪声率相匹配。

4. 主要结果

在代表性参数区域（多项式对数宽度 $m \asymp \text{polylog}(n)$ ）下，本文推导出了平均迭代点的以下总体风险率：

非隐私小批量 SGD：
$\text{Risk} \lesssim \frac{1}{n}$
这通过实现 $O(1/(\gamma^2 n))$ 并需要更小的宽度，改进了 [60] 中全批量 GD 的 $O(1/(\gamma^4 n))$ 率。
差分隐私（独立和相关噪声）：
在 $(\epsilon, \delta)$ -DP 下，独立和相关噪声机制均达到以下率：
$\text{Risk} \lesssim \frac{1}{\gamma \sqrt{n}} + \frac{\sqrt{d}}{\gamma^4 n \epsilon}$
（忽略多项式对数因子）。
分析表明，虽然时间相关性改善了优化误差项（按 $1-\lambda$ 缩放），但理论保证所需的保守闭式隐私校准抵消了最终总体风险界中的这一增益。作者指出，更精确的隐私核算可能会揭示改进的 $\lambda$ 相关率。

5. 意义与主张

本文声称提供了超越凸学习的 DP 训练相关噪声机制的首个优化和总体风险分析，具体针对神经网络（KANs）。

理论新颖性：技术核心——结合辅助未投影动力学、移位迭代点和高概率自举——为分析非凸区域中的相关噪声 DP 训练提供了一条新途径，这可能对 KANs 之外也具有独立的兴趣。
实际相关性：通过涵盖小批量 SGD 和相关噪声，结果弥合了理论保证与现代深度学习及联邦学习系统中使用的“标准方案”之间的差距。
局限性：作者谦逊地承认，在当前的保守隐私校准下，相关噪声的最终总体风险率渐近地与独立噪声率相匹配。他们指出，更精确的隐私核算是一个开放问题，有可能在最终风险界中解锁相关性的理论优势。此外，目前的分析仅限于具有固定第二层系数的两层 KANs。