🤖 machine learning

Bound to Disagree: Generalization Bounds via Certifiable Surrogates

本文通过利用通过样本压缩、模型压缩或 PAC-Bayes 理论训练的可验证差异代理（certifiable disagreement surrogates），在不修改目标模型或其训练过程的情况下，引入了一种用于推导深度学习模型非空泛泛化界限的新型框架。

原作者： Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你构建了一个超级聪明、巨大的机器人大脑（一个深度神经网络）来解决一个谜题。它非常擅长这个谜题，但没有人确切知道它在面对从未见过的全新谜题时表现会如何。事实上，我们通常用来预测其未来性能的大多数数学方法要么完全没用（比如说“它可能 100% 正确或 0% 正确”），要么需要修改机器人的大脑以适应这些数学公式，而这会毁掉这个机器人。

这篇题为**《分歧之界》（Bound to Disposed Agree）**的论文提供了一种巧妙的新方法，可以在不触碰机器人大脑且不使用无用数学的前提下，检查该机器人的未来性能。

核心思想：“代理模型”与“分歧”

把你的巨大机器人大脑想象成一个目标模型（Target Model）。它复杂、强大且难以测量。作者说：“让我们构建一个微小的、简单的机器人大脑，称之为代理模型（Surrogate Model）。”

这个代理模型足够小，以至于我们可以轻松证明它解决谜题的能力有多强。但问题在于：代理模型需要表现得几乎和那个巨大的机器人一模一样。

作者的秘诀在于衡量分歧（Disagreement）。他们取一小堆未标记的图片（机器人尚未见过的数据），并要求巨大的机器人和微小的机器人同时对答案进行猜测。

如果它们在几乎所有事情上都达成一致，那么微小机器人经过验证的过往战绩就是对巨大机器人未来表现的一个极佳预测。
如果它们分歧很大，那么巨大的机器人可能就有麻烦了。

论文证明了巨大机器人的真实性能与微小机器人经过验证的性能之间的差距，直接取决于它们在这些未标记图片上的分歧频率。

他们排除了什么（“不必尝试”清单）

作者非常明确地指出了哪些方法对于这个特定目标是无效的，并且不希望你浪费时间在这些方法上：

不要试图改变巨大的机器人： 你不需要重新训练目标模型或调整其架构。该方法直接作用于训练好的模型本身。
不要依赖“基于范数（Norm-based）”的界限： 这些是旧式的数学技巧，通过观察机器人权重的规模来进行计算。论文指出，这些方法通常是“空洞的”（即给出的答案范围大到毫无意义，比如预测误差在 0 到 10 亿个百分点之间）。
不要依赖“基于划分（Partition-based）”的界限： 这些方法试图将数据切分成块。作者发现这些方法通常是平凡的，其估算的性能就像机器人是在随机猜测一样（在某些任务中约为 90% 的误差）。
不要要求在检查时使用带标签的数据： 与许多其他需要大量带标签数据（即人类已经写好答案的数据）来检查模型的算法不同，这种方法只需要一小堆未标记的数据（没有答案的图片）。这获取起来更便宜、更快速。

如何测试（“实验室”结果）

作者不仅是在凭空构想，他们还构建了模型并在现实世界的谜题上进行了测试。他们使用了三种不同的方式来构建他们的“微小机器人”代理模型：

样本压缩（Sample Compression）： 挑选一个极其微小且完美的训练数据子集来代表整体。
模型压缩（Model Compression）： 对模型进行“缩减包装”（类似于将高分辨率照片变成微小的缩略图），且不损失太多质量。
PAC-Bayes： 使用一种统计框架，将模型视为一种可能性的分布，而非单一固定的脑结构。

他们在以下数据集上进行了测试：

MNIST： 识别手写数字。
CIFAR10： 识别小图中的物体，如飞机或猫。
Amazon Polarity： 阅读电影评论以判断其情感倾向（使用像 DistilBERT 和 GPT2 这样的大型语言模型）。

结果：
在这些实验中，他们的新型“分歧”界限是紧致且可计算的。

对于 MNIST 手写数字，他们通过模型压缩法找到了一个约 3.45% 的泛化界限（安全误差限制），而传统的“基于范数”的方法给出的数字巨大到毫无意义（例如 $3.14 \times 10^8$ 个百分点）。
对于 CIFAR10，他们通过模型压缩得到了 35.06% 的界限，而旧方法要么毫无用处，要么估算的性能就像模型在随机猜测一样（约为 90% 的误差）。
他们甚至展示了，如果将模型缩小到 4 位（4 bits）（使其变得极小且快速），分歧界限可以保证缩减后的模型表现几乎与原大模型一样好，其分歧差距仅约为 2%。

我们有多确定？

论文提供了数学证明（定理），表明这些界限以高概率成立（具体而言，置信度为 99%，即 $1-\delta = 0.99$ ）。

核心思想——即误差差距受分歧程度限制——在零一损失（zero-one loss，即简单的对/错判断）和 Lipschitz 损失（平滑、连续的误差）下都有数学证明。
特定的数值（如 3.45% 或 35.06% 的界限）是他们在特定数据集上的实验测量结果。它们不是模拟值，而是对已训练模型的实际计算。
作者承认一个局限性：最终界限的质量完全取决于“微小机器人”（代理模型）的表现如何。如果你无法找到一个能与巨大机器人保持一致的优秀代理模型，那么该界限就不会足够紧致。

总结

这篇论文提出了一种建立 AI 信任感的新型、实用的方法。与其试图将复杂的模型强行塞进一个不匹配的框子里，或者使用给出无用答案的数学，不如构建一个可验证的“孪生兄弟”，通过检查它们在少量未标记样本上的分歧程度，从而保证大模型在现实世界中的表现。这是一种无需重建模型即可确保你的机器人不会让你失望的“可验证”方式。

技术摘要：不一致性约束：通过可验证代理实现泛化界限

问题陈述

深度学习模型，特别是过度参数化的神经网络，其表现出的经验成功与经典的统计学习理论（该理论通常预测过拟合）相矛盾。尽管在基于 VC 维、Rademacher 复杂度、信息论和 PAC-Bayes 理论的泛化界限方面已有大量研究，但现有针对深度神经网络的界限仍存在三个主要局限性：

空洞性（Vacuousness）： 当应用于中大型网络时，许多界限产生的数值大于 1（或产生平凡的上界）。
不可计算性（Non-computability）： 一些界限依赖于无法计算的通用常数，或者需要对输入空间做出难以处理的假设。
限制性（Restrictiveness）： 许多有效的界限仅适用于模型的修改版本（例如剪枝或量化后的模型），而非原始预测器，或者要求特定的架构约束（例如门控激活）。

本文旨在解决开发一种既可计算、又非空洞，且能应用于任何预测器而无需修改目标模型或其训练过程的泛化界限的需求。

方法论

作者提出了一个将复杂目标模型的认证与界限本身的推导相解耦的框架。核心策略包括：

代理建模（Surrogate Modeling）： 训练一个拥有紧凑且可计算的泛化保证的更简单的“代理”模型。该代理模型旨在模仿目标模型的行为。
不一致性度量（Disagreement Bounding）： 使用在一个未用于训练的少量无标签数据集（ $U$ ）上评估的“不一致性”指标，来衡量目标模型（ $f$ ）与代理模型（ $h$ ）之间的真实风险差距。
风险聚合（Risk Aggregation）： 将代理模型的紧凑泛化界限与不一致性界限相结合，从而为目标模型的真实风险设定上界。

理论贡献

本文根据损失函数的不同，形式化了三种特定的基于不一致性的界限：

零-一损失（定理 5）： 对于零-一损失，不一致性定义为 $f$ 与 $h$ 在无标签集上的预测差异的经验频率。该界限利用二项分布尾部反转（Langford, 2005）来上界化真实的风险差距。
$R_D(f) \leq R_D(h) + \text{Bin}(m \cdot d_U^{0-1}(f, h), m, \delta)$
利普希茨连续损失（定理 6）： 对于如 Huber 或 logistic 等损失（这些损失相对于 softmax 输出是利普希茨连续的），不一致性通过两个模型之间 softmax 分布的 $L_1$ 距离来衡量。该界限采用了单位区间内变量的 Chernoff 界。
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + 2K_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_U^{K_\ell}(f, h)]}{2}, \frac{\log(1/\delta)}{m}\right)$
非利普希茨损失（定理 7）： 对于可能在没有约束时非利普希chitz 的交叉熵损失，作者建议使用一个小的有标签留出集来测量模型之间损失值的绝对差值。
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + \lambda_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_L(f, h)]}{\lambda_\ell}, \frac{\log(1/\delta)}{m}\right)$

框架集成

该方法论对于用于认证代理的具体框架具有不可知性。作者通过将其不一致性界限与三种不同的理论框架相结合，展示了其多功能性：

样本压缩（Sample Compression）： 使用诸如 Pick-To-Learn 或 Coreset 选择算法（例如 Random Coreset, k-Center Greedy）来基于训练数据的子集定义代理。
模型压缩（Model Compression）： 利用 SubLoRA（子空间低秩自适应）和量化技术来减少代理的模型描述长度。
PAC-Bayes 理论： 训练随机神经网络，其中代理是假设的分布，通过与先验的 KL 散度进行界定。

关键结果

作者在 MNIST、CIFAR10 和 Amazon Polarity 数据集（使用 DistilBERT 和 GPT2）上对该框架进行了经验评估。

紧凑性（Tightness）： 提出的基于不一致性的界限明显比现有的可计算界限更紧凑。例如，在 CIFAR10 上，基于范数的界限是空洞的（数值 $> 10^{21}$ ），而基于划分的界限是平凡的（约 90% 的误差）。相比之下，新的界限实现了非空洞的结果（例如，CIFAR10 上 PAC-Bayes 代理的误差为 28.13%）。
多功能性： 该方法成功认证了不同架构（CNN、ResNet、Transformer）和不同损失函数（零-一、交叉熵、Huber）的目标模型。
代理选择： 实验表明，Random Coreset 方法在样本压缩中通常能产生最紧凑的界限，而 SubLoRA 在模型压缩方面非常有效。有趣的是，最小化无标签集上的不一致性并不总是能产生最紧凑的最终界限；在某些情况下，具有最紧凑内在泛化界限的代理（即使其不一致性较高）表现更好。
使用场景：
- 认证： 为标准的确定性模型提供非空洞的界限。
- 蒸馏： 在最小化不一致性的同时，认证蒸馏模型的风险。
- 量化： 约束目标模型与其量化版本之间的性能差距，确保压缩不会导致显著的性能下降。

意义与主张

本文声称提供了一个完全可计算、非空洞且无假设的泛化界限框架。其主要意义在于：

复杂度解耦： 它通过将理论保证的负担转移到更简单的、可认证的代理模型上，从而实现了对复杂、任意模型的认证。
极低的数据需求： 该方法仅需要少量的无标签数据集（比有标签数据更容易获得且成本更低）来评估不一致性，这使得大规模应用具有实际可行性。
无需修改： 与以往需要对目标模型进行剪枝、量化或架构更改才能推导界限的工作不同，该方法可以“按原样”应用模型。
广泛适用性： 该框架不受特定损失函数或模型类的限制，能够兼容零-一、利普希茨和非利普希茨损失，以及确定性和随机性预测器。

作者承认了局限性，指出最终界限的紧凑性本质上取决于代理模型自身泛化保证的质量。此外，寻找一个既能被认证又与高度复杂的目标模型足够接近的代理模型仍然是一个挑战。然而，这项工作建立了一种新的范式，即通过“不一致性”而非直接对目标模型进行复杂度分析来获得泛化保证。