📊 statistics

Replicable Conformal Prediction

本文介绍了一种通过共享随机种子并将阈值舍入到粗糙网格来实现可复制符合预测的方法，该方法在确保不同分析师之间获得一致的预测集的同时，以预测集大小和数据需求的量化代价来维持有效的覆盖保证。

原作者： Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的世界里，模型通常被视为成品，就像相机镜头或医疗扫描仪一样，随时可以供需要的人使用。但在模型能够被信任用于现实世界的决策之前，必须对其进行校准。这个过程就像是调频收音机，以找到信号清晰、杂音消失的确切频率。在符合预测（conformal prediction）这一特定领域中，这种调优决定了模型承认多少不确定性。模型不再只给出一个单一答案，而是提供一组可能的答案，并承诺在大多数情况下，真实答案都在这个集合之内。这对于医学或法律等高风险领域至关重要，因为了解预测的极限与预测本身同样重要。然而，当两个不同的团队尝试使用各自独立的数据来调优同一个模型时，一个奇怪的问题出现了。即使他们遵循完全相同的规则，最终也会得到略有不同的设置，从而导致不同的答案集。这种不一致性不仅仅是一个小小的烦恼；它创造了一个漏洞，使得坏人可以反复尝试不同的设置，直到找到一个在理论上看起来很好、但在现实中却会失效的设置，而这一切看起来又像是完全遵守了规则。

研究人员 Marios Papamichalis、Regina Ruane 和 Theofanis Papamichalis 着手解决这个不一致性的问题。他们提出了一个简单而深刻的问题：两个独立的团队，在使用各自数据的情况下，能否每次都产生完全相同的答案集？他们发现，如果团队试图追求完美的精确度，如果不忽略数据，他们就无法成功，而忽略数据则会让系统变得毫无用处。数学证明，当数据是连续的且团队是相互独立的，实现完全一致是不可能的。然而，该团队找到了一种非常接近的方法。他们开发了一种名为 RECAL 的方法，其中涉及一个巧妙的技巧：将调优设置向上舍入到共享的、隐形网格上的最近标记。通过预先商定这个网格和起点，团队可以确保他们的最终设置以极高的概率落在同一个位置。

研究人员在真实世界的数据上测试了这个想法，包括来自大规模照片数据库的图像以及由几种不同的大型语言模型生成的文本。他们发现，如果没有他们的方法，两个诚实的团队几乎永远无法产生相同的结果；他们的答案在近一半的情况下都会有所不同。使用这种新方法，他们可以让团队在超过 90% 的情况下强制达成一致，甚至在追求更严格的一致性时达到 100%。这种一致性是以一个小代价换取的：为了确保真实答案仍被捕捉到，答案集会变得稍微大一些。但研究人员表明，对于任何要求如此高水平一致性的系统来说，这种代价是不可避免的。惩罚的大小取决于可用数据的多少；随着数据的增加，惩罚会缩小，但永远不会完全消失。

或许最关键的发现是这种方法如何防御操纵。研究人员证明，如果对手尝试运行二十次校准过程并挑选看起来最有利的版本，标准方法会完全失效，产生极其危险且不可靠的答案。然而，新方法却起到了盾牌的作用。由于设置被锁定在共享网格上，对手无法找到一个“更好”的版本；他们被迫只能从一组非常有限的、完全相同或几乎相同的选项中进行选择。这意味着即使有人在积极尝试钻空子，系统依然保持诚实和可靠。该团队在不同类型的数据（从医院记录到语言模型）中验证了这些结果，证明了该理论在实践中是成立的。他们还证明，如果没有一个共同的起点，人们所能做到的极限仅仅是将可能性缩小到两个相邻的选项，但这仍然比目前标准的完全混乱状态有了显著的改进。

这项工作为我们如何信任由不同群体部署的人工智能系统建立了新的标准。它表明，虽然实现完美的、与数据无关的一致性在数学上是不可能的，但我们可以做到足够接近，从而使系统具有可验证性和安全性。解决方案需要一个共享的种子（seed），一种数字握手，以确保每个人看到的都是同一张地图，并且需要愿意接受一点点额外的不确定性，以换取完全的一致性。在一个人工智能模型越来越多地被用于做出关键决策的世界里，保证两个不同的分析师得出相同结论的能力不仅是一个技术细节，更是信任的基础。研究人员已经提供了让这种保证成为现实的工具，将一个理论上的不可能变成了实用的、可复制的标准。

技术摘要：可复现符合预测 (Replicable Conformal Prediction)

问题陈述
标准的拆分符合预测（split conformal prediction）会产生具有有限样本覆盖保证的集合值分类器。然而，当两名独立的分析师在各自持有的留出样本上分别校准一个符合预测器时，他们几乎确定会部署不同的分类器。这是因为校准后的阈值是连续分布分数的阶统计量；因此，两次独立校准产生相同阈值（并由此产生相同分类器）的概率为零。

这种缺乏可复现性的现象为需要进行哈希、缓存、版本控制或审计的部署制品带来了显著问题。此外，这种不稳定性是可被利用的：攻击者可以多次重新抽取校准集，并选择最有利的一次抽取，从而导致系统性的覆盖率不足，而这种现象在标准支持检查中是无法检测到的。虽然存在“单点稳定性”（one-point stability）的概念，但它们并不保证部署的分类器在多次运行中是完全一致的。

方法论：RECAL
本文提出了 RECAL（可复现校准），该程序确保两名独立的分析师能以高概率（ $1-\rho$ ）部署完全相同的分类器，同时保留边际覆盖保证。

共享种子与舍入： RECAL 利用共享随机种子生成一个固定网格宽度 $\beta$ 的随机偏移量 $u$ 。分析师计算标准的符合阈值 $\hat{\tau}$ ，并将其向上舍入到由 $u + \beta\mathbb{Z}$ 定义的最近网格点。
- 向上舍入确保了边际覆盖保证（ $\ge 1-\alpha$ ）在无条件情况下得以保留，因为预测集只会扩大。
- 共享网格确保了如果未舍入的阈值 $\hat{\tau}$ 和 $\hat{\tau}'$ 落入同一个网格单元内（或以特定方式跨越边界），则舍入后的阈值 $\tau$ 和 $\tau'$ 将是相同的。
理论框架：
- 精确复现的不可能性： 本文证明，对于任何对每种分布都保持一致有效性的程序，精确复现（概率为 1 的相同输出）是不可能的；此外，若使用共享随机性，精确复现将迫使输出变为数据无关的（忽略数据），从而使分类器失去信息量。
- 局部边际假设： 分析依赖于局部边际条件（假设 1），即假设分数分布在目标分位数的邻域内密度远离零和无穷大。这使得可以在样本复杂度界限中使用显式常数。
- 无种子变体： 在没有共享种子的情形下，本文指出，在失败概率低于 $1/2$ 之前，实现精确单点复现是不可能的。然而，通过确定性网格可以将所有分析师限制在由两个相邻分类器组成的共同列表中，这在无种子设置中是优化的。
对选择的鲁棒性： 本文分析了“选择性再校准”（selective recalibration）的情况，即攻击者从 $M$ 次校准抽取中选择最优的一次。本文证明，如果一个程序是 $\rho$ -可复现的，那么攻击者在 $M$ 次抽取中找到一个不同分类器的概率受限于 $\min\{1, (M-1)\rho\}$ 。这防止了标准拆分符合预测在受到选择影响时出现的系统性覆盖率不足问题。

核心贡献

不可能性理论： 作者确立了精确复现与非平凡有效性是不相容的，并且共享随机性对于有意义的可复现性是必要的。他们刻画了无种子复现的边界为由两个元素组成的相邻分类器列表。
RECAL 算法： 一种具体的、可复现的拆分符合校准器，具有保留的有效性。本文提供了实现目标可复现性 $\rho$ 和覆盖误差 $\epsilon$ 所需校准规模 $n$ 的显式有限样本常数： $n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$ ，其中 $\kappa$ 限制了局部分数密度比。
下界： 本文推导了带有显式常数的下界，表明对于任何阈值校准器，样本复杂度和集合大小的膨胀都是不可避免的。集合大小的代价被证明是 $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$ 。
插件程序（Plug-in Procedure）： 引入了一种试点程序，用于从数据中估计密度常数 $\kappa$ ，从而在渐近意义上消除了对预设 $\hat{\kappa}$ 的需求。
实证验证： 在 ImageNet（合成与真实数据）、小型数字任务以及四个大型语言模型家族（GPT-2, Pythia, Qwen, Llama）上的实验表明，RECAL 达到了预测的可复现性目标。实验证实，标准符合预测的恒等性几乎为零，而 RECAL 在承担可量化预测集大小代价的同时，实现了高恒等性（例如 0.95–1.00）。

结果

可复现性： RECAL 成功实现了目标非复现率 $\rho$ 。例如，在 $\rho=0.1$ 时，该方法在合成图像数据上实现了 0.95 的恒等率，在真实语言模型上实现了 0.89–0.96 的恒等率。
覆盖率： 边际覆盖得到保留（ $\ge 1-\alpha$ ）。实现的覆盖率集中在网格原子上，防止了标准符合预测中出现的 Beta 分布波动。
集合大小代价： 该方法会对预测集的大小造成代价。在真实语言模型上，当 $\rho=0.1$ 时，集合大小增加了 55–59%。论文指出，对于具有重尾词表的模型（如 Qwen），由于分数空间的几何特性，这一代价可能会显著更高，但这属于分数空间的属性，而非方法的缺陷。
选择攻击： 在压力测试中，当攻击者从 20 次再校准中选择覆盖率最低的一次时，标准拆分符合预测出现了显著的覆盖不足（0.892 vs 标称值 0.900）。然而，RECAL 保持了高于标称水平的覆盖率，因为所有候选者都是向上舍入的有效阈值。

意义与主张
本文声称提供了符合预测领域第一个关于可复现性的框架，解决了标准方法在独立运行之间无法产生相同制品这一关键空白。其重要性在于：

可审计性与缓存： 使部署可验证、可缓存且可版本化的符合预测器成为可能，这对于监管审计和生产系统至关重要。
选择鲁棒性： 为“选择攻击”提供理论和实践上的防御，即防止各方通过挑选校准集来操纵覆盖率。
权衡特征化： 明确量化了可复现性的代价（以样本量和预测集大小衡量），并展示了这些代价是不可避免的，并给出了最优速率。

作者对其局限性保持了谦逊的态度，指出在真实图像实验中使用了交叉验证概率而非来自单个冻结网络的原始 Logits，并且临床站点拆分路径受限于较小的样本量（ $n \le 303$ ）。他们还承认，虽然在渐近意义上可以移除密度常数 $\kappa$ ，但在有限样本下的统一移除仍是一个开放性问题。

技术摘要：可复现符合预测 (Replicable Conformal Prediction)

类似论文