🤖 machine learning

Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

本文提出了解耦共形优化（DCO），这是一种采用独立数据划分分别进行结构选择与校准的“训练 - 调优 - 校准”框架，旨在实现标准的有限样本边际共形覆盖，同时相较于传统的耦合 PAC 风格方法显著减小预测集规模。

原作者： Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《解耦共形优化》（Decoupled Conformal Optimisation）的解释。

大局观：“双头”难题

想象你是一位厨师，试图为汤创造完美的食谱。你希望这碗汤既美味（高效/精简），又食用安全（可靠/覆盖全面）。

在现代机器学习中，我们使用一种称为共形预测（Conformal Prediction）的方法来创建“预测集”。模型不是只猜测一个答案（例如“会下雨”），而是给出一个可能性列表（例如“会下雨，或者可能下雪，或者可能下冰雹”），并保证真实答案出现在该列表中的概率达到一定百分比（例如 95% 的时间）。

这篇论文要解决的问题是：如何在打破安全保证的前提下，让这些列表尽可能小。

旧方法：“厨师品尝自己的汤”

传统上，当科学家试图让这些预测列表变得更小（更高效）时，他们使用同一批测试数据来完成两项工作：

工作 A（搜索）： 尝试不同的食谱，看看哪种食谱能生成最小的列表。
工作 B（安全检查）： 使用相同的数据来证明该列表是安全的。

缺陷： 这就像一位厨师尝自己的汤来决定是否准备好，然后再次尝同一碗汤来撰写健康检查报告。因为厨师已经根据第一次品尝调整了食谱，所以第二次品尝不再是一个公平、独立的测试。安全保证因此变得不可靠。

为了解决这个问题，以前的方法（称为"PAC 风格”或"CRC"）在食谱中添加了巨大的“安全边际”。他们让汤变得非常淡（预测列表变得非常大），仅仅是为了确保安全报告绝对正确。这很安全，但实用性不强。

新方法：DCO（“三间厨房”）

作者提出了一种名为解耦共形优化（Decoupled Conformal Optimisation, DCO）的新方法。他们建议将厨房分成三个不同的房间，由三个不同的团队负责：

房间 1：训练（练习厨房）
- 模型在这里学习基础知识。
房间 2：调优（研发实验室）
- 这个团队尝试不同的食谱、香料和烹饪时间。他们寻找生成最小列表的最高效方法。他们根据这些数据挑选出“最佳”食谱。
- 关键步骤： 一旦他们选出了优胜者，就丢弃用于挑选该食谱的具体测量数据。他们只保留食谱本身。
房间 3：校准（健康检查员）
- 这个团队获得新鲜、未受触碰的食材批次，研发团队从未见过这些食材。
- 他们从房间 2 获取“获胜食谱”，并在这一新批次上进行测试。
- 因为食谱是基于这一特定批次进行调整的，所以健康检查员可以给出严格、数学上完美的安全保证。

为何重要：“新鲜批次”的优势

通过将“搜索效率”（房间 2）与“安全检查”（房间 3）分离开来，作者获得了两全其美的效果：

安全性： 他们仍然获得了严格的数学保证，即预测列表在 95% 的情况下是正确的。
效率： 因为安全团队不必担心搜索团队通过“过拟合”数据来“作弊”，所以他们不需要添加那个巨大的“安全边际”。预测列表可以更小、更精确。

结果：更小的列表，同样的安全

该论文在真实世界数据上测试了这种方法（例如预测房价、糖尿病结果和图像识别）。

结果： 与旧的“安全第一”方法相比，DCO 生成的预测列表更小（更高效），同时仍能达到目标准确率。
示例： 在图像分类任务中，旧方法平均生成了 26.5 个可能答案的列表。DCO 将其减少到 25.3，且“最坏情况”下的列表（那些巨大的列表）也显著变小了。
注意事项： 如果你跳过“新鲜批次”步骤（如论文中的"DirectTune"方法），你可能会得到更小的列表，但会失去安全保证。这就像在没有健康检查的情况下供应汤——有时没问题，有时则不然。

总结

该论文认为，你不需要使用相同的数据来“搜索最佳模型”和“认证模型的安全性”。通过使用新鲜、独立的数据集专门进行最终的安全检查，你可以在不牺牲可靠性的情况下找到更高效的模型。这之间的区别在于：是一位厨师尝自己的烹饪来撰写健康报告（有风险），还是一位厨师聘请独立的检查员检查新鲜批次（安全且高效）。

技术摘要：解耦共形优化

问题陈述
现代共形预测（CP）旨在构建既有效（提供有限样本边际覆盖率）又高效（集合规模小或区间窄）的预测集。在贝叶斯共形优化中，从业者通常希望通过搜索结构选择（如非共形分数、先验超参数或模型架构）来提高效率。

在此过程中，数据分配方式引发了一个关键的方法论张力。标准的“耦合”方法（例如基于共形风险控制（CRC）和贝叶斯求积（BQ）的方法）使用同一个预留校准集来搜索高效的结构/阈值，并认证最终的风险或覆盖率。虽然这种耦合对于高概率风险控制保证（PAC 风格）是必要的，但作者认为，当目标是标准的有限样本边际共形覆盖率时，这种耦合并非必要。将校准数据重复用于搜索和认证，破坏了标准分割共形保证所需的交换性论证，往往导致为了维持有效性而采用过于保守的阈值。

方法论：解耦共形优化（DCO）
本文提出了解耦共形优化（DCO），具体为DCO-Warmstart协议，该协议采用“训练 - 调优 - 校准”的设计原则。该方法明确区分了数据角色：

训练集（ $D_{train}$ ）： 用于拟合贝叶斯模型并定义后验预测分布。
调优集（ $D_{tune}$ ）： 专门用于面向效率的结构选择。算法在候选结构类 $\Phi$ （例如分数函数、先验、架构）和阈值范围内进行搜索，以在满足经验未覆盖率约束的前提下最小化预期预测集大小。关键在于，此处找到的阈值（ $\hat{\lambda}_{tune}$ ）仅用于对候选者进行排序，并在部署前被丢弃。
校准集（ $D_{cal}$ ）： 专门用于计算最终的共形分位数。一旦从 $D_{tune}$ 中选出一个单一结构 $\hat{\phi}_{tune}$ ，最终阈值即计算为在独立 $D_{cal}$ 上计算的非共形分数的经验 $(1-\alpha)$ 分位数。

这种分离恢复了标准分割共形的交换性逻辑。由于最终结构是独立于 $D_{cal}$ 固定的，有限样本边际覆盖率的标准证明可直接适用，无需置信参数（ $\delta$ ）或多次检验校正。

主要贡献

设计原则： 将 DCO-Warmstart 表述为一个解耦流程，其中结构选择在独立的调优集上进行，而最终共形分位数在新鲜的校准集上计算。
理论保证： 证明了 DCO-Warmstart 继承了针对任何候选类 $\Phi$ （有限或无限）的标准有限样本边际覆盖率保证，前提是结构是独立于校准数据固定的。无需置信参数 $\delta$ 。
理论比较： 阐明了 DCO-Warmstart 与耦合方法（CRC/BQ）之间的区别。虽然 DCO 针对边际覆盖率，而 CRC/BQ 针对高概率风险控制，但论文表明，在风险估计器满足一致性的均匀性假设下，两种方法都收敛到相同的总体阈值 $\lambda^*$ 。
样本复杂度： 针对调优阶段给出了一个 oracle 不等式，确立了调优集所需的样本量，以便在独立校准步骤之前可靠地从有限候选类中选择高效结构。

实验结果
作者在回归（Diabetes、California Housing、Concrete）和分类（ImageNet-A、CIFAR-100）基准测试中评估了 DCO-Warmstart，将其与 BQ/CRC 风格的基线以及诊断性"DirectTune"基线（在 $D_{tune}$ 上优化但缺乏重新校准）进行了比较。

覆盖率： DCO-Warmstart 紧密跟踪标称覆盖率水平（例如，在 ImageNet-A 上为 0.801，目标为 0.8），满足边际覆盖率保证。
效率： 与倾向于更保守的耦合 BQ/CRC 基线相比，DCO-Warmstart 始终产生更小的预测集或更窄的区间。
- ImageNet-A： 平均集合大小从 26.52（BQ）降至 25.26；95 百分位集合大小从 58.95 降至 53.73。
- Diabetes： 平均区间宽度从 2.098（BQ）降至 1.914。
消融研究： 关于分割分配（例如 33/67 的调优/校准比例）的实验表明，调优集应足够大以稳定候选选择，而剩余数据应分配给校准以最小化分位数变异性。

意义与主张
论文主张，对于有限样本边际共形覆盖率这一特定目标，在同一数据上耦合优化和校准是充分的，但并非必要。通过解耦这些步骤，DCO-Warmstart 允许进行显式的效率搜索（优化结构和阈值），同时保留标准分割共形预测的严格、分布无关的有效性保证。

作者强调，当科学目标是高概率风险控制（保证风险约束以 $1-\delta$ 的置信度在校准样本上成立）时，DCO-Warmstart 并非 CRC/BQ 方法的替代品。然而，当目标是标准边际覆盖率时，DCO-Warmstart 通过避免在单一数据分割上耦合搜索和认证过程所引入的保守性，提供了一种理论健全且实证上更高效的替代方案。