📊 statistics

Generalized Conformal Predictive Systems Under Distributional Shifts

本文通过引入观测特定置换权重和权重不确定性框，将广义共形预测系统扩展到非交换设置，从而在分布偏移下提供具有有限样本或渐近保证的有效、偏移感知预测带。

原作者： Jef Jonkers, Johanna Ziegel

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Jef Jonkers, Johanna Ziegel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名气象预报员。你的工作不仅仅是说“明天会下雨”；而是要说，“我有 90% 的把握会下雨，以下是可能性的范围。”在机器学习的世界里，这被称为不确定性量化（uncertainty quantification）。你希望你的预测是“经过校准的”，这意味着如果你说有 90% 的降水概率，那么在做出这种预测时，实际上应该有 90% 的时间是在下雨。

长期以来，一种被称为**符合预测系统（Conformal Predictive Systems, CPS）**的工具一直是黄金标准。它就像一个安全网：它能给出一个包含真实结果的“区间”（一个下限和一个上限），但在“过去的数据看起来与未来的数据完全一致”的前提下，这在数学上是得到保证的。

问题所在：“新世界”场景
这篇论文针对这个安全网的一个重大缺陷提出了质疑：分布偏移（Distributional Shift）。

想象一下，你用加州阳光明媚的夏季数据训练了一个天气模型。现在，你试图用它来预测伦敦阴雨连绵的冬季天气。数据发生了偏移。规则改变了。如果你使用旧的安全网，它会失效，因为它假设过去（加州）和未来（伦敦）是可以互换的。而现实并非如此。

解决方案：加权票券与不确定性盒子
作者 Jef Jonkers 和 Johanna Ziegel 提出了一种方法来修复这个安全网，使其即使在世界发生变化时也能正常工作。他们通过两个巧妙的步骤来实现这一点：

1. 加权抽奖（排列权重）

把你的训练数据想象成一袋弹珠。在旧的方法中，每颗弹珠都有相等的机会成为“未来的”那颗弹珠。但当世界发生偏移时，某些弹珠更有可能代表未来，而另一些则不然。

作者引入了权重。

如果一颗弹珠（一个数据点）看起来更像是属于新的、多雨的伦敦，它就会获得重权重（在抽奖中获得一张大额票券）。
如果一颗弹珠看起来像是属于阳光灿烂的加州，它就会获得轻权重（一张微小的票券）。

通过使用这些加权票券，系统可以“重新平衡”这袋弹珠，使得过去的数据能够有效地模拟未来的数据。这使得安全网能够伸展并覆盖新的现实。

2. 不确定性盒子（当我们不知道权重时）

这里是最棘手的部分：在现实世界中，我们很少知道确切的权重。我们必须进行猜测。

类比： 想象你正试图猜测一张票券的重量，但你的秤有点晃动。你可能猜这张票券是“10 克”，但它实际上可能在 8 到 12 克之间的任何地方。

作者引入了一个概念，叫做权重-不确定性盒子（Weight-Uncertainty Boxes）。与其信任单一的猜测，不如围绕这个猜测创建一个可能性的“盒子”。

他们会问：“如果权重处于盒子的最低端会怎样？如果它处于最高端又会怎样？”
然后，他们构建了一个覆盖了该盒子内所有可能性的超级安全网。

这使得系统具有鲁棒性（稳健性）。如果你的权重猜测稍有偏差，安全网仍然足够宽，能够捕捉到真相。这个网的“厚度”告诉你应当有多大的不确定性。网很薄意味着你很有信心；网很厚意味着数据正在剧烈偏移，你应该保持谨慎。

实际应用中它是如何运作的

论文在三种不同类型的“预报员”上测试了这些方法：

分箱法（Binning）： 将数据分组放入桶中。
符合得分（Conformal Scores）： 对一个新数据点相对于旧数据点显得多么“奇怪”进行排名。
保序回归（Isotonic Regression）： 一种平滑的曲线拟合方法。

他们在两种场景下进行了测试：

合成数据： 使用计算机模拟，人为地偏移数据以观察数学逻辑是否成立。
现实世界生物学： 一项关于 AAV 病毒（用于基因治疗）的研究。在这项实验中，科学家设计新的病毒序列以实现更好的包装能力。然而，选择“最佳”序列的过程改变了数据分布（一个反馈循环）。旧的方法无法准确预测其在这一新环境中的结果，但作者的加权方法成功地重新校准了预测，确保了安全网依然有效。

核心总结

这篇论文不仅是在说“我们修复了数学问题”，它还展示了：

当数据发生偏移时，标准方法会变得过度自信且出错。
通过使用加权票券，你可以适应新世界。
通过使用不确定性盒子，你可以考虑到你的权重只是估计值这一事实，从而确保你永远不会失去你的安全网，即使你的估计并不完美。
结果是：当偏移强烈时，系统会变得更宽（更具不确定性）；当你有更多数据时，它会变得更紧凑（更精确），从而为你提供一个关于你能多大程度上信任你的预测的诚实衡量。

简而言之，他们构建了一个智能、可适应的安全网，这个网知道地基已经移动，从而确保即使在不断变化的世界中，机器学习的预测依然值得信赖。

技术摘要：分布偏移下的广义共形预测系统

1. 问题陈述

部署在决策场景中的机器学习系统不仅需要准确的点预测，还需要统计可靠的不确定性量化。具体而言，预测分布必须是校准的（calibrated），即预测概率应与经验频率相匹配，且预测区间应达到其目标覆盖率。

实现样本外校准的一个主要障碍是分布偏移（distributional shift）。经典的共形预测方法依赖于**可交换性（exchangeability）**假设（即数据点是同分布且顺序无关的）。在实践中，这一假设经常被违反，例如：

协变量偏移（输入分布的变化）。
标签偏移。
时间漂移。
自适应或反馈驱动的数据收集（例如在生物分子设计中）。

虽然先前的研究已将共形预测系统（CPS）扩展到特定的偏移机制（例如通过似然比处理已知的协变量偏移），但仍缺乏一个通用的**广义共形预测系统（GCPS）**框架，该框架能够处理任意分布偏移，并考虑到估计偏移权重时的不确定性。核心挑战在于构建预测包络（即累积分布函数 CDF 的集合），使其即使在测试点来自与训练数据不同的分布、且用于修正该偏移的权重是估计而非已知的情况下，仍能保持有效性和校准性。

2. 方法论

2.1. 理论框架：置换权重

作者通过引入**置换权重（permutation weights）**将 GCPS 扩展到非可交换设置。该方法不再假设测试点 $Z_{n+1}$ 与训练集 $\{Z_1, \dots, Z_n\}$ 是可交换的，而是基于观测到的无序多重集进行建模。测试点在这些原子中的身份被建模为具有概率 $w_i$ 的加权抽取。

加权经验律： 对于候选响应值 $y'$ ，该方法构建了一个加权观测度量 $\mu_{obs}$ 以及一个包含测试点及其实现权重 $w_{n+1}$ 的假设全度量 $\tilde{\mu}$ 。
偏移感知包络： 通过将带有特定权重的测试原子插入校准集来构建预测系统。定理 1 确立了如果底层的分布回归程序 $G$ 是样本内校准的（概率性的、保序的或自动校准的），则生成的预测系统 $\Pi[X_{n+1}]$ 在真实的（可能是非可交换的）法则下包含一个校准的预测 CDF。

2.2. 处理权重不确定性

在实践中，偏移权重很少是已知的，必须通过估计（例如通过密度比）获得，这引入了认识论不确定性（epistemic uncertainty）。为了解决这个问题，作者引入了权重不确定性框（weight-uncertainty boxes）：

定义： 在估计权重 $\hat{w}_i$ 周围构建的坐标级乘性界限，定义为 $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$ 。
置信区域： 该框 $WWU_\alpha$ 被视为真实权重的 $(1-\alpha)$ 置信区域。
鲁棒包络： 该方法通过在不确定性框内的所有权重向量上优化预测系统边界来构建权重鲁棒 CDF 包络。这产生了一组 CDF，即使权重在框内被误设，也能以至少 $1-\alpha$ 的概率保证包含一个校准的分布。

2.3. 高效计算

论文推导了三种特定 $G$ 实例的高效计算规则，避免了对所有候选 $y'$ 值进行朴素遍历：

共形分箱（CBIN）： 在分箱内使用加权经验 CDF。其鲁棒包络具有闭式表达式，通过将 $Y_i \leq y$ 的原子推向其权重上界，并将 $Y_i > y$ 的原子推向其下界来推导。
符合度度量 CPS（CMCPS）： 应用与 CBIN 相同的逻辑，但作用于符合度得分而非原始结果。
共形保序分布回归（CIDR）： 使用反单调回归。其鲁棒包络通过两次运行保序回归程序（PASTA）来计算：一次根据指示值使用其权重上界，另一次使用下界。

3. 核心贡献

本文做出了三个主要贡献：

向非可交换性的扩展： 通过置换权重编码对可交换性的偏离，将 GCPS 扩展到非可交换序列，构建了在任意分布偏移下依然有效的偏移感知预测系统。
对权重不确定性的鲁棒性： 开发了基于权重不确定性框的鲁棒预测系统。这些系统提供了有限样本或渐近置信保证，确保包络包含一个校准的预测 CDF，且包络的厚度反映了有限样本不确定性和权重误设。
高效算法与实证验证： 提供了 CBIN、CMCPS 和 CIDR 的高效评估规则和闭式解。实验证明，偏移感知加权提高了预测性能并保持了在反馈协变量偏移下的校准性，同时带状宽度有效地量化了认识论不确定性。

4. 实验结果

4.1. 合成协变量偏移

实验在具有协变量偏移的 5D 回归任务上进行。

校准性： 未加权方法显著欠覆盖（覆盖率 $\approx 0.83-0.88$ 对比标称值 $0.90$）。
加权方法： Oracle 加权和估计加权均恢复了接近标称水平的覆盖率（ $\approx 0.91-0.93$ ）。
不确定性传播： “估计 CI 加权”（使用不确定性框）最为保守，实现了高达 $\approx 0.97$ 的覆盖率。这以略高的 CRPS（连续秩概率评分）和更宽的带状宽度为代价，正确反映了来自权重估计的额外认识论不确定性。
样本量： 随着训练和校准样本量的增加，共形带逐渐收窄，表明认识论不确定性降低。

4.2. 反馈驱动的生物分子设计（AAV 衣壳）

该方法应用于腺相关病毒（AAV）衣壳包装设计，这是一个涉及**反馈协变量偏移（FCS）**的场景，其中测试分布是基于模型预测设计的。

设置： 测试分布通过变化的“逆温度”参数（ $\lambda$ ）生成，使质量向具有高预测包装适应性的序列偏移。
性能： 与未加权变体相比，重要性加权在各种偏移范围内恢复了接近标称的覆盖率。
极端偏移： 在最极端的偏移（ $\lambda=7$ ）下，加权方法显示出略差的 CRPS 和更宽的带状宽度，这与有效样本量的崩溃和认识论不确定性的增加是一致的。
可靠性： 加权程序在稀有、高价值结果（极端事件）方面保持了良好的校准，证实了其在高风险设计设置中的效用。

5. 意义与主张

本文声称建立了 Venn-Abers 风格预测器（一种特殊的共形 IDR）在分布偏移和权重不确定性下的首个样本外校准保证，并将其纳入统一的预测系统框架中。

作者强调，预测带的宽度是认识论不确定性的一个信息指标。在他们的偏移感知设置中，带状宽度既捕捉了学习条件分布 $Y|X$ 的不确定性，也捕捉了估计偏移权重的确定性。这使得从业者可以：

报告一个代表性的预测用于常规使用。
同时报告对决策相关量（如尾部风险）的带状隐含界限，以确保决策对认识论不确定性是鲁棒的。

这项工作将 GCPS 定位为不仅仅是符合度得分的包装器，而是一个灵活的校准框架，它可以包装任何样本内校准的分布回归程序，从而将其有效性扩展到远超交换性假设的范围。

6. 局限性

作者指出了两个具体的注意事项：

联合置信区域： 定理 2 要求权重不确定性框是真实权重的有效联合置信区域。在实验中，这是通过拟合倾向模型渐近构建的。
固定活跃集： CBIN 和 CIDR 的闭式包络假设活跃集（对于分箱）或排序（对于 IDR）在整个不确定性框内是固定的。这限制了分箱和排序的选择，使其必须由加权前的定义决定。