📊 statistics

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

本文提出了一个处理共形贝叶斯（Conformal Bayes）中标签偏移的统一框架，通过对比事后校准（即在保持参数后验分布固定的情况下调整共形阈值）与训练中自适应（即对参数后验分布本身进行重加权），证明了两者均能实现有效的覆盖率，但后者在偏置训练机制下具有更高的效率。

原作者： Seungjin Choi

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seungjin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名天气预报员。你建立了一个基于特定地区（我们称之为“源城市”）多年数据的模型。你的模型在预测源城市的降雨方面表现出色。

现在，你被要求为另一个地点——“目标城市”进行天气预报。然而，这里有一个难点：目标城市的气候特征不同。目标城市的降雨频率比源城市高得多，但当降雨发生时，其天气模式（云层、风力、湿度）与源城市完全相同。这就是论文中所说的标签偏移（Label Shift）：结果的发生频率（降雨 vs 不降雨）发生了变化，但天气征兆与降雨之间的关系并未改变。

如果你只是直接将旧的源城市模型用于目标城市而不进行调整，你的预测将会出错。你可能会说：“降雨的可能性只有 10%”，但实际上，真实概率是 50%。

这篇论文介绍了一种名为 Conformal Bayes 的方法来解决这个问题。它不是给出一个单一的数字（例如“50% 的概率”），而是给出一个预测集（例如：“降雨概率在 40% 到 60% 之间”）。其目标是确保即使在新的气候条件下，这个范围也能达到 90% 的准确率。

作者提出了两种不同的修复模型的方法，分别称为策略 A 和策略 B。

两种策略

策略 A：事后倾斜（快速修复法）

可以将其想象为在你完成天气报告后，在递交给客户之前，简单地重新标注页面。

工作原理： 你保持原始模型完全不变。你不触碰内部的数学逻辑。相反，当你在计算最终预测范围时，你会对数据应用一个“权重”。如果新城市降雨更多，你会从数学上“倾斜”你的最终答案，以解释这种额外的降雨。
类比： 想象你有一张源城市的地图。你不需要重画地图。相反，你在地图上覆盖一层透明薄片，上面写着过滤器：“记住，这里的降雨更多。”然后，你基于这个经过过滤后的视图绘制你的预测圆圈。
优点： 它很安全，即使你不知道原始模型是如何构建的（即“黑盒”模型），它也同样适用。
缺点： 如果原始模型本身已经存在偏差（例如，它仅在降雨严重的日期进行训练），那么这种方法只能调整最终的数值，却无法修复模型思维中的底层偏差。

策略 B：训练中倾斜（深度修复法）

可以将其想象为在预报员开始进行预测之前，重写天气预报员的训练手册。

工作原理： 在模型做出最终预测之前，你会深入到它的“大脑”（参数）中并调整其信念。你会告诉模型：“嘿，你学习的数据存在偏差。让我们调整你对降雨发生频率的内部理解。”
类比： 与其只是在地图上加一层过滤器，不如直接重画地图以反映新的现实。你教导预报员，新城市的“平均状态”是不同的。
优点： 如果原始训练数据是“富集”过的（例如，模型只看到了风暴天气的数据），这种方法能主动实现去偏差（de-biases）。它修复了根源问题，从而实现了更紧凑、更精确的预测范围。
缺点： 你需要能够访问模型的内部训练过程。如果模型是一个黑盒，你就无法做到这一点。

实验：何时使用哪种策略？

作者运行了两个计算机实验，以观察哪种策略更胜一筹。

实验 1：“公平”训练

场景： 模型是在源城市一个完美平衡、公平的数据集上训练的。
结果： 两种策略都同样有效。它们都达到了正确的 90% 准确率。策略 A 稍显简单，但策略 B 并未造成任何负面影响。
启示： 如果你的训练数据是良好且无偏的，你可以使用简单的“事后”修复法（策略 A）。

实验 2：“偏差”训练（先导优化）

场景： 这模拟了现实世界中的问题，如药物研发。想象你正在训练一个寻找优质药物的模型，但你的训练数据只包含“高活性”化合物（即最好的药物）。由于模型认为几乎所有东西都是高活性药物，因此它产生了偏差。
结果：
- 策略 A（快速修复）虽然仍能实现正确的覆盖率，但预测范围略显宽泛。
- 策略 B（深度修复）在此处脱颖而出。通过纠正模型的内部偏差，它产生了更窄、更精确的预测范围，同时仍保持了 90% 的准确率。它本质上是在对模型进行“去偏差”，使其对新现实的理解更加聪明。
启示： 如果你的训练数据是倾斜或有偏的（这在药物研发等专业领域很常见），策略 B 优于策略 A，因为它清理了模型的内部逻辑，而不仅仅是调整最终输出。

总结（通俗易懂版）

问题： 你的 AI 模型是在与现实情况不符的数据（“标签偏移”）上进行训练的。
解决方案： 使用 Conformal Bayes 来创建一个安全网（预测范围），该范围保证是准确的。
选择：
- 如果你的模型是用公平数据训练的，请使用策略 A（调整最终输出）。它简单且有效。
- 如果你的模型是用有偏或专业化数据（例如，仅包含“最佳”案例的数据）训练的，请使用策略 B（修复模型的内部大脑）。这会让你的预测更精确，并消除偏差。

论文得出结论：虽然两种方法都能保证准确性，但 策略 B 是那个能让模型在训练数据不完美时变得更高效的“去偏差算子”。

技术摘要：标签偏移下的共形贝叶斯 (Conformal Bayes under Label Shift)

1. 问题陈述

本文研究了在标签偏移 (Label Shift) 条件下构建统计有效预测集的挑战。标签偏移是一种分布偏移，其中源域 ( $p_s(y)$ ) 与目标域 ( $p_t(y)$ ) 之间的边际标签分布发生变化，而条件特征分布保持不变 ( $p_t(x|y) = p_s(x|y)$ )。

在标准的共形贝叶斯中，预测集是使用贝叶斯后验预测分布 $p(y|x, D_{tr})$ 和非共形得分（通常为负对数预测密度，NLPD）来构建的。在标签偏移下，从源域抽取的校准数据与来自目标域的测试数据在同一测度下不再具有可交换性。因此，在源数据上校准的预测集无法在目标测试点上达到标称覆盖率。这一问题在先导化合物优化 (Lead-optimization) 等领域尤为重要，因为此类领域的训练数据往往富集了高活性化合物，但预测需求却是在具有不同标签分布的完整化学库上进行的。

2. 方法论

作者提出了一个统一框架，分析了两种互补的策略，旨在恢复标称的目标域覆盖率。这两种策略都依赖于重要性加权 (Importance-Weighted, IW) 共形校准以确保有效性，但在如何调整预测几何结构方面存在本质区别。

核心假设

标签偏移 (条件不变性)： $p_t(x|y) = p_s(x|y)$ ，但 $p_t(y) \neq p_s(y)$ 。
密度比： 偏移通过指数倾斜 (Exponential Tilting) 进行建模： $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$ ，其中 $\beta$ 是已知参数（或可估计参数）。
模型： 一个冻结的骨干网络 $\phi(x)$ 配合高斯线性头： $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$ 。

策略 A：事后校准 (预测倾斜 - Predictive Tilting)

机制： 参数后验 $\pi_s(\theta|D_{tr})$ 保持不变。修正应用于预测层面。
过程：
1. 通过倾斜源预测分布来推导目标后验预测分布： $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$ 。
2. 非共形得分是该倾斜预测分布的负对数密度： $s_A(x, y) = -\log p_A(y|x, D_{tr})$ 。
3. 共形阈值使用校准得分的重要性加权分位数进行计算。
几何特性： 生成的预测集中心包含一个与认知不确定性 ( $\phi(x)^\top \Sigma_\theta \phi(x)$ ) 成比例的偏移。远离训练分布的输入会获得更宽的区间。
要求： 不需要访问训练流水线；将源模型视为黑盒。

策略 B：训练中自适应 (后验倾斜 - Posterior Tilting)

机制： 修正应用于校准前的参数层面。
过程：
1. 通过使用逐观测似然比调整源后验，构建“目标倾斜”后验： $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$ 。
2. 对于高斯头，这产生了一个具有偏移均值的闭式高斯后验： $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$ ，其中 $\bar{\phi}$ 是训练集的平均特征。
3. 非共形得分是基于该修正后验得到的预测分布的 NLPD。
4. 共形阈值使用与策略 A 相同的重要性加权分位数。
几何特性： 预测集中心的偏移取决于测试点与训练分布之间的相似度 ( $\phi(x)^\top \bar{\phi}$ )，而非认知不确定性。
要求： 需要访问训练流水线和训练特征以计算均值修正。

算法流程

两种策略都遵循统一的流程 (算法 1)：

计算源贝叶斯线性回归参数。
计算得分函数 (均为 $s_A$ 或 $s_B$ )。
对校准集进行评分。
计算重要性加权分位数阈值。
构建预测集 $C(x) = \{y : s(x, y) \leq \hat{q}\}$ 。

3. 主要贡献

统一框架： 将有效性（由重要性加权分位数控制）与效率（由得分几何结构：预测倾斜 vs. 后验倾斜控制）进行了分离。
闭式解： 推导了针对高斯头的目标倾斜后验的闭式解，从而能够精确计算修正后的预测分布。
对比分析： 通过头对头的比较，识别了各自策略适用的场景：
- 无偏训练： 两种策略均实现有效的覆盖，但策略 A (预测倾斜) 产生的区间更窄。如果源数据本身具有代表性，策略 B 会引入不必要的偏差。
- 有偏/富集训练 (先导化合物优化)： 策略 B 起到了去偏算子 (Debiasing Operator) 的作用。通过修正参数后验，它同时减少了参数偏差、预测偏差和区间宽度，并保持了有效的覆盖。

4. 实验结果

作者在两种机制下的合成高斯线性回归数据上评估了这些方法：

实验 1 (无偏机制)： 训练数据是从源分布中均匀抽取的。
- 覆盖率： 所有使用 IW 分位数的模型 (CB-IW, 策略 A, 策略 B) 无论标签偏移强度 ( $\beta$ ) 如何，都能维持标称的 90% 覆盖率。未加权的基准模型则失效，随着 $\beta$ 增加，覆盖率下降。
- 效率： 策略 A 产生的区间最窄。策略 B 较宽，因为在无偏设置下，MAP 修正使后验偏离了真实值。
实验 2 (先导化合物优化机制)： 训练数据富集了高响应化合物 (有偏源数据)。
- 覆盖率： 所有基于 IW 的方法均维持有效的 90% 覆盖率。由于有偏模型的校准得分被放大，未加权的基准模型会出现过度覆盖 (91–95%)。
- 去偏效果： 与有偏源后验相比，策略 B 将参数偏差降低了约 40%，并将预测偏差降低了约 34%。
- 效率： 在保持相同覆盖率的同时，策略 B 产生的区间明显比策略 A 更窄 (在 $\beta=0.6$ 时，宽度减少高达 16%)。这证明了当源训练数据存在偏差时，修正参数后验比修正预测密度更高效。

5. 意义与主张

本文声称提供了一个处理共形贝叶斯中标签偏移的原则性统一视角。其主要意义在于区分了用于保证有效性的校准与用于提升效率的自适应：

有效性由重要性加权分位数规则保证，无论得分是进行事后修正还是在训练中修正。
效率取决于上下文。 在无偏设置下，事后预测倾斜更为优越，因为它避免了改变参数后验。然而，在存在富集/有偏训练数据的场景中（常见于先导化合物优化），训练中后验自适应作为一种必要的去偏步骤，能够同时提高底层模型的准确性和预测集的效率。

作者指出，该框架目前依赖于强假设（纯标签偏移、已知倾斜参数、高斯线性头）以及合成验证。他们建议将该方法扩展到深度模型需要近似推理（如拉普拉斯近似），并指出现实世界的验证工作留待未来完成。此外，他们还概述了一个利用伪标签在没有带标签目标数据的情况下估计 $\beta$ 的两步程序，并引用了一篇关于分子属性应用的配套论文。