📊 statistics

Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

本文引入了一种针对标签偏移下双侧截断高斯回归的符合贝叶斯框架，该框架结合了后验预测倾斜与加权符合校准，以构建混合最高密度预测集，从而在有效恢复边际覆盖率的同时，适应截断数据复杂的混合离散-连续特性。

原作者： Seungjin Choi

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Seungjin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测房间的温度，但你的温度计坏了。它有一个 0°C 的硬底（下限）和 100°C 的硬顶（上限）。

如果真实温度是 -5°C，温度计只会显示“0”。
如果真实温度是 105°C，它只会显示“100”。
只有当温度在 0 到 100 之间时，它才会显示精确的数值。

这就是双侧截断数据（Two-Sided Censored Data）。这篇论文讨论的是当你的数据像这样在顶部和底部被“裁剪”时，如何进行预测。

现在，假设你用一个温度大多处于温和状态（约 20°C）的数据集训练了你的预测模型。但当你将模型应用于现实世界时，天气发生了变化（这被称为标签偏移 Label Shift），现在的温度大多处于极端状态（要么非常冷，要么非常热）。

这篇论文探讨的问题是：我们如何构建一个安全网（预测区间），即使在数据被裁剪且天气发生变化的情况下，也能保证捕捉到真实的温度？

以下是该论文的解决方案，通过简单的概念进行拆解：

1. 问题所在：混乱的混合体

标准的预测工具假设数据是一条平滑、连续的曲线。但由于温度计坏了，你的数据是一个奇怪的混合物：

“原子”（The Atoms）： 堆积在正好等于 0 和正好等于 100 处的点集。
“内部”（The Interior）： 在 0 到 100 之间漂浮的平滑曲线。

如果你尝试对这种数据使用标准数学方法，就会失败，因为你把“0 处的堆积”与“5”这样一个特定的数字混为一谈。论文称之为混合空间（Mixed Space）。

2. 解决方案：带有转折的共形贝叶斯（Conformal Bayes with a Twist）

作者结合了两个强大的思想：贝叶斯预测（利用模型猜测未来）和共形预测（利用安全检查来保证准确性）。

他们引入了一个三步走的“配方”来解决破损温度计的情景：

A 步骤：“倾斜”（调整模型）

由于天气发生了变化（标签偏移），模型的原始猜测存在偏差。作者通过“倾斜”模型预测来匹配新的现实。

类比： 想象你在根据旧的风向模式瞄准飞镖盘。现在风向变了。与其只是盲目猜测，不如物理性地旋转你的手臂（即“倾斜”）来瞄准现在的风向。
代价： 由于温度计是破损的，这种“倾斜”不仅会移动平滑的曲线，还会改变 0 和 100 处堆积点的大小。

B 步骤：“权重”（修正安全网）

为了确保安全网有效，你需要以不同的方式对数据点进行加权。

问题： 标准的“权重”只是一个数字。但在这里，权重是一个由三部分组成的工具：
1. 针对“0”堆积部分的权重。
2. 针对“100”堆积部分的权重。
3. 针对中间平滑数字部分的权重。
创新点： 论文指出，你不能仅仅把“0 处的堆积”看作一个单一的数字。它实际上是所有那些过于寒冷以至于被挤压进“0”中的隐藏温度的总和。因此，“0 处堆积”的权重实际上是所有这些隐藏的、被挤压的温度的平均值。

C 步骤：“混合安全网”（结果）

当你将“倾斜”和“权重”结合在一起时，你会得到一个看起来与常规不同的预测集。

普通预测： “温度在 15 到 25 之间。”
本文的预测： “温度要么正好是 0（极度寒冷），要么正好是 100（极度炎热），或者是在 18 到 22 之间。”

这个安全网可以是一个单一的区间，也可以是一个奇特的形状，比如“数字 0，加上一个间隙，再加上数字 100”。这被称为混合最高密度区域（Mixed Highest Density Region）。

3. 为什么这很重要（“秘密武器”）

论文强调了两个使之奏效的核心技术技巧：

“尾部平均”权重（The "Tail-Averaged" Weight）： 当模型发生偏移时，0 和 100 限制处的“权重”不仅仅是一个简单的比例。它是这些限制背后所有隐藏、被挤压数据的平均值。论文找到了如何在不需要看到这些隐藏数据的情况下，通过数学方法计算出这个平均值。
“三部分”公式： 他们推导出了一个特殊的公式（“归一化因子”），它包含三个部分：一个针对左侧限制，一个针对右侧限制，一个针对中间部分。这使得计算机可以瞬间计算出正确的安全网，而无需进行缓慢、繁琐的模拟。

4. 研究发现（实验）

作者通过计算机模拟测试了该方法：

准确性： 即使在数据被严重裁剪且天气发生偏移的情况下，该方法也成功实现了 90% 的捕捉率（正如所承诺的那样）。
效率： 他们的安全网比其他方法更窄（更紧凑）。其他方法因为过度担心出错，给出的范围极其庞大且毫无用处（例如：“在 -50 到 150 之间”）。而新方法则会说：“它要么是 0，要么是 100，或者在 18 到 22 之间”，这要有用得多。
权衡： 有时，该方法在捕捉“0”的情况时表现非常好，但在中间数字的精确度上略有下降，反之亦然。但总体而言，它完美地平衡了风险。

一句话总结

这篇论文教导我们，当测量工具在顶部和底部出现破损，且我们正在预测的世界突然发生变化时，如何构建一个智能且可调节的安全网，从而确保我们能得到一个既紧凑又准确、且能体现出“被裁剪”极端情况可能性的答案。

技术摘要：双侧截断高斯回归下的共形贝叶斯（Conformal Bayes）

1. 问题陈述

本文研究了在响应变量存在**双侧截断（two-sided censoring）且存在标签偏移（label shift）**的回归任务中，构建有效预测集的挑战。

双侧截断： 潜在连续响应 $Y^*$ 被观测为 $\tilde{Y} = T(Y^*)$ ，其中低于下限 $L$ 的值被记录为 $L$ ，高于上限 $U$ 的值被记录为 $U$ ，而位于 $(L, U)$ 之间的值被精确观测。这产生了一个混合观测空间 $\{L\} \cup (L, U) \cup \{U\}$ ，在边界处存在点质量（atoms），在内部存在连续密度。
标签偏移： 响应变量的边缘分布在训练（源）环境和部署（目标）环境之间发生了变化。
核心难点： 标准的共形预测假设响应是连续的。在此设定下，观测到的分布是离散原子与连续密度的混合体。此外，潜在的标签偏移（对未观测 $Y^*$ 进行指数倾斜）并不会在观测到的截断尺度上诱导出简单的密度比。相反，这种偏移会诱导出**尾部平均权重（tail-averaged weights）**作用于边界原子，并在内部产生标准的密度比。这种不匹配使得校准覆盖率和预测集的几何结构变得复杂。

2. 方法论

所提方法——加权倾斜共形贝叶斯（Weighted Tilted Conformal Bayes, WT），结合了贝叶斯预测模型与在观测混合空间上的加权共形校准。

A. 贝叶斯预测头
作者采用了带有拉普拉斯后验近似的双侧 Tobit 高斯模型。

潜在模型： $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$ 。
后验： 通过在 MAP 点处的拉普拉斯近似为 $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ 。
预测分布： 生成的观测 $\tilde{Y}$ 的预测分布是一个混合测度：
$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$
其中 $\pi_L, \pi_U$ 是截断尾部概率， $f_s$ 是内部高斯密度。

B. 混合空间重要性权重
为了修正标签偏移，该方法定义了一个混合空间重要性权重 $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$ 。

内部 ( $L < \tilde{y} < U$ )： 权重是一个普通的密度比，建模为指数倾斜 $w(\tilde{y}) \propto \exp(\beta \tilde{y})$ 。
原子 ( $\tilde{y} = L$ 或 $U$ )： 权重是边际截断概率的比值（ $\rho_{t,L}/\rho_{s,L}$ 和 $\rho_{t,U}/\rho_{s,U}$ ）。
关键洞察： 潜在的指数倾斜会诱导出**尾部平均化（tail-averaged）**的原子权重，这些权重通常是输入相关的。实际算法使用标量边际比率来近似这些权重，论文明确指出这是误差的一个来源。

C. 预测倾斜与校准
该方法区分了得分（score）（决定集合几何形状）和权重（weight）（决定校准有效性）。

倾斜预测分布： 源预测分布通过观测到的标签比进行倾斜，以对齐目标分布：
$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$
这产生了一个新的混合分布，具有三个项组成的闭式归一化因子 $Z(x)$ ，同时调整了内部均值和原子质量。
得分： 共形得分是倾斜后预测分布的负对数密度： $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$ 。
校准： 使用源数据计算加权共形分位数，其中每个样本根据边际观测空间比率 $w(\tilde{y})$ 进行加权。

D. 预测集 (Mixed-HDR)
生成的预测集是一个混合最高密度区域（Mixed Highest Density Region, Mixed-HDR）。它被定义为倾斜混合密度的水平集：
$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$
由于是混合测度，该集合可以呈现三种形式：

一个内部区间 $[y_\ell, y_u]$ 。
一个内部区间并联一个或两个边界原子（例如， $\{L\} \cup [y_\ell, y_u]$ ）。
在强截断或极端偏移下，仅由原子组成的集合（例如， $\{U\}$ ）。

3. 主要贡献

本文做出了四个主要的理论贡献：

闭式倾斜归一化因子： 推导了带有拉普拉斯近似的双侧 Tobit 模型的源分布和倾斜预测分布。其倾斜归一化因子分解为左原子、内部和右原子项，实现了对混合预测律的精确计算。
刻画从潜在到观测的偏移： 确定了潜在标签偏移并不直接映射为观测尺度上的单一密度比。相反，它创造了一个混合权重，其中原子成分是尾部平均比率，而内部是密度比。论文明确区分了精确的潜在推前分布（pushforward）与实际的边际近似。
Mixed-HDR 几何结构： 刻画了截断空间上的预测集。这些集合是可选边界原子与单个内部区间的并集。论文证明了在 Gaussian 预测头下，不连通的集合（例如，带有间隙的 $\{L\} \cup \{U\}$ ）是非典型的。
方法层级与效率： 对三种校准配置进行了比较：
- UT (Unweighted Tilted, 未加权倾斜)： 使用倾斜得分但未使用权重（在偏移下失校准）。
- WS (Weighted Source, 加权源)： 使用带权重的源得分（有效但几何结构次优）。
- WT (Weighted Tilted, 加权倾斜)： 使用带权重的倾斜得分（有效且高效）。
  分析表明，WT 在恢复边际覆盖率的同时，显著减小了预测集的大小。

4. 实验结果

在具有双侧截断的潜在高斯回归模型上的合成实验表明：

覆盖率有效性： 精确候选加权的 WT 规则在标签偏移下实现了名义边际覆盖率（如 90%），而未加权方法（UT）会根据偏移方向出现过覆盖或欠覆盖。
效率： WT 比 WS 产生的预测集明显更小。对于偏移参数 $\beta=1.2$ ，平均集合大小从 2.894 (WS) 减少到 1.740 (WT)，降幅约为 40%。
近似差距： 使用标量原子近似（使用边际比率而非输入相关的尾部平均值）以及“仅校准”阈值引入的误差在测试的合成范围内对边际覆盖率的影响微乎其微，尽管它们不能保证分量覆盖率。
几何适应性： 随着截断强度的增加，预测集从内部区间过渡到由边界原子主导的集合。在强截断下，集合通常坍缩为单个原子（例如 $\{U\}$ ），正确反映了真实值位于检测限之外的不确定性。
密度比估计： 忽略残差方差（点伪标签）的估计器会遭受方差压缩，导致倾斜估计值减弱以及集合过大。倾斜预测采样被证明是估计倾斜参数 $\beta$ 的原则性默认方法，从而恢复了必要的方差。

5. 意义与主张

本文声称提供了一个处理响应被截断且分布发生偏移情况下的严谨共形预测框架。

理论分离： 它清晰地分离了有效性（由混合空间重要性恒等式和加权校准保证）与效率（由倾斜得分和 Mixed-HDR 几何结构保证）。
截断的新颖性： 该工作强调，截割标签偏移不仅仅是连续偏移的符号变体。从“潜在到混合”的转换创造了独特的理论微妙之处，特别是原子权重的尾部平均特性以及由此产生的 Mixed-HDR 几何结构。
实际效用： 该方法提供了一个计算上可行的解决方案（闭式表达式），能够适应特定的截断机制，避免了将截断边界视为普通数值值的低效做法。

作者指出了局限性，包括对拉普拉斯近似和高斯潜在误差假设的依赖，并确定了未来在非高斯似然函数和现实世界分子数据应用中的研究方向。