📊 statistics

Multivariate Standardized Residuals for Conformal Prediction

本文提出了一种多元共形预测框架，该框架利用基于马氏距离的标准化残差，有效处理异方差性和输出相关性，从而实现更优的条件覆盖率，并支持缺失值处理等实用扩展，而无需昂贵的采样。

原作者： Sacha Braun, Eugène Berta, Michael I. Jordan, Francis Bach

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Sacha Braun, Eugène Berta, Michael I. Jordan, Francis Bach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名天气预报员。你的工作不仅仅是预测“明天会下雨”，而是要说：“会下雨，并且我有 90% 的把握降雨量在 1 到 3 英寸之间。”

在机器学习领域，这个"1 到 3 英寸之间的降雨量”被称为共形预测集（conformal prediction set）。它是一个安全网，能保证你的预测在特定比例的时间内是正确的（例如 90% 的时间）。

然而，这里有个陷阱。大多数标准方法仅能保证这个安全网在所有日子的平均情况下有效。它们并不能保证在特定日子里也有效。

问题所在：在一个平静、可预测的日子里，你的网可能大得离谱（1 到 10 英寸），浪费你的时间；而在一个混乱、暴风雨的日子里，你的网可能太小（1 到 1.1 英寸），导致你被淋湿。这被称为异方差性（heteroskedasticity）——不确定性会根据具体情况而变化。

你提供的论文《用于共形预测的多元标准化残差》（Multivariate Standardized Residuals for Conformal Prediction）提出了一种新方法来解决这个问题，特别是在同时预测多个变量（多元）时。

以下是用简单术语进行的分解：

1. 核心理念：“智能弹性带”

想象你试图接住朋友扔来的球。

旧方法（朴素）：你使用一个刚性、固定大小的网。有时球很容易接住，网却太大了；有时球乱飞，网又太小了。
论文的方法：你使用一条智能、可伸缩的弹性带。
- 如果球被轻轻抛出（低不确定性），弹性带会紧紧收缩包裹住球。
- 如果球被狂野地抛出（高不确定性），弹性带会伸展以接住它。
- 转折：作者们想出了如何在同时接住多个球（且这些球可能会相互碰撞，即输出相关）时做到这一点。

2. 工作原理：“白化”技巧

用数学术语来说，这篇论文对误差（预测与现实之间的差异）进行了“白化”处理。

类比：想象你试图测量一辆车距离赛道中心的距离。
- 如果赛道是一个完美的圆形，你只需测量距离即可。
- 但如果赛道是椭圆形、被压扁的圆形，或者是一个随位置变化而改变形状的怪异形状呢？
- 作者的方法会为每一个瞬间学习赛道的形状（局部协方差）。然后，它会拉伸或压缩空间，使赛道再次看起来像一个完美的圆形。
- 一旦空间被“归一化”（白化），他们就可以在预测周围画一个完美的圆（在高维空间中是椭球体）。这个圆就是他们的安全网。

3. 为什么这很重要

这篇论文宣称取得了三大胜利：

更智能：它能适应具体情况。如果数据噪声大，网就会变大；如果数据干净，网就会变小。这使得预测比使用“一刀切”网的方法更有用。
更快速：其他试图做到这一点的方法涉及复杂、缓慢的采样（例如运行一百万次模拟来猜测形状）。作者的方法使用闭式解（closed-form solution）。
- 类比：与其花一个小时观察云来猜测其形状，他们有一个公式能瞬间告诉形状。这在计算上非常廉价。
处理“缺失部分”和“新视角”：
- 缺失数据：有时，你并没有所有数据（例如，你知道温度但不知道湿度）。论文展示了如何仅利用你拥有的部分数据来绘制有效的安全网，而不会破坏数学原理。
- 部分揭示：想象你预测病人的血糖和胆固醇。如果你先测量了血糖，由于两者相关，你可以立即缩小胆固醇的安全网。论文允许你即时更新安全网，而无需重新训练整个模型。
- 变换：如果你想预测两个值的差值（例如，利润 = 收入 - 成本），该方法可以直接为该差值绘制安全网，而不是分别为收入和成本绘制安全网并指望它们正确重叠。

4. 他们证明了什么

作者们不仅仅是猜测；他们做了数学推导。

他们证明，如果误差遵循某种“椭圆”形状（如拉伸的圆或椭圆），他们的方法能保证安全网对每一个输入都完美有效，而不仅仅是在平均意义上。
即使数据不是完美的椭圆，他们也表明，随着输入数据的增加，他们的方法仍能非常接近完美精度。

5. 结果

他们在模拟数据和真实世界数据（如预测房价或出租车路线）上测试了这种方法。

结果：他们的“智能弹性带”（马氏距离）创建的安全网比其他方法更紧密（更精确）且更准确（90% 的时间命中目标）。
速度：它比其他复杂方法快得多，使其适用于实时应用。

总结

这篇论文解决了这样一个问题：“当数据混乱、缺失或变化时，我如何围绕多个预测同时绘制一个完美、定制形状的安全网？”

他们的回答是：“学习不确定性的局部形状，拉伸空间使其变成圆形，然后绘制一个完美的网。” 这产生的预测不仅在统计上有效，而且对于手头的具体情况实际上是有用且精确的。

技术摘要：用于共形预测的多变量标准化残差

问题陈述
共形预测提供了一个模型无关的框架，用于构建具有保证的有限样本边际覆盖率的预测集。然而，一个显著的局限性在于难以实现条件覆盖率，即有效性针对特定观测输入成立，而不仅仅是在平均意义上成立。这在异方差设定中尤为关键，因为预测不确定性随输入特征而变化。现有方法面临权衡：

单变量方法： 如“标准化残差”（通过局部方差对误差进行归一化）等技术改善了单变量回归中的条件覆盖率，但无法自然地扩展到多变量输出。
多变量密度估计： 估计完整条件密度的方法可以生成有效的集合，但计算成本高昂，通常需要进行采样，并且难以应对“维度灾难”。
固定形状方法： 产生固定大小或非自适应集合的方法无法捕捉依赖于输入的不确定性。
基于采样的方法： 近期旨在提高条件覆盖率的方法往往为相同的输入引入随机性和变异性，从而损害了可重复性。

方法论
作者提出了一种框架，将标准化残差的概念扩展到多变量设定。核心思想是学习一个依赖于特征的局部协方差矩阵，以“白化”残差，从而有效地解耦输出相关性并标准化局部方差。

建模： 给定特征向量 $X$ 和多变量响应 $Y \in \mathbb{R}^k$ ，该方法学习两个函数：
- 一个预测器 $f_\theta(X)$ ，用于估计条件均值 $\mathbb{E}[Y|X]$ 。
- 一个协方差估计器 $\Sigma_\varphi(X)$ ，用于估计条件协方差矩阵。
  这些函数可以通过最大似然（假设高斯近似）联合学习，或者应用于现有的黑盒点预测器之上。
非一致性得分： 该方法定义了一个基于马氏距离的非一致性得分：
$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$
该得分衡量残差与均值的距离，并根据局部协方差结构进行缩放。
共形集合： 生成的预测集 $C_\alpha(X_{\text{test}})$ 是一个以 $f_\theta(X_{\text{test}})$ 为中心的椭球体，其形状和大小由 $\Sigma_\varphi(X_{\text{test}})$ 和从校准集导出的阈值决定。这使得集合能够适应异方差性。
扩展： 该框架自然地支持多种实际扩展：
- 缺失输出： 通过将高斯密度边缘化到观测维度并使用卡方累积分布函数（CDF），该方法即使在校准数据存在缺失值的情况下也能构建有效的得分。
- 部分揭示输出： 如果在测试时部分输出 $Y_r$ 被揭示，该方法利用条件高斯性质来细化隐藏部分 $Y_h$ 的预测集，而无需重新训练。
- 输出变换： 对于输出的线性变换（例如投资组合回报），该方法使用变换后的均值和协方差直接在变换后的变量上构建共形集合，避免了投影现有集合所带来的保守性。

理论保证
本文确立了该方法实现渐近条件覆盖率的充分条件。具体而言，如果标准化残差 $U = \Sigma(X)^{-1/2}(Y - f(X))$ 与 $X$ 独立，则该方法在渐近意义上产生精确的条件覆盖率。该条件适用于广泛的分布类，包括椭圆分布，但并不严格要求噪声是椭圆分布的。即使这种独立性不成立，该方法也被证明通过标准化残差的前两阶矩来改善条件覆盖率。

主要贡献

多变量扩展： 利用学习的局部协方差矩阵，将标准化残差自然地推广到多变量回归。
闭式效率： 与需要采样的基于密度的方法不同，该方法以闭式形式生成共形集合，使其在推理时具有计算效率。
理论刻画： 提出了一个充分条件，刻画了标准化残差能够产生渐近条件覆盖率的分布。
实际灵活性： 该框架能够处理缺失的校准输出、在部分揭示输出时细化集合，并为输出变换构建有效集合。

实验结果
作者在合成数据集和真实世界数据集（例如 Bias、CASP、House、rf1、scm1d、Taxi）上评估了该方法，并与包括 HPD（基于密度）、C-PCP、L-CP、ECM（经验协方差）和 OT（最优传输）在内的基线进行了对比。

条件覆盖率： 与现有的多变量基线相比，该方法实现了更接近目标水平（例如 90%）的条件覆盖率，特别是优于那些为了补偿其他区域的覆盖率不足而在某些区域过度覆盖的“仅边际”方法。
集合大小： 与基于密度的方法相比，该方法在保持覆盖率的同时，生成了更紧密（体积更小）的共形集合。
计算效率： 该方法显著快于基于密度的方法（HPD、PCP、C-PCP），后者通常需要进行昂贵的蒙特卡洛采样。例如，评估 1,000 个点的覆盖率所花费的时间微乎其微，而基线方法则需要数百甚至数千秒。
鲁棒性： 即使底层高斯假设被错误指定（例如存在指数噪声），该方法依然表现良好，表明其具有超越理论假设的鲁棒性。

意义与主张
本文主张，这种方法是在最小假设下实现可靠条件覆盖率目标的一个“令人鼓舞的步骤”。通过避免对完整条件密度估计的需求，该方法提供了一种计算可行且稳健的替代方案，平衡了边际覆盖率的严格保证与条件覆盖率的适应性之间的权衡。作者强调，虽然严格条件覆盖率无法保证适用于所有分布，但该方法在渐近意义上对广泛类别实现了这一点，并在实践中提供了稳健的近似覆盖率。处理缺失值以及利用部分信息细化预测的能力，进一步将共形预测的适用性扩展到了数据经常不完整或部分观测的真实世界场景。