技术摘要：后验共形预测（PCP）

1. 问题陈述

共形预测（CP）是一种广泛使用的、无模型的技术，用于构建具有分布无关覆盖保证的预测区间。然而，标准的 CP 方法（如分裂共形预测 SCP）仅提供边际有效性。这意味着覆盖保证（$1-\alpha$）在整个总体上的平均值成立，但在特定子群体或个体上可能失效，特别是当测试数据来自训练数据稀缺的子群体时（例如选举预测中的农村地区，或代表性不足的群体）。

在分布无关的设定下，若不做强假设（例如平滑性），实现条件有效性（即保证每个特定特征向量 $X$ 的覆盖）在理论上是不可能的，因为这需要无限的期望区间长度。现有的近似条件有效性的方法，如局部化（根据特征距离对邻居加权）或分组（按敏感属性划分），存在局限性：

• 局部化：在高维空间中，“邻居”可能相距甚远，导致数据稀疏和区间不稳定。
• 分组：按敏感属性划分可能导致这些群体内部少数个体的覆盖损失（例如，在以女性为主的群体中的高个女性），原因是样本量过小。

本文旨在提出一种方法，通过基于残差行为而非原始特征邻近性来识别数据点的“潜在类型”，从而在边际有效性和条件有效性之间取得平衡。

2. 方法论：后验共形预测（PCP）

PCP 引入了一种框架，将非共形分数（残差）的分布建模为有限聚类分布的混合。PCP 不是基于原始特征 $X$ 定义相似性，而是基于残差的聚类成员概率定义相似性。

核心机制

1. 混合建模：假设非共形分数 $R_i = |Y_i - \hat{\mu}(X_i)|$ 遵循混合模型：
   $$R_i | X_i \sim \sum_{k=1}^K \pi_k(X_i) f_k$$
   其中 $\pi(X_i)$ 是聚类成员概率向量，$f_k$ 是 distinct 的聚类分布。
2. 随机化权重：为了构建测试点 $X_{n+1}$ 的预测区间，PCP 不使用真实的（未知的）$\pi(X_{n+1})$。相反，它引入了一个随机化步骤：
   • 它抽取样本 $L^* \sim \text{Multi}(m, \pi(X_{n+1}))$（或其估计版本 $\hat{\pi}$），以获得经验频率 $\pi^*(X_{n+1}) = L^*/m$。
   • 这种对成员概率的“加噪”防止了测试点被唯一识别，从而保持了可交换性。
3. 加权分位数：预测区间是利用残差的加权经验分位数构建的。验证点 $i$ 的权重 $w_i$ 与其聚类成员 $\pi(X_i)$ 生成随机化观测值 $\pi^*(X_{n+1})$ 的可能性成正比：
   $$w_i \propto \prod_{k=1}^K [\pi_k(X_i)]^{m \pi^*_k(X_{n+1})}$$
   这有效地增加了那些残差分布（聚类成员）与测试点相似的验证点的权重，即使它们的原始特征相距甚远。

处理未知参数

由于真实的 $\pi(X)$ 未知，PCP 从数据中学习它。该算法：

• 对所有候选 $y$ 填补测试响应 $Y_{n+1} = y$。
• 使用对称学习算法从增强数据集中估计成员概率 $\hat{\pi}_y$。
• 采用高效的匹配算法（网格化、拟合和聚类），其复杂度在样本量上呈线性，从而无需为每个候选 $y$ 重新拟合复杂模型即可估计这些概率。

3. 主要贡献与理论保证

理论有效性

• 聚类成员上的条件有效性：定理 1 确立了 PCP 区间满足 $P(Y_{n+1} \notin \hat{C}_n(X_{n+1}) \mid \pi^*(X_{n+1})) \le \alpha$。这保证了在测试点的随机化聚类分配条件下的有效性。
• 近似条件有效性：随着精度参数 $m$ 的增加，$\pi^*(X_{n+1})$ 集中在真实的 $\pi(X_{n+1})$ 周围。论文表明，只要混合模型能很好地近似真实的残差分布，该区间就会趋近于测试点本身的条件有效性。
• 有限区间长度：与在高维空间中可能产生无限区间的严格局部化方法不同，如果有足够多的验证点共享相似的聚类成员概率，即使 $m$ 很大，PCP 也能保持有限的区间长度（定理 2）。
• PAC 保证：在混合学习算法的稳定性假设下，PCP 满足“概率近似正确”（PAC）保证，确保有效性在验证数据的实现中以高概率成立（D 节）。

扩展

• 均衡条件覆盖：PCP 被应用于保证子群体（例如性别）的覆盖，同时确保区间渐近独立于子群体成员资格。这防止了标准划分方法中出现的“少数群体中的少数群体”覆盖损失（命题 3）。
• 分类任务的自适应覆盖水平：对于分类响应，PCP 根据分类器的预测概率调整目标覆盖水平。如果分类器校准良好且置信度高，PCP 会产生更小的（单例）预测集，同时保持有效性（命题 4）。

4. 实验结果

作者在合成数据集和真实世界数据集上评估了 PCP，并将其与 SCP、带条件校准的 SCP（SCP+CC）以及随机局部化共形预测（RLCP）进行了比较。

• 社区与犯罪数据集：PCP 实现了接近目标值（0.9）的“最差切片”条件覆盖率，显著优于 SCP（约 0.8），并与 RLCP 和 SCP+CC 等先进方法相当。关键在于，PCP 保持了与 SCP 相当的区间长度，而 RLCP 产生的区间则显著更宽。
• 合成数据（非线性残差）：在残差方差非线性依赖于特征的设定中，PCP 成功识别了相关特征并调整了区间宽度，在整个特征范围内保持了覆盖。RLCP 和 SCP+CC 未能捕捉这些非线性特征，导致覆盖出现缺口。
• 医疗支出小组调查（MEPS）：在子群体不平衡（例如性别）的场景中，标准划分方法（SCP+Partition）无法覆盖多数群体中的少数个体。PCP 通过为代表性不足的个体加宽区间，同时为代表性良好的个体收窄区间来纠正这一问题，在子群体间实现了均匀覆盖，且未牺牲整体效率。
• HAM10000（皮肤病变）：对于分类任务，与标准共形集相比，PCP 为校准良好的分类器生成了更小的预测集，使集合大小与分类器的置信度保持一致。

5. 意义与主张

本文主张，PCP 提供了一种截然不同的方法来建模共形预测中的相似性。通过将焦点从原始特征空间转移到非共形分数的分布，PCP 利用非局部信息来构建更紧密、更稳健的区间。

其意义在于能够：

1. 弥合差距：在无需对特征进行分布假设的情况下，弥合边际有效性和条件有效性之间的差距。
2. 自动平衡：自动平衡条件覆盖与区间长度之间的权衡，避免困扰局部化方法的“维度灾难”。
3. 增强公平性：通过确保子群体中代表性不足个体的覆盖，解决基于划分方法的特定失效模式。
4. 适应分类器置信度：在分类任务中适应分类器的置信度，生成更具可操作性的预测集。

作者强调，虽然 PCP 依赖于学习混合模型，但它仍然是一种分布无关的方法，因为它不假设 $Y|X$ 条件分布的具体参数形式，仅假设残差可以通过聚类混合来近似。该方法被证明在计算上是高效的（与样本量呈线性关系），并且在包括社会经济、材料科学和医疗保健在内的各个领域都有效。