Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

本文提出了一种在标签存在噪声或缺失时实现鲁棒不确定性量化的框架，通过理论分析证明了基于特权信息的重加权方法对权重估计误差的鲁棒性，并引入了一种无需权重估计的“不确定插补”新方法，最终将两者整合为三重鲁棒框架以确保统计有效性。

要点

这篇论文解决了一个机器学习中的棘手问题：当训练数据里的“答案”（标签）是错的、模糊的或者缺失时，我们如何还能自信地告诉用户：“我的预测有 90% 的把握是对的”？

为了让你轻松理解，我们可以把机器学习模型想象成一个正在备考的学生，把“预测集”想象成考试时的“猜题范围”。

1. 核心问题：坏掉的教科书

想象一下，这个学生（AI 模型）正在用一本教科书（训练数据）备考。

• 理想情况：书里的题目和答案都是对的。
• 现实情况：这本书被“污染”了。有些题目的答案被涂黑了（缺失），有些答案被写错了（噪声），而且这些错误不是随机的，往往和题目本身的特征有关（比如，难的题目更容易被涂黑）。

如果学生直接用这本坏书去考试，他给出的“猜题范围”（预测集）就会太窄，导致他经常猜错，却以为自己很稳。这就是论文开头提到的“ naive CP（朴素共形预测）”失效的原因。

2. 现有的“特权”方案：PCP（特权共形预测）

为了解决这个问题，之前的研究（PCP 方法）引入了一个概念叫**“特权信息”（Privileged Information, PI）**。

• 比喻：想象在考试复习时，老师（特权信息）手里有一份**“错题分布图”**。老师知道：“哦，这道题因为太难，所以有 80% 的概率答案被涂黑了；那道题因为太简单，所以答案通常是错的。”
• 原理：PCP 方法利用这份“错题分布图”给不同的题目**“加权”**。如果某个题目所在的区域错误率高，就给它更高的权重，让它在计算“猜题范围”时更有分量。
• 新问题：这篇论文发现，老师手里的“错题分布图”往往也是估算的，并不完美。如果老师估算错了（权重不准），之前的 PCP 方法就会失效，学生还是会猜错。

3. 这篇论文的两个新大招

大招一：发现“坏老师”也能用（PCP 的鲁棒性分析）

论文首先做了一个有趣的发现：即使老师给的“错题分布图”不太准，只要偏差在一定范围内，PCP 方法依然能给出靠谱的“猜题范围”。

• 比喻：就像你虽然不知道确切有多少个苹果坏了，但只要你知道坏苹果大概占 20% 到 30%，你依然可以估算出一个安全的“吃苹果范围”，保证你不会吃到坏苹果。
• 结论：之前的理论太悲观了，认为权重必须极其精准。实际上，PCP 比想象中更“皮实”，能容忍一定的估算误差。

大招二：Uncertain Imputation (UI) —— “不确定填充法”

这是论文提出的全新方法。既然“错题分布图”（权重）太难算准，那我们就换个思路：直接把缺失的答案补上，但要保留“不确定性”。

• 比喻：
  • 传统填充（Naive Imputation）：如果答案丢了，老师直接猜一个最可能的答案填上去（比如填"0"）。这就像学生死记硬背了一个答案，以为它是真的，结果范围太窄，容易出错。
  • UI 方法（不确定填充）：老师利用“特权信息”（比如题目类型、难度）猜出一个答案，但是，老师会在这个答案旁边加一个**“误差包”**。
    • 如果老师觉得这个答案很稳，误差包就很小。
    • 如果老师觉得这个答案很悬，误差包就很大。
  • 操作：在计算“猜题范围”时，UI 方法会从这些“误差包”里随机抽取一些数值，模拟出各种可能的真实答案。这样算出来的“猜题范围”就会自动变宽，从而把那些因为估算不准而可能漏掉的真答案都包进去。
• 优势：即使权重算不准，只要“特权信息”能帮我们猜出大概的答案，UI 就能通过这种“故意留有余地”的方式，保证 90% 的覆盖率。

4. 终极必杀技：三重稳健（Triply Robust）

论文最后把三种方法（朴素方法、PCP、UI）打包成了一个**“三保险”系统**。

• 比喻：这就像给学生的预测套上了三层护甲：
  1. 如果模型本身很准（朴素方法有效），护甲生效。
  2. 如果“错题分布图”算得准（PCP 有效），护甲生效。
  3. 如果“特权信息”能猜出大概答案（UI 有效），护甲生效。
• 结论：只要这三条里有一条是靠谱的，最终的预测结果就是安全的。这大大降低了系统失效的风险。

总结

这篇论文就像是在告诉我们要如何在一个充满谎言和缺失信息的世界里做预测：

1. 不要指望所有的“修正数据”都是完美的，现有的修正方法（PCP）其实比你想象的更耐用。
2. 如果修正数据太难算，不如**“承认不确定性”**。在填补缺失数据时，故意保留一点“模糊空间”，反而能让最终的结果更可靠。
3. 把多种方法结合起来，只要有一个管用，就能保证安全。

这对于医疗诊断（标签可能缺失）、金融风控（数据可能有噪声）等高风险领域非常重要，因为它能确保 AI 在数据不完美时，依然能给出诚实且可靠的置信度。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《带有污染标签的共形预测：不确定插补与鲁棒重加权》（Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting）。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心问题：
在现代机器学习中，训练数据往往存在标签污染（Label Corruption），表现为标签缺失（Missing Labels）或噪声标签（Noisy Labels）。标准的共形预测（Conformal Prediction, CP）依赖于训练集和测试集是独立同分布（i.i.d.）或可交换的假设。然而，当标签缺失或污染与特征相关时（即存在分布偏移），直接应用标准 CP 会导致预测集的覆盖率（Coverage Rate）低于预设水平（即无法保证统计有效性）。

具体挑战：

• 分布偏移： 缺失标签的样本分布与完整标签的测试分布不同。
• 特权信息（Privileged Information, PI） 在训练阶段可用，但在测试阶段不可用的额外特征（如标注者的专家评分、详细的临床报告等）。这些特征通常能解释标签缺失的机制或预测真实标签。
• 现有方法的局限：
  • **加权共形预测 **(WCP) 需要知道测试点的 PI 来计算权重，这在测试时不可行。
  • **特权共形预测 **(PCP) 利用 PI 进行重加权，但假设权重（即标签缺失概率的估计）是准确的。如果权重估计不准，PCP 可能失效。
  • 简单插补： 直接填补缺失标签（如用均值）会低估不确定性，导致覆盖率不足。

2. 方法论 (Methodology)

论文提出了两种主要方法来处理带有污染标签的共形预测，并进一步将它们组合成一个“三重鲁棒”框架。

2.1 特权共形预测的鲁棒性分析 (Robustness of PCP)

• 背景： PCP 利用训练时的 PI 来估计权重，从而校正分布偏移。
• 新发现： 作者分析了当权重估计不准确（存在误差 $\delta$）时，PCP 的表现。
• 理论结果：
  • 即使权重估计存在误差，只要满足特定条件，PCP 仍能保持有效的覆盖率。
  • 如果朴素 CP（Naive CP，仅使用观测数据）本身是过覆盖（Over-coverage）的，那么即使权重有较大的正向或负向误差，PCP 依然有效。
  • 如果朴素 CP 是欠覆盖（Under-coverage）的，则权重误差必须非常小（落在一个狭窄区间内）才能保证有效。
  • 这一发现表明 PCP 比理论预期的更具鲁棒性，但也指出了其在权重估计极差时的脆弱性。

2.2 不确定插补 (Uncertain Imputation, UI)

• 核心思想： 提出一种新的校准方案，不依赖权重的估计，而是假设 PI 能很好地预测真实标签 $Y$。
• 算法流程：
  1. 将数据分为训练集、校准集和参考集（Reference Set）。
  2. 训练两个模型：
     • $\hat{f}(X)$：基于观测特征预测 $Y$（用于计算非一致性分数）。
     • $\hat{g}(X, Z)$：基于特征和 PI 预测 $Y$（用于插补）。
  3. 插补策略： 对于校准集中缺失的标签，不直接填补缺失值，而是填补为 $\hat{g}(X, Z) + \epsilon$，其中 $\epsilon$ 是从参考集中根据 PI 采样的残差（Residual Error）。
  4. 关键点： 通过引入从真实分布中采样的残差，UI 保留了插补标签的不确定性。
• 理论保证： 在假设 $\hat{g}$ 足够准确且残差与预测值条件独立的情况下，UI 能保证边际覆盖率。即使权重估计完全不可用，只要 PI 能预测标签，UI 依然有效。

2.3 三重鲁棒共形预测 (Triply Robust)

• 组合策略： 将三种方法的结果取并集：
  $$C_{\text{TriplyRobust}}(X_{\text{test}}) = C_{\text{Naive CP}} \cup C_{\text{PCP}} \cup C_{\text{UI}}$$
• 优势： 只要以下三个条件中至少有一个成立，该框架就能保证有效的覆盖率：
  1. 模型 $\hat{f}$ 足够准确（Naive CP 有效）。
  2. 缺失机制 $M|Z$ 能被准确估计（PCP 有效）。
  3. 标签 $Y|Z$ 能被准确估计（UI 有效）。
• 这提供了一个极其稳健的解决方案，降低了单一假设失效导致整个系统崩溃的风险。

3. 主要贡献 (Key Contributions)

1. PCP 的鲁棒性理论： 首次形式化地分析了 PCP 在权重估计不准确时的有效性边界。证明了在某些场景下（如朴素 CP 过覆盖时），即使权重估计较差，PCP 依然有效。
2. **提出不确定插补 **(UI) 提出了一种不依赖权重估计、而是依赖标签预测能力的新方法。通过“保留不确定性的插补”（即填补预测值 + 采样残差），在理论上证实在权重不可靠时仍能获得有效覆盖率。
3. 三重鲁棒框架： 结合 Naive CP、PCP 和 UI，构建了一个在多种假设下均能保证统计有效性的集成方法。
4. 实证验证： 在合成数据和真实数据集（如 MEPS 医疗支出数据、Facebook 评论数据等）上进行了广泛实验，验证了理论结果。

4. 实验结果 (Results)

• 合成实验：
  • 展示了当权重估计存在误差时，PCP 的覆盖率变化与理论推导的边界高度一致。
  • 在权重难以估计的场景下（即 $M|Z$ 关系复杂），PCP 失效（覆盖率低于 90%），而 UI 依然能保持 90% 的覆盖率。
  • TriplyRobust 在至少一个组件（QR, PCP, UI）为“神谕”（Oracle，即完美）状态时，能恢复有效覆盖率，且区间长度不过分保守。
• 真实数据集实验（MEPS, Facebook, House 等）
  • 在缺失响应设置下，Naive CP 和简单的均值插补（Naive Imputation）均严重欠覆盖。
  • UI 和 PCP（使用真实权重或估计权重）均能达到目标覆盖率（90%）。
  • UI 构建的区间在统计上是高效且可靠的。
• 因果推断应用： 在 NSLM 数据集上估计个体处理效应（ITE）的不确定性，证明了该方法在处理因果推断中的分布偏移问题上的有效性。

5. 意义与影响 (Significance)

• 解决现实痛点： 现实世界的数据集（如医疗、社会科学）常面临标签缺失且缺失机制与特征相关的问题。本文提供了一套严谨的统计工具来处理此类问题。
• 降低对假设的依赖： 传统的加权方法严重依赖对缺失机制的准确建模。本文提出的 UI 方法通过转向“标签预测”视角，为权重难以估计的场景提供了替代方案。
• 理论深度： 对 PCP 鲁棒性的分析填补了理论空白，揭示了该方法在实际应用中的容错能力。
• 三重鲁棒性： 提出的 TriplyRobust 框架为高风险决策场景（如医疗诊断、金融风控）提供了极高的安全保障，确保只要模型或数据中的某一方面假设成立，预测结果就是可信的。

总结：
这篇论文通过深入分析特权信息在共形预测中的作用，提出了不确定插补（UI）这一创新方法，并证明了特权共形预测（PCP）在权重估计不准时的鲁棒性。最终提出的三重鲁棒框架为在数据质量不佳（标签污染/缺失）的情况下进行可靠的机器学习不确定性量化提供了强有力的理论支持和实践方案。