Conformal Selective Prediction with General Risk Control

1. 研究背景与问题定义

背景：
在人工智能（AI）模型的部署中，选择性预测（Selective Prediction） 是一种关键策略，即模型在不确定时可以选择“放弃预测”（abstain），仅在确信时进行预测。现有的选择性预测方法大多针对二元风险（如分类错误率）或依赖渐近理论/均匀集中不等式（Uniform Concentration），难以满足高 stakes 场景下对连续值风险（如药物研发成本、预测误差平方和、语义距离等）的精确控制需求。

核心问题：
给定一个黑盒模型 $f$、标记数据（校准集）$\{(X_i, Y_i)\}_{i=1}^n$ 和新实例 $X_{n+j}$，如何构建一个二元信任决策 $\hat{\psi}_{n+j} \in \{0, 1\}$，使得在 $\hat{\psi}_{n+j}=1$（即信任并部署）的样本中，未知的连续风险 $L_{n+j}$ 得到严格控制？

定义的两种风险指标：

1. 边际部署风险 (Marginal Deployment Risk, MDR):
   $$\text{MDR} := \mathbb{E}[L_{n+1} \cdot \hat{\psi}_{n+1}]$$
   控制所有被部署实例的总期望风险。类似于假设检验中的 I 类错误控制。
2. 选择性部署风险 (Selective Deployment Risk, SDR):
   $$\text{SDR} := \mathbb{E}\left[ \frac{\sum_{j=1}^m L_{n+j} \cdot \mathbb{I}\{j \in R\}}{1 \vee |R|} \right]$$
   控制被部署实例的平均风险。类似于假发现率（FDR）的推广，适用于需要控制每个被选样本平均质量的场景。

---

2. 方法论：SCoRE 框架

SCoRE (Selective Conformal Risk control with E-values) 的核心思想是将选择性部署问题转化为基于 E-values (E 值) 的假设检验问题。

2.1 核心工具：风险调整 E 值 (Risk-Adjusted E-values)

传统共形推断使用 P 值控制二元风险，而 SCoRE 引入 E 值来控制连续风险的期望。
定义：对于随机风险 $L_{n+j}$，非负随机变量 $E_{n+j}$ 是风险调整 E 值，若满足：
$$\mathbb{E}[L_{n+j} E_{n+j}] \leq 1$$
这一性质基于数据的交换性 (Exchangeability) 保证，无需对模型分布做假设。

2.2 决策机制

• MDR 控制 (单样本):
  构建 E 值 $E_{n+1}$，若 $E_{n+1} \geq 1/\alpha$，则信任该样本。
  理论保证： 根据定理，$\mathbb{E}[L_{n+1} \hat{\psi}_{n+1}] \leq \alpha$。
• SDR 控制 (多样本):
  构建一组 E 值 $\{E_{n+j}\}_{j=1}^m$，将其输入 e-BH 程序 (e-Benjamini-Hochberg procedure) 进行多重检验。
  理论保证： 选中的集合 $R$ 满足 $\text{SDR} \leq \alpha$。

2.3 E 值的具体构造

利用校准集数据 $(X_i, Y_i)$ 和预训练的分数函数 $s(X)$（用于估计风险或不确定性）：

• MDR E 值构造: 通过寻找风险 $L$ 的保守下界，构造如下形式的 E 值：
  $$E_{\gamma, n+1} = \inf_{\ell \in [0,1]} \left\{ \frac{(n+1) \cdot \mathbb{I}\{s(X_{n+1}) \leq t_\gamma(\ell)\}}{\sum_{i=1}^n L_i \mathbb{I}\{s(X_i) \leq t_\gamma(\ell)\} + \ell \cdot \mathbb{I}\{s(X_{n+1}) \leq t_\gamma(\ell)\}} \right\}$$
  其中 $t_\gamma(\ell)$ 是数据依赖的阈值，确保经验风险估计不超过 $\gamma$。
• SDR E 值构造: 类似地，但分母中考虑了测试集的其他样本，以适配 SDR 的平均风险定义，并与 e-BH 程序结合。

2.4 计算优化与最优性

• 高效计算: 论文提出了算法避免了对连续变量 $\ell$ 的显式搜索，将计算复杂度降低至 $O((n+m)m + (n+m)\log(n+m))$。
• 渐近最优性: 证明了在样本量趋于无穷时，选择基于风险 - 奖励比 (Risk-Reward Ratio) 的分数函数 $s(x) \propto \frac{\mathbb{E}[L|X=x]}{\mathbb{E}[r|X=x]}$ 可以最大化部署效用（Power），这类似于 Neyman-Pearson 引理。

2.5 协变量偏移 (Covariate Shift) 扩展

针对校准集与测试集分布不一致的情况（如药物发现中的分布偏移），SCoRE 引入了加权 E 值，利用重要性权重 $w(x)$ 进行校正，并证明了在权重估计一致或风险模型一致时的双重稳健性 (Double Robustness)。

---

3. 主要贡献

1. 通用风险控制框架: 首次提出了针对有界连续值风险的选择性预测框架，突破了以往仅能控制二元风险（如错误率）的限制。
2. 有限样本保证: 提供了严格的有限样本 (Finite-sample) 和分布无关 (Distribution-free) 的误差控制保证，仅依赖数据交换性假设。
3. 双重风险指标: 统一了 MDR（总风险预算）和 SDR（平均风险质量）两种控制目标，并给出了相应的 E 值构造和检验程序。
4. 理论深度: 建立了风险调整 E 值与假设检验、多重检验（FDR 控制）及共形推断之间的深刻联系，并推导了渐近最优的评分函数。
5. 实际扩展性: 成功扩展至协变量偏移场景，并提出了双重稳健的权重估计策略，增强了在现实世界数据分布变化下的鲁棒性。

---

4. 实验结果

论文在模拟数据和三个真实世界应用场景中验证了 SCoRE 的有效性：

1. 药物发现 (Drug Discovery):

   • 任务: 筛选高结合亲和力的药物候选分子，控制因“假阳性”导致的研发成本浪费。
   • 风险: 连续的开发成本（与分子结构复杂度相关）。
   • 结果: SCoRE 在控制平均浪费成本（SDR）和总成本（MDR）的同时，显著提高了筛选出的候选药物数量，优于基于均匀集中不等式的基线方法。即使在存在协变量偏移的情况下，估计权重的 SCoRE 依然表现稳健。

2. 临床预测 (ICU 住院时间预测):

   • 任务: 选择高精度的 ICU 住院时间预测，辅助医疗资源分配。
   • 风险: 预测误差的平方 (MSE)。
   • 结果: SCoRE 能够精确控制部署预测的平均误差，确保只有高置信度的预测被用于临床决策，同时保持了较高的覆盖率。

3. 大语言模型 (LLM) 放射学报告生成:

   • 任务: 筛选 AI 生成的放射学报告，确保其语义准确性。
   • 风险: 报告与专家金标准之间的语义距离（连续值）。
   • 结果: SCoRE 有效控制了部署报告的语义错误率，证明了其在生成式 AI 安全部署中的潜力。

模拟研究结论:

• SCoRE 在所有设置下均实现了紧密的风险控制（实际风险接近目标 $\alpha$）。
• 基于风险 - 奖励比的评分函数在特定场景下能显著提升总收益。
• 在协变量偏移下，使用估计权重的 SCoRE 依然保持有效性。

---

5. 意义与影响

• 提升 AI 可信度: 为高风险领域（医疗、制药、金融）的 AI 部署提供了可解释、可量化的安全护栏。
• 方法论创新: 将 E 值理论引入共形推断，解决了连续风险控制的难题，为未来的不确定性量化研究开辟了新方向。
• 实用价值: 提出的算法计算高效，且对模型假设要求低（黑盒友好），易于集成到现有的 AI 工作流中。
• 应对分布偏移: 通过双重稳健性设计，解决了现实应用中训练数据与测试数据分布不一致的痛点，增强了模型的泛化能力。

综上所述，SCoRE 是一个理论严谨、方法通用且经过实证检验的框架，极大地推动了可信 AI 在复杂风险场景下的落地应用。