Conformal Candidate Certification for Offline Model-Based Optimization

技术摘要：离线基于模型的优化中的共形候选验证

问题陈述
离线基于模型的优化（Offline Model-Based Optimization, MBO）旨在仅使用固定的历史数据集 $D$，在无需进一步获取预言机（oracle）访问的情况下，识别高性能的设计 $x$（例如在蛋白质工程或材料科学领域）。标准的流程是在 $D$ 上训练代理模型 $\hat{f}_\theta$，并对其进行优化以提出候选方案。然而，这一过程本质上会将候选方案推向分布外（OOD）区域，而代理模型在这些区域是不可靠的，从而导致系统性的高估。

现有方法试图通过修改提议机制（例如保守型代理、不变表示或条件生成模型）来缓解这一问题。但仍存在一个关键差距：这些方法无法提供针对单个候选方案的统计证书，用以证明所提出的设计 $x^*$ 满足目标阈值 $\tau$（即 $f(x^*) \ge \tau$）且具有确定的置信水平。将“提议”（生成）与“验证”（认证）任务混为一谈，会导致要么产生过度保守的惩罚，要么无法对单个候选方案提供严谨的覆盖保证。

方法论：共形候选验证 (Conformal Candidate Certification, CCC)
作者提出了共形候选验证（CCC），这是一个后验包装器（post-hoc wrapper），它为任何由离线 MBO 算法生成的候选方案附加一个校准后的单侧下界。CCC 将提议任务与验证任务分离，将其视为一个协变量偏移（covariate-shift）共形预测问题。

该方法的核心组成部分包括：

1. 通过 Gibbs 倾斜进行协变量偏移建模：
   论文将提议分布 $Q_X$（从中抽取候选方案的分布）建模为历史数据分布 $P_X$ 的 Gibbs 倾斜版本。这在熵正则化代理最大化中自然产生：
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   至关重要的是，用于生成偏移的同一代理模型 $\hat{f}_\theta$ 也提供了重要性权重 $w(x) = dQ_X/dP_X(x)$，从而消除了对独立密度比估计步骤的需求。

2. 温度估计：
   通过矩匹配（moment-matching）估计温度参数 $T$。为了避免当候选方案相对于验证集处于 OOD 状态时出现退化的权重，作者将验证集 $D_{val}$ 与候选方案的代理得分结合起来，以锚定参考分布的上尾部。

3. 加权共形预测 (IW-CP)：
   CCC 采用重要性加权共形预测，以在协变量偏移下恢复边际有效性。

   • 评分函数： 定义了一个单侧非一致性得分（nonconformity score）$s(x, y) = (\mu(x) - y)/\sigma(x)$，其中 $\mu$ 和 $\sigma$ 分别是代理模型的均值和不确定性。这使得校准概率集中在下尾部（即高估情况）。
   • 加权分位数： 对于候选方案 $x^*$，该方法计算使用 Gibbs 派生权重后的校准得分的加权分位数。如果测试点的权重相对于校准集过高，则该界限会变得无效（正确地表明支持度不足）。
   • 验证： 下界计算为 $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$。只有当 $y(x^*) \ge \tau$ 时，候选方案才被视为通过验证。

核心贡献

1. 形式化： 论文将离线 MBO 中的后验候选验证形式化为一个协变量偏移共形预测问题，明确地将验证与提议解耦。
2. Gibbs 倾斜提议： 文中证明了熵正则化代理最大化会诱导 Gibbs 倾斜的提议分布，使得代理模型本身即可提供加权共形预测所需的重要性权重，而无需外部密度估计。
3. 理论有效性： 作者证明了在假设拥有预言机权重（oracle weights）的情况下，对于来自提议分布的新鲜候选方案，具有有限样本的边际下界有效性（$P\{Y^* \ge y(X^*)\} \ge 1-\alpha$）。
4. 实证演示： 一项合成研究验证了 CCC 能够成功验证具有攻击性的提议池中的非平凡子集，且几乎没有出现错误验证（false certifications），而标准的（无权重）共形预测在协变量偏移下会失效。

实验结果
在一项涉及激进 Boltzmann 提议池的受控合成研究中：

• 朴素代理模型： 接受了所有候选方案，但实际精确度仅为 41%（存在大量假阳性）。
• 无权重共形预测： 忽略协变量偏移导致其经验覆盖度为 0.416，未达到 0.90 的标称目标，且误接受率（false-acceptance rate）为 22.7%。
• CCC： 验证了 16.7% 的候选池。至关重要的是，在 0.90 的标称水平下，它保持了 0.990 的经验覆盖度，误接受率低于 0.5%。该方法在各种标称水平（$\alpha \in \{0.05, \dots, 0.20\}$）下保持了保守性但并非无效。

意义与主张
论文声称 CCC 为离线 MBO 留下的问题提供了一个原则性的解决方案：“哪些提议的候选方案足够可靠，值得进行测试？”

• 关注点分离： 通过封装任何现有的 MBO 算法，CCC 允许提议机制保持激进，同时确保只有具有充足经验支持（通过校准下界）的候选方案才能进入昂贵的实验评估阶段。
• 对偏移的鲁棒性： 该方法显式地解决了标准共形预测在协变量偏移下的失效模式，而这正是离线 MBO 的主要特征。
• 适度的局限性： 作者承认，有限样本保证严格仅在具有预言机权重时成立。在实践中，使用估计的 Gibbs 权重意味着该保证并非精确，尽管实验结果表明该方法保持了保守性（维持覆盖度高于标称水平）而非反向保守（anti-conservative）。论文指出，对于噪声测量，若要直接验证潜在目标 $f(x^*)$，则需要额外的假设，因为目前的保证适用于测量的响应 $Y^*$。

总之，CCC 提供了一个后验验证层，将激进的、可能不可靠的 MBO 提议转化为具有严谨统计保证的候选方案集，弥合了离线优化与可靠在线决策之间的鸿沟。