技术摘要：带有反事实策略的安全贝叶斯优化

问题定义

本文研究了在安全约束依赖于**反事实结果（counterfactual outcomes）的情境下进行安全贝叶斯优化（SafeOpt）**的挑战。在许多序列决策场景中（例如临床试验），只有当新干预措施 $x_t$ 的结果 $Y(x_t)$ 不显著低于既定标准治疗方案（standard-of-care policy）的结果 $Y(x_{soc,t})$ 时，该措施才被视为是安全的。

核心难点在于 $x_{soc,t}$ 是一个反事实：在时间 $t$，标准治疗方案并未实际应用，因此 $Y(x_{soc,t})$ 是不可观测的。传统的 SafeOpt 方法依赖于观测到的约束值来维持安全动作集。然而，当约束 $q(x_t)$ 取决于一个不可观测的反事实时，仅使用 $Y(x_{soc,t})$ 的点估计是不够的，因为这可能导致安全约束违反率超过用户指定的容差率 $\alpha$。

方法论：SafeOpt-CPC

作者提出了带有反事实策略约束的安全优化框架（SafeOpt-CPC），该框架通过将**拆分共形预测（split conformal prediction）**集成到 SafeOpt 循环中，以处理不可观测的反事实。

1. 反事实的共形估计

该方法不是使用点估计来表示反事实结果，而是利用拆分共形预测构建一个有效的不确定性区间（具体而言，是一个单侧上界 $\hat{U}^{soc}_t$ 或下界 $\hat{L}^{soc}_t$）。

• 数据拆分： 预收集的数据被分为训练集 $D_{train}$（用于训练点预测器 $\hat{Y}$）和校准集 $D_{cal}$。
• 评分： 定义一个得分函数 $S(x, Y(x))$，即真实结果与预测值之间的差异（例如，对于最大化问题，为 $Y(x) - \hat{Y}(x)$）。
• 区间构建： 上界计算公式为：
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  其中 $Q_{soc}$ 是得分的分位数，$\epsilon$ 是用户指定的失败率，$\tilde{w}$ 是归一化权重。

2. 处理协变量偏移

该方法通过使用加权共形预测来应对校准数据与测试环境（即部署 SafeOpt 的环境）之间的分布偏移：

• 情景 1（不同的策略）： 如果校准数据是在不同于标准治疗方案的策略下收集的，则使用逆概率加权（IPS）：$w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$。
• 情景 2（协变量偏移）： 如果测试人群与校准人群不同（例如，不同的医院人口统计特征），则权重由测试与校准的协变量密度比得出：$w_i = P_{test}(x_i) / P_{cal}(x_i)$。
• 非平稳性： 文中概述了处理突变点（changepoints）（突然转变）和漂移（drift）（逐渐转变）的算法（算法 3 和 4），即通过重新计算权重或应用时间衰减权重来进行处理。

3. 安全保证调整

由于该方法将共形预测嵌套在 SafeOpt 之中，因此必须调整目标违反率。令 $\epsilon'$ 为共形估计的组合失败概率（通过对多个估计项进行联合界限推导得出），算法需针对一个更严格的内部违反率 $\alpha'$ 进行优化，以确保整体违反率保持在用户定义的 $\alpha$ 以下：
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
这种调整考虑了真实反事实结果落在共形区间之外的可能性。

4. 与 SafeOpt 的集成

在每个时间步 $t$：

1. 如果提议的动作 $x_t$ 是标准治疗方案，则约束自然满足。
2. 否则，算法计算用于反事实结果的共形上界 $\hat{U}^{soc}_t$。
3. 随后评估安全约束：$q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$，其中 $\omega$ 是容差参数。
4. 标准 SafeOpt 逻辑（使用高斯过程和在线共形更新 $\beta_t$）选择下一个动作，在最大化目标函数的同时维持安全集。

核心贡献

1. SafeOpt-CPC 框架： 一种新颖的方法，它确保即使在策略结果不可观测的情况下，安全贝叶斯优化动作的表现也不会比已知安全策略差超过容差 $\omega$ 的比例达到 $100(1-\alpha)\%$。
2. 对协变量偏移的鲁棒性： 该方法展示了如何通过重加权机制使共形估计适应不同的协变量偏移场景（策略不匹配和人口漂移）。
3. 形式化安全证明： 本文在**加权可交换性（weighted exchangeability）**的假设下，提供了满足安全约束的证明（定理 4.1），并对违反该假设时的覆盖差距进行了界定（附录 B）。
4. 实证验证： 在化学反应模拟器（已知真实反事实）和 MovieLens 数据集（模拟反事实）上的实验验证了该方法能在优化目标的同时，将违反率控制在 $\alpha$ 以下。

结果

• 违反率： 在实验中，SafeOpt-CPC 始终将真实的违反率维持在指定的阈值 $\alpha$（例如 0.1）以下。相比之下，没有安全约束的标准贝叶斯优化会显著超过该阈值。
• 与 Oracle 的比较： SafeOpt-CPC 比“Oracle”基准（已知真实反事实）略显保守，导致最大目标值略低，但它在 Oracle 无法保证安全的地方保证了安全性。
• 容差敏感性： 随着容差参数 $\omega$ 的增加，算法回归到标准治疗方案的频率降低，并获得更高的目标值。
• 非平稳性： 当权重被正确重新计算时，该方法能成功适应突变点和漂移。忽略这些偏移会导致覆盖保证失效。
• 敏感性： 该方法对噪声数据以及估计器的偏差/方差具有鲁棒性，尽管这些因素会增加退回到标准治疗方案的步骤次数。

意义与主张

本文声称 SafeOpt-CPC 为高风险应用（如医疗治疗）提供了一个严谨的解决方案，在这些应用中，安全性是相对于标准治疗方案而非绝对阈值来定义的。作者强调：

• 控制违反率对于安全性至关重要，但该方法在关于安全约束的观测方面是**无分布假设（distribution-free）**的。
• 该方法可以推广到任何需要估计量的约束，而不仅仅是反事实。
• 该方法在极小假设（加权可交换性）下运行，并提供了安全违反的形式化界限。

作者也客观地指出了局限性：如果共形分位数过宽或容差 $\omega$ 过低，算法可能会变得过于保守，频繁地回归到标准治疗方案。此外，如果约束中存在多个估计项，有效的违反率 $\alpha'$ 会变得非常小，从而可能限制探索。文章总结道，虽然其重点在于违反率控制，但该框架可以扩展到其他约束函数，这是未来研究的一个方向。