技术摘要：集合值策略学习

问题陈述

在精准医疗中，常规的治疗策略学习通常将患者协变量映射到单一推荐干预措施，以最大化预期临床结果。然而，这种点值方法面临显著局限：

1. 对不确定性的敏感性：推荐结果对估计不确定性、模型设定和有限样本变异性高度敏感。
2. 缺乏置信度指导：标准策略很少提供关于应多大程度上信任推荐行动的指示。
3. 忽视模糊性：当多种治疗产生可比结果时，点值策略未能捕捉这种模糊性，可能与从业者关于未量化成本或不良事件的偏好相冲突。
4. 真实值不可用：在因果推断中，仅能观察到已实施治疗的结果；反事实结果（因此真实的最优治疗）未被观察到，这增加了构建具有形式化保证的策略的复杂性。

作者提出了一种针对多治疗设置（$K > 1$）的集合值策略学习范式。该策略不再输出单一推荐，而是输出一个 plausible 治疗子集。其主要目标是构建策略 $C$，使得该集合以高概率包含至少一个最优治疗：
$$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$$
其中 $\Pi^\star(X)$ 是协变量 $X$ 的最优治疗集合，$\alpha$ 是用户指定的误差水平。这将模型的角色从“规定”决策转变为通过提供过滤后的选项集来“支持”决策，并通过集合基数自然地量化不确定性。

方法论

本文介绍了两种具有形式化覆盖保证的集合值策略学习框架：

1. 最大下界 (GLB) 方法

该方法利用条件均值结果估计量，将“学习以推迟（learning-to-defer）”框架扩展至多治疗场景。

• 机制：它依赖于条件均值结果 $\mu(x, a)$ 的可靠下界 ($\ell_n$) 和上界 ($u_n$)。
• 构建：
  1. 识别最大化下界的治疗 $a_{maxmin}$：$a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$。
  2. 构建集合 $C_\alpha(x)$，包含所有上界超过最大下界基准的治疗：
     $$C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$$
• 保证：在存在有效置信区间的假设下，该方法实现条件覆盖，进而意味着边际覆盖。
• 局限：它需要构建有效的界限（非平凡任务），且对估计误差敏感。

2. 共形集合值策略学习（噪声标签机制）

鉴于最优治疗未被观察到，作者将策略学习框架化为噪声标签机制下的分类任务，其中估计的最优治疗作为真实值的代理。

• 元算法：

  1. 黑盒标签生成：在部分数据上训练策略学习器（如 Q-learning、策略树），生成噪声标签 $\hat{A}^*$（最优治疗的估计值）。
  2. 非共形分数：利用训练子集学习分数函数 $s_n(x, a)$（如基于边距的分数），以量化候选治疗相对于校准数据的一致性。
  3. 噪声校准：使用噪声标签 $\hat{A}^*$ 在校准集上计算分数，并导出分位数阈值 $\hat{q}_{1-\alpha}$。
  4. 预测集：定义 $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$。

• 解决覆盖缺口：在噪声标签上进行标准共形预测，若无假设则无法保证对真实最优治疗的覆盖。作者提出了两种策略以确保边际覆盖：

  1. 秩保持假设：假设估计量保持治疗均值的排序。若满足此假设，则覆盖得到保证。
  2. 随机性注入：一种在不依赖严格结构假设的情况下强制随机占优的新颖方法。
     • 以概率 $r$ 将噪声标签与纯随机标签混合，从而扰动噪声标签：$\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$。
     • 这种受控的随机性在随机意义上增加了非共形分数，确保预测集足够保守以覆盖真实的最优治疗。定理 1 提供了保证覆盖所需的 $r$ 的条件。

评估指标

本文引入了集合策略价值来评估这些策略，因为标准策略价值指标不足以衡量集合。

• 选择函数 ($\delta$)：从集合中选择单一治疗的映射。
• 均匀集合策略价值 ($\bar{V}_P(C)$)：如果从集合中随机均匀选择治疗时的预期结果。这为优于随机选择的决策者所实现的价值提供了下界。

主要结果

合成实验

• 覆盖性：实验表明，若不注入随机性（$r=0$），由于估计误差，覆盖保证经常被违反。引入适度水平的随机性（例如 $r=0.2$）成功恢复了边际覆盖。
• 权衡：增加 $r$ 会增加预测集合的平均基数（使其更大、更保守），以确保覆盖。GLB 方法也能实现覆盖，但由于对估计误差敏感，往往倾向于过度覆盖。
• 价值：为了维持较高的集合策略价值，需要更高的置信水平（更低的 $\alpha$）或更高的随机性水平，从而在集合大小（信息量）和覆盖可靠性之间取得平衡。

现实世界应用：体外受精 (IVF)

• 数据集：18,538 个卵巢刺激周期，包含序数促性腺激素剂量和结果（卵泡产量和雌二醇水平）。
• 发现：
  • 集合值策略成功过滤了极端剂量，保留了治疗的序数结构。
  • 决策支持：该框架允许整合次要目标。例如，应用于集合值输出的“最小剂量”策略（$\delta_{lower}$）有效地控制了雌二醇水平（降低了卵巢过度刺激综合征 OHSS 的风险），与均匀采样相比，仅导致卵泡产量的边际减少。
  • 基数：与合成设置中一样，更高的随机性水平导致更大的集合，提供了更安全但可能更繁琐的决策空间。

意义与主张

本文声称是首个在因果策略学习框架内学习具有形式化覆盖保证的集合值策略的研究。其意义在于：

1. 范式转变：从“规定”单一决策转变为通过提供一组 plausible 选项来“支持”决策者，从而将“学习以推迟”框架推广到多治疗设置。
2. 内在不确定性量化：预测集合的大小自然反映了决策模糊的程度，为临床医生提供了可操作的置信水平。
3. 模型无关性：共形方法与模型无关，可与任意黑盒策略学习方法结合，无需专门的鲁棒性修改。
4. 处理未观察到的真实值：通过利用噪声标签文献的见解并引入随机性注入，该方法弥合了未观察到的最优治疗与估计规则之间的差距，提供了严格的覆盖保证，而无需依赖底层估计量的鲁棒性属性。
5. 临床相关性：IVF 应用表明，这些方法产生了稳健、可操作的策略，能够整合临床约束（如剂量降级），并在性能与安全之间取得平衡。

作者总结道，可靠的个体化决策需要能够在统计不确定性和建模误差存在的情况下保持可信的方法。他们的框架支持而非取代人类决策者，促进了结合次要目标和临床判断的情境感知选择。