Risk-inclusive Contextual Bandits for Early Phase Clinical Trials

这是一份关于论文《Risk-inclusive Contextual Bandits for Early Phase Clinical Trials》（早期临床试验的风险包含型上下文多臂老虎机）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
早期临床试验（特别是 II 期剂量探索研究）的核心挑战在于确定既能保证疗效又能确保安全的最佳药物剂量。传统的随机对照试验（RCT）通常采用等概率随机化（Equal Randomization, ER），即对所有剂量组分配相同的受试者。

现有方法的局限性：

1. 亚优剂量暴露： 传统方法不考虑受试者的个体协变量（如年龄、基线指标等），导致大量受试者被分配到疗效不佳或安全性差的剂量组。
2. 缺乏多目标平衡： 现有的适应性随机化（RAR）方法往往侧重于单一目标（通常是疗效），难以在分配过程中有效平衡疗效（Efficacy）与安全性（Safety）。
3. 推断的滞后性与模型依赖性： 传统方法通常仅在试验结束时进行统计推断，无法支持基于连续监测的早期停止（Early Stopping）。此外，许多方法依赖于参数模型的正确设定，而在早期试验中，由于样本量小且药物机制未知，模型误设（Model Mis-specification）风险极高，导致推断失效。
4. 样本量需求大： 为了克服上述问题，传统设计往往需要更大的样本量，延长了药物研发周期。

核心问题：
如何设计一种适应性随机化框架，能够利用受试者协变量信息，在分配剂量时动态平衡疗效与安全性，同时提供**随时有效（Anytime-valid）**的统计推断，且对模型误设具有鲁棒性？

---

2. 方法论 (Methodology)

作者提出了一种名为风险包含型汤普森采样（Risk-inclusive Thompson Sampling, RiTS）的框架，结合了两个核心组件：试验优化和试验评估。

2.1 试验优化：RiTS 算法

该部分将剂量探索问题建模为**上下文多臂老虎机（Contextual Multi-Armed Bandit, CMAB）**问题。

• 双汤普森采样器（Dual Thompson Samplers）：
  • 为了同时处理疗效和安全性，RiTS 维护两个独立的汤普森采样器：一个用于建模疗效（$R$），另一个用于建模安全性（$S$）。
  • 假设潜在结果服从线性模型：$R_n(a) = \mu(a)(X_n) + \epsilon_n$ 和 $S_n(a) = \nu(a)(X_n) + \delta_n$。
• 加权效用函数：
  • 引入一个预定义的权重参数 $w \in (0, 1)$ 来平衡两个目标。
  • 对于第 $n$ 个受试者（协变量为 $x$），其分配给剂量 $a$ 的效用定义为：
    $$\omega(x, \dots; w) = w \cdot \hat{\mu}(a, x) + (1-w) \cdot \hat{\nu}(a, x)$$
  • 算法通过模拟后验分布，计算每个臂的效用，并据此生成分配概率（Propensity）。
• 截断（Clipping）：
  • 为了确保统计推断的有效性（满足正性假设），算法强制将分配概率截断在 $[\delta, 1-\delta]$ 范围内，防止某些亚优剂量组完全不被分配样本。

2.2 试验评估：基于 AsympCS 的鲁棒推断

该部分旨在提供在试验过程中任意时刻都有效的统计推断，以估计各剂量相对于安慰剂的效果大小（Effect Size, $\Delta$）。

• 渐近置信序列（Asymptotic Confidence Sequences, AsympCS）：
  • 扩展了 Waudby-Smith et al. (2024) 提出的 AsympCS 方法，使其适用于上下文老虎机生成的自适应数据。
  • 核心优势： 提供**时间均匀（Time-uniform）**的覆盖率保证。这意味着无论试验在何时停止（基于数据监测），置信区间都能以 $1-\alpha$ 的概率覆盖真实参数，支持“随时有效”的推断。
• 增强的逆概率加权（AIPW）伪结果：
  • 为了处理模型误设和自适应采样带来的偏差，使用交叉拟合（Cross-fitting）策略。
  • 将数据分为训练集（$D_{trn}$）和评估集（$D_{eval}$）。
  • 构建 AIPW 伪结果：$\hat{g}(Z_i; a) = \hat{\mu}(X_i) + \frac{I\{A_i=a\}}{q(a, X_i)}(R_i - \hat{\mu}(A_i, X_i))$。
  • 利用这些伪结果构建置信序列 $C_n^{(\alpha)}(a)$。
• 模型辅助（Model-assisted）特性：
  • 虽然试验优化（RiTS）依赖于参数模型（如线性回归）来高效学习，但最终的统计推断（AsympCS）对模型误设是鲁棒的。只要回归估计量一致收敛到某个函数（不一定是真实函数），AsympCS 依然有效。

2.3 算法流程 (Algorithm 1)

1. Burn-in 阶段： 前 $n_0$ 个受试者采用等概率随机化，收集初始数据。
2. RiTS 阶段： 从第 $n_0+1$ 个受试者开始，利用历史数据更新后验，计算加权效用，生成截断后的分配概率，进行适应性分配。
3. 实时推断： 当样本量达到烧入样本量 $m$ 后，开始计算 AsympCS。
4. 停止规则： 如果某个剂量的置信序列下限超过临床显著阈值（$\tau$），或所有剂量的上限低于 $\tau$，则停止试验。

---

3. 主要贡献 (Key Contributions)

1. 提出 RiTS 框架： 首次将多目标（疗效 + 安全性）上下文老虎机应用于早期临床试验，通过双汤普森采样器和权重参数，实现了受试者层面的个性化剂量分配，有效平衡了风险与收益。
2. 模型鲁棒的随时有效推断： 将 AsympCS 扩展到适应性随机化场景，结合 AIPW 和交叉拟合技术，证明了即使在模型误设和数据自适应收集的情况下，依然能提供时间均匀的置信区间保证。
3. 理论保证： 证明了在满足正性（Positivity）和一致性（Consistency）假设下，AsympCS 在 RiTS 框架下的有效性（Theorem 1），并给出了关于截断参数 $\delta$ 和烧入样本量 $m$ 的理论要求。
4. 实证验证：
   • 模拟研究： 在高信噪比（High-SNR）、低信噪比（Low-SNR）和无疗效（Null-Efficacy）场景下，RiTS 在减少累积遗憾（Regret）、识别最佳剂量以及控制误覆盖率方面均优于传统等概率随机化（Rand）和仅关注疗效的汤普森采样（TS）。
   • 真实数据应用： 在斑秃（Alopecia Areata）IIb 期试验数据的回顾性分析中，RiTS 成功识别出具有最佳综合效益的剂量，且分配策略更符合安全性考量。

---

4. 实验结果 (Results)

• 累积遗憾（Cumulative Regret）：
  • 与传统随机化（Rand）相比，RiTS 显著降低了效用、疗效和安全性方面的累积遗憾。
  • 与仅关注疗效的 TS 相比，RiTS 虽然牺牲了少量的疗效遗憾，但大幅降低了安全性遗憾，体现了“风险包含”的优势。
• 停止时间与识别能力：
  • 在识别“获胜剂量”（Winner Dose）方面，RiTS-AIPW 的表现与 Rand-AIPW 相当或更优，且能更早地满足停止标准。
  • 在低信噪比场景下，RiTS 表现出更强的稳定性。
• 置信序列质量：
  • AsympCS 提供了有效的覆盖率控制（误覆盖率控制在名义水平 5% 以内）。
  • 相比非渐近置信序列，AsympCS 在早期临床试验常见的样本量下能提供更窄的置信区间，提高了推断效率。
• 模型误设下的表现：
  • 当生成数据的真实模型与拟合模型不一致时，RiTS-AIPW 依然能保持对效应大小的无偏估计和有效的覆盖率，验证了其“模型辅助”而非“模型依赖”的特性。

---

5. 意义与影响 (Significance)

1. 加速药物研发： 通过适应性分配，RiTS 能够更快地将受试者分配到更优的剂量组，同时利用连续监测和随时有效的推断，允许在确证疗效或发现安全性问题时提前停止试验，从而节省时间和资源。
2. 提升受试者安全性： 该方法明确将安全性纳入分配决策，避免了传统方法中可能出现的“为了探索而牺牲安全性”的问题，符合伦理要求。
3. 解决模型不确定性难题： 早期临床试验往往缺乏先验知识，模型误设风险高。RiTS 的“模型辅助”推断机制（优化依赖模型，推断不依赖模型）为在不确定性环境下进行统计决策提供了坚实的理论基础。
4. 临床实践指导： 论文提供了关于超参数（如权重 $w$、截断 $\delta$、烧入样本 $m$）选择的实用建议，使得该方法具有实际落地的可行性。

总结：
这篇论文通过结合强化学习（多臂老虎机）和现代因果推断（AsympCS、AIPW），提出了一种创新的早期临床试验设计框架。它不仅解决了传统方法在平衡疗效与安全性方面的不足，还克服了适应性试验中统计推断的难题，为加速安全、高效的药物开发提供了强有力的工具。