Offline Reinforcement Learning for Out-of-Distribution ICU Sepsis Decision Support

技术摘要：用于处理分布外（OOD）ICU 脓毒症决策支持的离线强化学习

问题陈述
重症监护病房（ICU）中的脓毒症管理是一个关键的序列决策问题，临床医生需要根据不断变化的患者生理状况调整干预措施。虽然强化学习（RL）提供了一个从日志数据中学习治疗策略的框架，但前瞻性探索受到伦理约束。因此，策略必须进行离线评估。在分布偏移（distribution shift）情况下，存在一个重大挑战：在标准数据集上训练的策略在面对病情严重的患者时可能会表现出不可预测的行为，而这类患者在训练数据中往往代表性不足，但在临床上却最为关键。本文研究了标准的离线强化学习方法在评估日益严重的分布外（OOD）患者队列时，是否仍能保持稳定且对动作敏感的决策支持信号。

方法论
本研究利用 MIMIC-III 基准数据集构建了一个以严重程度诱导的分布偏移为核心的严谨评估框架。

• 数据与 OOD 切分： 作者通过增加留存的严重病例轨迹比例，构建了三种严重程度增强的 OOD 测试混合集（分别为 25%、50% 和 75% 的严重 OOD 比例）。轨迹严重程度由平均 shock_severity_proxy 值定义。策略在较轻程度的队列上进行训练，并在这些逐渐增加难度的测试集上进行评估。
• 离线 RL 方法： 本研究比较了七种标准的离线强化学习算法，所有算法均严格基于日志轨迹进行训练，不与环境交互：
  • 拟合 Q 迭代 (Fitted Q-Iteration, FQI)
  • 保守 Q 学习 (Conservative Q-Learning, CQL)
  • 带有 CQL 式惩罚项的 FQI (FQI+CQL)
  • 批约束 Q 学习 (Batch-Constrained Q-Learning, BCQ)
  • 隐式 Q 学习 (Implicit Q-Learning, IQL)
  • 评论家正则化回归 (Critic-Regularized Regression, CRR)
  • 优势加权行动者-评论家 (Advantage-Weighted Actor-Critic, AWAC)
• 学习动力学离线策略评估 (OPE)： 该框架的一个关键组成部分是一个共享的、单独学习的动力学集成模型（一个前馈多层感知器），该模型仅用于评估。该集成模型根据状态-动作对预测下一状态的变化、奖励、终止概率和生存概率。
  • 展开过程 (Rollout Procedure)： 策略通过与该学习到的动力学模型交互来生成轨迹。当累积终止概率达到阈值（$p_{done} \in \{0.3, 0.5, 0.7, 0.9\}$）或达到最大步长（$H_{max}=100$）时，展开过程停止。
  • 指标：
    1. 模型预测终端生存率 ($\hat{J}_{term}$)：由经过校准的生存评估器分配给模型生成展开过程最终状态的平均生存概率。该指标具有动作敏感性和模型依赖性。
    2. 观测临床生存率 ($J_{obs}$)：来自日志历史数据的实际生存率，是固定的且与策略无关。
    3. 回合级生理稳定性评分 (EPSS)：一种启发式指标，用于评分生理变量（如乳酸、平均动脉压 MAP、肌酐）随时间改善、稳定或恶化的程度。该指标针对模型生成的展开过程和匹配的日志临床轨迹分别进行计算。

核心贡献

1. 严重程度 OOD 应力测试： 作者通过逐渐增加测试队列中严重脓毒症轨迹的比例，来评估标准离线 RL 策略，从而超越了标准的分布内评估。
2. 量化评估的分离： 研究明确区分了观测临床生存率 ($J_{obs}$) 与模型预测终端生存率 ($\hat{J}_{term}$)。作者强调，这两者之间的数值差异是一种依赖于模型的 OPE 诊断工具，而非因果治疗获益的证据。
3. 生理稳定性分析： 作为终端生存率的补充诊断，二次分析利用 EPSS 评估了离线策略轨迹是否表现出优于历史数据的生理变量变化趋势。

结果

• 生存趋势： 随着严重 OOD 比例从 25% 增加到 75%，观测到的临床生存率 ($J_{obs}$) 从 67.3% 单调下降至 48.8%。相比之下，离线 RL 方法的模型预测终端生存率回报 ($\hat{J}_{term}$) 保持相对稳定，在所有严重程度和方法下均处于 0.84 到 0.87 之间。
• 性能差距： 随着队列严重程度的增加，最佳模型预测回报与观测临床生存率之间的差距不断扩大（从 25% 时的 +0.194 扩大到 75% 时的 +0.358）。这一差距在不同的展开停止阈值（$p_{done}$）下都是稳健的。
• 方法比较： 没有哪种算法在所有设置下都占据绝对优势。Fitted Q-Iteration (FQI) 最为持续表现强劲，而 BCQ 在较轻的严重 OOD 设置及较长展开时长下表现最好。不同方法之间的性能差异较小，这表明存在一类稳定的模型化行为，而非单一的优越算法。
• 生理稳定性： 离线策略的模型展开过程实现了比匹配的日志临床轨迹更高的 EPSS 值。对于 CQL 策略，EPSS 差距随队列严重程度增加而增大（例如，在 75% 严重 OOD 且步长为 10 时，差距为 +0.32）。这些改善的主要驱动因素是休克严重程度的降低、肌酐和乳酸的下降以及平均动脉压 (MAP) 的改善。
• 展开长度： 平均展开长度随队列严重程度增加而增加，反映了模型对更长生存时间或延迟终止的预测。作者指出，较长的展开过程更容易受到累积模型误差的影响。

意义与主张
本文声称，在共享的学习动力学 OPE 协议下，即使在评估日益严重的分布外患者队列时，离线 RL 策略仍能保留稳定的、对动作敏感的决策支持信号。$\hat{J}_{term}$ 的稳定性以及良好的 EPSS 信号表明，这些方法在面对严重程度偏移时不会发生崩溃。

然而，作者对临床意义保持了审慎的态度。他们明确指出：

• 观测到的模型预测生存率与观测生存率之间的差距是一个基于模型的对比，而非因果治疗效应。
• 这些结果并非证据，证明部署这些策略会提高现实世界的患者生存率或生理指标。
• 这些指标继承了学习动力学集成模型可能存在的偏差和乐观倾向，尤其是在严重的 OOD 状态下。
• 未来的工作 需要对动力学评估器进行校准，在独立的临床队列上验证发现，并在进行任何临床主张或部署之前进行因果评估。

总之，本文将离线 RL 定位为一个有前景的框架，能够在分布偏移下生成稳定的决策支持信号，同时严谨地划定了基于模型的诊断与临床现实之间的界限。