Offline Reinforcement Learning for Out-of-Distribution ICU Sepsis Decision Support

技術要約：分布外（OOD）のICU敗血症意思決定支援におけるオフライン強化学習

問題提起
集中治療室（ICU）における敗血症管理は、臨床医が進化する患者の生理学的状態に基づいて介入を適応させる、極めて重要な逐次的意思決定問題である。強化学習（RL）は、ログデータから治療ポリシーを学習するための枠組みを提供するが、前向きな探索（prospective exploration）は倫理的な制約を受ける。その結果、ポリシーはオフラインで評価されなければならない。標準的なデータセットで学習されたポリシーは、重篤な健康状態にある患者に対して予測不可能な挙動を示す可能性があるという大きな課題がある。これらの患者は学習データにおいて過小評価されがちであるが、臨床的には最も重要な対象である。本論文では、標準的なオフラインRL手法が、ますます深刻化する分布外（OOD）の患者コホートに対して評価された際、安定した、かつ行動に敏感な意思決定支援シグナルを保持しているかどうかを調査する。

手法
本研究では、MIMIC-IIIベンチマークデータセットを利用して、重症度による分布シフトを中心とした厳格な評価フレームワークを構築している。

• データおよびOOD分割: 著者らは、保持された重症度の軌跡の割合を増やすことにより、3つの重症度強化型OODテスト混合物（25%、50%、75%の重症OOD比率）を構築している。軌跡の重症度は、平均 shock_severity_proxy 値によって定義される。ポリシーは低重症度のコホートで学習され、これら段階的に困難になるテストセットで評価される。
• オフラインRL手法: 7つの標準的なオフラインRLアルゴリズムを比較している。これらはすべて、環境との相互作用なしに、ログされた軌跡のみから厳密に学習されている。
  • Fitted Q-Iteration (FQI)
  • Conservative Q-Learning (CQL)
  • FQI with a CQL-style penalty (FQI+CQL)
  • Batch-Constrained Q-Learning (BCQ)
  • Implicit Q-Learning (IQL)
  • Critic-Regularized Regression (CRR)
  • Advantage-Weighted Actor-Critic (AWAC)
• 学習済みダイナミクスを用いたオフポリシー評価（OPE）: フレームワークの重要な構成要素として、評価専用に別途学習された共有のダイナミクス・アンサンブル（フィードフォワード多層パーセプトロン）を使用している。このアンサンブルは、状態と行動のペアに基づき、次状態の変化、報酬、終了確率、および生存確率を予測する。
  • ロールアウト手順: ポリシーは、この学習済みダイナミクスモデルと相互作用することで軌跡を生成する。ロールアウトは、累積終了確率が閾値（$p_{done} \in \{0.3, 0.5, 0.7, 0.9\}$）に達するか、最大ホライゾン（$H_{max}=100$）に達したときに停止する。
  • 指標:
    1. モデル予測生存率 ($\hat{J}_{term}$): キャリブレーションされた生存評価器によって、モデル生成されたロールアウトの最終状態に割り当てられた平均生存確率。これは行動に敏感であり、モデルに依存する。
    2. 観察された臨床生存率 ($J_{obs}$): ログされた履歴データからの実際の生存率であり、固定されており、ポリシーには依存しない。
    3. エピソードレベル生理学的安定化スコア (EPSS): 生理学的変数（乳酸、MAP、クレアチニンなど）が時間の経過とともに改善、安定、または悪化しているかをスコアリングするヒューリスティックな指標。これは、モデル生成されたロールアウトと、一致させたログされた臨床的軌跡の両方について算出される。

主な貢献

1. 重症度によるOODストレス・テスト: 著者らは、標準的なイン分布評価を超えて、テストコホートにおける重症の保持されたICU敗血症軌跡の割合を段階的に増やすことで、標準的なオフラインRLポリシーを評価している。
2. 数量の明確な分離: 本研究は、観察された臨床生存率（$J_{obs}$）とモデル予測生存率（$\hat{J}_{term}$）を明示的に分離している。著者らは、両者の数値的な対比は、モデル依存のOPE診断であり、因果的な治療効果の証拠ではないことを強調している。
3. 生理学的安定化分析: EPSSを用いた二次分析は、生存率に対する補完的な診断を提供し、オフラインポリシーの軌跡が歴史的なデータと比較して好ましい生理学的変化を示しているかを評価する。

結果

• 生存率の傾向: 重症OOD比率が25%から75%に増加するにつれ、観察された臨床生存率（$J_{obs}$）は67.3%から48.8%へと単調に減少した。対照的に、オフラインRL手法のモデル予測生存率（$\hat{J}_{term}$）は比較的安定しており、すべての重症度レベルおよび手法において0.84から0.87の間であった。
• パフォーマンス・ギャップ: 最良のモデル予測リターンと観察された臨床生存率との差は、コホートの重症度が増すにつれて拡大した（25%時の+0.194から75%時の+0.358へ）。このギャップは、異なるロールアウト停止閾値（$p_{done}$）においても堅牢であった。
• 手法の比較: すべての設定において支配的な単一のアルゴリズムは存在しなかった。Fitted Q-Iteration (FQI) が最も一貫して強力であった一方、BCQは、より長いロールアウトを伴う最も軽度の重症OOD設定において最良の性能を示した。手法間の性能差は小さく、これは単一の優れたアルゴリズムというよりも、安定したモデルベースの挙動のファミリーであることを示唆している。
• 生理学的安定化: オフラインポリシーのモデル・ロールアウトは、一致させたログされた臨床的軌跡よりも高いEPSS値を達成した。CQLポリシーの場合、EPSSの差はコホートの重症度とともに増大した（例：ホライゾン10において、75%重症OODで+0.32）。この改善の主な要因は、ショックの重症度、クレアチニン、乳酸の減少、および平均動脈圧（MAP）の改善であった。
• ロールアウトの長さ: 平均ロールアウト長はコホートの重症度とともに増加しており、これはモデルがより長い生存または遅延した終了を予測していることを反映している。著者らは、ロールアウトが長くなるほど、蓄積されるモデル誤差の影響を受けやすくなると指摘している。

意義と主張
本論文は、共有された学習済みダイナミクスを用いたOPEプロトコルの下で、オフラインRLポリシーが、ますます深刻化する分布外の患者コホートに対して評価された場合でも、安定した行動に敏感な意思決定支援シグナルを保持できる可能性があると主張している。$\hat{J}_{term}$ の安定性と良好なEPSSシグナルは、これらの手法が重症度のシフトによって崩壊しないことを示唆している。

しかし、著者らは臨床的な影響については慎重な立場をとっている。彼らは明示的に以下の通り述べている。

• 観察された生存率とモデル予測生存率の間の差は、モデルベースの対比であり、因果的な治療効果ではない。
• これらの結果は、これらのポリシーを導入することで現実世界の患者の生存率や生理学的状態が改善することの証拠ではない。
• 指標は、特に深刻なOOD状態において、学習済みダイナミクス・アンサンブルのバイアスや楽観性を継承する可能性がある。
• 臨床的な主張や展開を検討する前に、ダイナミクス評価器のキャリブレーション、独立した臨床コホートでの知見の検証、および因果的評価を行うための今後の研究が必要である。

要約すると、本論文は、分布シフトの下での安定した意思決定支援シグナルを生成するための有望な枠組みとしてオフラインRLを位置づけつつ、モデルベースの診断と臨床的現実との境界を厳格に区別している。