技術概要：DeepEN – 集中治療における個別化経腸栄養のための深層強化学習フレームワーク

1. 問題定義

集中治療室（ICU）における経腸栄養（EN）の投与は、動的な代謝需要下でカロリー、タンパク質、および水分の目標を個別化することが困難であるため、最適化されていない。ガイドライン（例：ASPEN）は集団レベルの目標を提供しているが、臨床現場では、変化する臓器機能、栄養耐性、および併用療法により、実際の処置はしばしば逸脱する。その結果、過少投与、過剰投与、または開始の遅延が生じ、これらは不良転帰と関連している。

核心的な課題は、EN 管理の固有の構造にある：

• 多成分アクション空間: 決定は、単一の介入の滴定ではなく、相互依存する変数（カロリー、タンパク質、水）を含む。
• 遅延フィードバック: 栄養の代謝効果は緩慢かつ広範であり、行動と観測可能な生理学的結果との間に時間的なミスマッチが生じる。
• 疎な長期的転帰: 主要な転帰（生存）は疎で遅延しており、逐次的意思決定におけるクレジット割り当てを複雑にする。
• 安全性制約: 実際の患者に対するオンライン探索は実行不可能かつ非倫理的であり、分布のシフトが安全でない推奨につながる可能性があるため、回顧的データからの安全なオフライン学習が必要となる。

2. 方法論

2.1. データとコホート

本研究では、MIMIC-IVデータベース（Beth Israel Deaconess Medical Center、2008–2019年）を利用し、経腸栄養を受けた11,378 名の ICU 患者からデータを抽出した。

• 対象: 18 歳以上、12 時間以上の EN データ、および少なくとも 1 回の体重測定を有する患者。
• 範囲: 入院後最初の 10 日間（急性期）で、EN が積極的に投与されていた期間のデータ。
• 前処理: 軌跡は4 時間ごとのウィンドウに集約された。欠損値は、最終測定からの経過時間特徴量を用いたサンプル・アンド・ホールド法で補完された。

2.2. 強化学習の定式化

問題はマルコフ決定過程（MDP）$(S, A, r, P, \gamma)$ としてモデル化された。

• 状態空間（$S$）: 以下の 102 変数で構成される：
  • 63 の基本変数（人口統計、併存疾患、バイタルサイン、検査値、治療）。
  • 39 の「変化率」変数（直前の 3 時間ステップにおける平均変化率）。
  • 変数は、疾患の進行と生理学的軌跡の時間的傾向を捉える。
• アクション空間（$A$）: カロリー、タンパク質、水の 3 つの成分で定義される。
  • 量は体重調整され、経験的分位数に基づいて 4 レベルに離散化される。
  • 空間はこれらの成分の直積（$4 \times 4 \times 4 = 64$ の理論的組み合わせ）であり、データセットでは51 の観測された組み合わせに削減されている。
  • アクションは総摂取量（EN および静脈液などの非 EN 源）を表す。
• 報酬関数（$r$）: 終端の生存と中間的な代謝安定性のバランスを取るよう設計された。
  • 終端報酬: 生存で $+15$、院内死亡で $-15$。
  • 中間バイオマーカー報酬: グルコース、リン、ナトリウムに基づく。
    • 評価ウィンドウ: 生理学的反応時間に合わせて調整（グルコース 4 時間、リン 8–16 時間、ナトリウム 12–24 時間）。
    • 損失関数: 目標範囲からの逸脱を罰するためにリバース・ハーバー（BerHu）損失を使用。小さな逸脱には線形ペナルティ、大きな逸脱には二次ペナルティが与えられる。
    • スケーリング: 中間報酬は、終端の生存目標を覆い隠すことなく学習を導くよう、係数 $\lambda$（最適化値 0.2）でスケーリングされる。

2.3. アルゴリズム：保守的オフライン RL

オフライン環境における分布のシフトと過大評価のリスクに対処するため、著者らはConservative Q-Learning (CQL) 正則化を備えたDueling Double Deep Q-Network (D3QN) を採用した。

• D3QN: 最大化バイアスを軽減するため、行動選択と評価を分離する。
• CQL: データセットで十分に支持されていない行動の Q 値に対して正則化項を追加して罰する。これは、多くの状態 - 行動対が疎に表現されている組み合わせ的なアクション空間を考慮すると重要である。
• 学習: 70/10/20 の分割（学習/検証/テスト）。ハイパーパラメータはグリッドサーチにより最適化（$\alpha_{CQL}=0.5$, $\gamma=0.99$）。

2.4. 評価フレームワーク

本研究では、シミュレーターを使用せずにオフポリシー評価（OPE） を利用した：

1. リターン較正 OPE: Doubly Robust (DR) 推定を用いて期待リターン（$V^\pi$）を計算した。これらのリターンは、臨床医の軌跡から導出された実証的な死亡率およびバイオマーカー安定性カーブにマッピングされ、臨床的に解釈可能な転帰推定値を生成した。
2. ポリシー不一致分析: ポリシー推奨と臨床医の行動との乖離と転帰との関係（U 字カーブフレームワーク）を検討し、ベースラインの重症度を調整した。
3. 解釈可能性: 意思決定の駆動要因を特定するために順列重要度（Random Forest）を使用し、協調的な治療戦略を分析するために共同アクションヒートマップを使用した。

3. 主要な結果

3.1. 定量的パフォーマンス

DeepEN は、すべての指標においてすべてのベースライン（臨床医、ランダム、行動クローニング、ASPEN 由来ポリシー）を上回った：

• ポリシー値（$V^\pi$）: DeepEN は9.48という最高値を達成し、臨床医（8.11）および ASPEN（7.52）と比較して優れていた。
• 死亡率: DeepEN は18.8%の死亡率を推定し、臨床医の処置（22.8%）と比較して4.0 ポイントの絶対的な減少を示した。これは、1,000 人の ICU 患者あたり約 40 人の死亡減少に相当する。
• 代謝安定性: DeepEN は、目標範囲内のバイオマーカー値の割合が最も高かった：
  • グルコース: 76.9%（臨床医 72.1% 対比）
  • リン: 67.7%（臨床医 65.3% 対比）
  • ナトリウム: 65.2%（臨床医 62.6% 対比）

3.2. 構造的および解釈可能性の知見

• 不一致分析: DeepEN ポリシーからの逸脱は、死亡率およびバイオマーカー不安定性の増加と独立して関連していた。一方、ランダムなポリシーからの逸脱にはそのような関連は見られず、DeepEN が転帰に関連する治療構造を捉えていることを示唆している。
• 特徴重要度: 臨床医と DeepEN の両方が体重と EN 開始からの時間に大きく依存していたが、DeepEN は動的な臓器機能マーカー（尿量、クレアチニン、ショック指数、電解質）を著しく重視していた。これは、静的なヒューリスティックから、生理学的に情報に基づいた意思決定への転換を示している。
• 行動協調: DeepEN は、臨床医の処置でよく見られる並行した増量とは異なり、タンパク質をカロリー増量から部分的に分離するなど、より構造化された段階的な投与量増進を示した。

4. 意義と貢献

本論文は、以下の貢献と意義を主張している：

• 初の適用: これは、集中治療における動的で多成分の経腸栄養の個別化のための強化学習フレームワークを開発し、体系的に評価した最初の研究である。
• 方法論的フレームワーク: 緩慢に作用する多成分療法に適用される保守的オフライン RLの再現可能なアプローチを確立した。主な革新点は以下の通り：
  • 前方評価ウィンドウと BerHu 損失を使用した生理学的に整合した報酬フレームワーク。
  • 抽象的な値推定を死亡率および安定性指標に変換するための構造化されたリターン - 転帰較正。
  • 意思決定の整合性と安全性を特徴づけるためのポリシーレベルの構造的分析。
• 臨床的妥当性: 結果は、データ駆動型の個別化がガイドラインに基づくアプローチを補完し得ることを示唆している。モデルが動的な臓器機能マーカーに依存することは、静的な体重ベースの目標ではなく、変化する代謝状態に合わせて栄養を調整する必要性を強調する新たな臨床的証拠と一致している。
• 安全性と実現可能性: 本研究は、保守的オフライン RL がリアルタイムの患者探索なしに安全で個別化されたポリシーを学習し得ることを示しており、複雑で縦断的な ICU 療法における AI 駆動型の意思決定支援への道筋を提供する。

5. 限界と将来の方向性

著者らは、いくつかの限界を指摘している：

• 一般化可能性: データは単一の病院システム（MIMIC-IV）からのものであり、外部検証が必要である。
• データ不足: 現在、縦断的な EN 投与データに必要な粒度を提供する他のオープンソースデータセットはない。
• 報酬設計: 報酬関数は手作業で作成され簡略化されており、栄養の適切さのすべての次元を捉えているとは限らない。
• 実装: フレームワークは、自律システムではなく臨床医向けの意思決定支援ツール（人間ループ内） として設計されている。臨床応用 prior には、前向き検証（例：サイレントモードでの展開）が必要である。

本論文は、DeepEN が、ガイドラインに基づく集中治療栄養ケアを代替するのではなく、強化する可能性をデータ駆動型の個別化が示していることを結論付けている。