技術概要：臨床世界モデルとの相互作用による LLM 内での患者ダイナミクスのエージェント化

問題定義

集中治療室（ICU）における敗血症の管理は、高リスクな逐次的意思決定問題である。効果的な治療には、臨床医が時間経過とともに静脈内輸液や血管作動薬を滴定し、灌流を回復させつつ、後続の臓器障害を回避することが求められる。この課題は、急速に変化する患者の生理状態によって特徴づけられ、短期的な血流動態（例：血圧）を改善する行動が、長期的な転帰（例：肺水腫や腎不全）を悪化させる可能性がある。

大規模言語モデル（LLM）は広範な臨床知識を有し、医療ガイドラインに基づいた推論が可能であるが、行動条件付きの患者ダイナミクスに対する内在的な接地性を欠いている。LLM は一般的な生理学的原則を知っていても、特定の患者が今後数時間にわたって特定の用量にどのように反応するかを推定できない場合がある。既存の手法は、多くの場合、過去の電子健康記録（EHR）の軌跡から直接治療方針を学習し、状態を行動にマッピングする。これらのアプローチは、過去の行動バイアスに脆弱であり、観察データで十分に表現されていない代替治療経路についての推論に苦しむ。

手法

著者は、敗血症治療の推奨を目的とした、世界モデル拡張型の LLM エージェント「SepsisAgent」を導入する。中核的な革新は、「提案–シミュレーション–洗練」ワークフローと、3 段階のトレーニングカリキュラムを通じて、臨床世界モデルを LLM 方策に統合することである。

1. 臨床世界モデル

臨床世界モデル（$W_\theta$）は、患者の進化に対する学習された、行動条件付きの近似である。現在の患者状態 $s_t$ と候補となる治療行動 $a_t$ が与えられたとき、次の生理学的状態 $s_{t+1}$ と下流の転帰シグナル $o_t$ の分布を予測する。

• アーキテクチャ: 患者の軌跡履歴を処理するために 2 層のゲート付き再帰型ユニット（GRU）エンコーダを実装し、その後に状態遷移ヘッド（次の状態のガウス分布パラメータを予測）と転帰ヘッド（死亡率などの長期的な臨床転帰を予測）が続く。
• 機能: 予測シミュレーターとして機能し、エージェントが処方にコミットする前に反実仮説的な治療オプションを比較することを可能にする。

2. SepsisAgent ワークフロー

推論時、SepsisAgent は提案–シミュレーション–洗練ループを通じて動作する。

1. 提案: LLM が、候補となる輸液–血管作動薬介入のセット（$C_t$）を生成する。
2. シミュレーション: 各候補について、臨床世界モデルが将来の状態や転帰シグナルを含む生理学的結果（$\hat{y}_t$）を推定する。
3. 洗練: LLM は、これらの行動–反応ペアを臨床的な事前知識やガイドラインと比較し、最終的な治療行動を選択する。

3. 3 段階トレーニングカリキュラム

著者は、単に LLM に世界モデルへのアクセスを提供するだけでは不十分であり、エージェントはシミュレートされたフィードバックを解釈するように明示的に訓練される必要があると主張する。彼らは段階的なトレーニングパイプラインを提案する。

• 段階 I: 患者ダイナミクス予測とガイドライン意識的推論（教師あり微調整）:

  • 入院死亡率（IHM）予測、血管作動薬必要量（VR）予測、および 1 段階の治療推論に関するタスクでモデルを訓練する。
  • データは GPT-4.1 を使用して合成され、患者状態分析、ダイナミクス予測、ガイドライン制約を統合する思考の連鎖（chain-of-thought）の根拠を作成する。
  • 目的: モデルに患者の進化を理解させ、敗血症ガイドライン内で推論させること。

• 段階 II: 提案–シミュレーション–洗練行動クローン:

  • モデルは、多段階の推論トレースを通じて世界モデルと相互作用することを学習する。
  • 専門家の遷移を使用して、エージェントが行動を提案し、シミュレートされた反応のために世界モデルに照会し、専門家の行動を選択する前に決定を洗練する相互作用軌跡を合成する。
  • 目的: 意思決定中に世界モデルのフィードバックをどのように使用するかをエージェントに教えること（模倣学習）。

• 段階 III: 世界モデルに基づくエージェント型強化学習（RL）:

  • エージェントは、**グループ相対方策最適化（GRPO）**を使用して、臨床世界モデルを仮想環境として相互作用する。
  • エージェントは各状態に対して複数の推論軌跡をサンプリングし、終端転帰（生存/死亡）、中間的な生理学的安定化（SOFA スコア、乳酸動態）、およびガイドライン整合性ペナルティからなる複合報酬関数を最適化する。
  • 目的: 貪欲な短期的安定化ではなく、長期的な治療戦略を最適化すること。

主要な貢献

1. 世界モデル拡張型 LLM エージェント: 反実仮説的な介入を比較するために臨床世界モデルと協力する SepsisAgent の提案。MIMIC-IV 敗血症軌跡において、従来の RL や素の LLM ベースラインを上回る性能を示す。
2. 多段階トレーニングパラダイム: 世界モデルへのアクセスのみでは一貫した性能が得られないことを示す。シミュレートされたダイナミクスを正しく解釈し、臨床的安全制約と整合させることをエージェントに教えるカリキュラム（SFT → 行動クローン → RL）を確立する。
3. 患者ダイナミクスの内在化: 世界モデルベースのエージェント型 RL が、評価時にシミュレーターが除去された場合でも、LLM の患者転帰（IHM および VR）を予測する内在的能力を強化するという証拠。エージェントは報酬シグナルに単に適合するのではなく、患者進化の規則性を学習する。

実験結果

システムは、MIMIC-IV データセットから保持された 725 のエピソードで評価された。

• 方策値: SepsisAgent は、従来の RL 手法（DDQN、AI Clinician）や各種 LLM（GPT-4.1、Gemini-3、o3）を含むすべてのベースラインの中で、最高のオフポリシー値スコア（二重ロバスト、重み付け重要度サンプリング、重み付け 1 決定ごと重要度サンプリング）を達成した。
• 安全性と遵守: SepsisAgent は、最も高い敗血症ガイドライン遵守率（97.95%）と、最も低い不安全行動の発生率（過少投与 0.08%、過剰投与 0.14%）を達成した。対照的に、特定のトレーニングパイプラインを持たない素の LLM や世界モデル拡張型 LLM は、より高い不安全行動の発生率または低い方策値を示した。
• アブレーション研究:
  • 段階 I（SFT）と段階 II（行動クローン）は、安全性指標と一部の方策値を改善したが、すべてのオフポリシー推定量にわたって安定した利益をもたらすことはなかった。
  • 段階 III（RL）が方策値改善の主要な駆動力であると特定され、世界モデルが長期的な戦略を最適化するための効果的な環境として機能することを示唆している。
• 一般化: モデルは MIMIC-III エピソードでテストされた際、強いクロスデータセット性能を示し、従来の RL ベースラインを上回った。

意義と主張

本論文は、高急性度環境における逐次的臨床意思決定を支援するための世界モデルベースのエージェント型学習の使用に関する概念実証を提供すると主張する。

• アクセスを超えて: 主な発見は、シミュレーターへのアクセスだけでは不十分であり、エージェントはシミュレーターのフィードバックを解釈するように訓練される必要があるということである。一般的な LLM は、短期的なシミュレートされた改善（例：即時の血圧回復）を過信し、長期的なリスク（例：体液過負荷）を無視する傾向があり、これは提案されたトレーニングパイプラインによって修正される失敗モードである。
• 内在化: 臨床世界モデルとの反復的な相互作用により、LLM が患者ダイナミクスを内在化し、推論時にシミュレーターへのアクセスがなくても死亡率や血管作動薬の必要性を予測する能力を向上させることが示唆される。
• 安全性: このアプローチは、治療価値の最適化と臨床的安全ガイドラインへの厳密な遵守のバランスを成功裡に取っており、純粋な報酬駆動型の RL エージェントでよく見られる「安全上の抜け道」を回避する。

著者は明示的に、本研究は学術目的のために過去のデータとシミュレートされた環境を用いて行われており、モデルは人間の監督なしの直接的な臨床展開を意図していないと述べている。