기술 요약: 임상 세계 모델과의 상호작용을 통한 LLM 내 환자 역동성 에이전트화

문제 정의

중환자실 (ICU) 에서의 패혈증 관리는 고위험 순차적 의사결정 문제입니다. 효과적인 치료는 임상가가 장기적인 장기 손상을 피하면서 관류 상태를 회복시키기 위해 시간 경과에 따라 정맥 주사 수액과 혈압강하제를 조절 (titrate) 해야 함을 요구합니다. 이 과제는 급격히 변화하는 환자의 생리학적 특성을 특징으로 하며, 단기적인 혈역학 (예: 혈압) 을 개선하는 행동이 장기적인 결과 (예: 폐부종 또는 신부전) 를 악화시킬 수 있습니다.

대형 언어 모델 (LLM) 은 광범위한 임상 지식을 보유하고 의료 지침에 대해 추론할 수 있지만, 행동 조건부 환자 역동성에 대한 고유한 기반 (grounding) 이 부족합니다. LLM 은 일반적인 생리학적 원리를 알 수 있지만, 특정 환자가 향후 몇 시간 동안 특정 용량의 치료에 어떻게 반응할지 추정하는 데 실패할 수 있습니다. 기존 방법들은 종종 Electronic Health Record (EHR) 의 후향적 궤적에서 직접 치료 정책을 학습하여 상태를 행동에 매핑합니다. 이러한 접근 방식은 과거 행동 편향에 취약하며, 관찰 데이터에서 잘 대표되지 않는 대안적 치료 경로에 대해 추론하는 데 어려움을 겪습니다.

방법론

저자들은 패혈증 치료 권고를 위해 설계된 세계 모델 강화 LLM 에이전트인 SepsisAgent를 소개합니다. 핵심 혁신은 "제안 - 시뮬레이션 - 정제 (propose–simulate–refine)" 워크플로우와 3 단계 훈련 커리큘럼을 통해 임상 세계 모델을 LLM 정책과 통합하는 것입니다.

1. 임상 세계 모델

임상 세계 모델 ($W_\theta$) 은 환자의 진화를 학습한 행동 조건부 근사치입니다. 현재 환자 상태 $s_t$와 후보 치료 행동 $a_t$가 주어지면, 다음 생리학적 상태 $s_{t+1}$의 분포와 하류 결과 신호 $o_t$를 예측합니다.

• 아키텍처: 환자 궤적 이력을 처리하기 위해 2 층 게이트드 순환 유닛 (GRU) 인코더를 구현한 후, 다음 상태를 예측하는 가우시안 매개변수를 출력하는 상태 전이 헤드와 사망률과 같은 장기 임상 결과를 예측하는 결과 헤드를 따릅니다.
• 기능: 예측 시뮬레이터 역할을 하여, 에이전트가 처방을 확정하기 전에 반사실적 치료 옵션을 비교할 수 있게 합니다.

2. SepsisAgent 워크플로우

추론 시 SepsisAgent 는 제안 - 시뮬레이션 - 정제 루프를 통해 작동합니다:

1. 제안 (Propose): LLM 이 일련의 후보 수액–혈압강하제 중재 ($C_t$) 를 생성합니다.
2. 시뮬레이션 (Simulate): 각 후보에 대해 임상 세계 모델이 미래 상태와 결과 신호를 포함한 생리학적 결과 ($\hat{y}_t$) 를 추정합니다.
3. 정제 (Refine): LLM 은 이러한 행동–반응 쌍을 임상 사전 지식과 지침과 비교하여 최종 치료 행동을 선택합니다.

3. 3 단계 훈련 커리큘럼

저자들은 단순히 LLM 에 세계 모델 접근 권한을 제공하는 것만으로는 부족하며, 에이전트가 시뮬레이션된 피드백을 해석하도록 명시적으로 훈련되어야 한다고 주장합니다. 그들은 단계별 훈련 파이프라인을 제안합니다:

• 1 단계: 환자 역동성 예측 및 지침 인식 추론 (지도 미세 조정):

  • 모델은 입원 중 사망률 (IHM) 예측, 혈압강하제 요구도 (VR) 예측, 그리고 1 단계 치료 추론과 관련된 작업으로 훈련됩니다.
  • 데이터는 환자 상태 분석, 역동성 예측, 그리고 지침 제약을 통합하는 사고의 사슬 (chain-of-thought) 논리를 생성하기 위해 GPT-4.1 을 사용하여 합성됩니다.
  • 목표: 모델이 환자 진화를 이해하고 패혈증 지침 내에서 추론하도록 가르치는 것.

• 2 단계: 제안 - 시뮬레이션 - 정제 행동 클로닝:

  • 모델은 다중 라운드 추론 흔적을 통해 세계 모델과 상호작용하는 법을 학습합니다.
  • 전문가 전이를 사용하여, 에이전트가 행동을 제안하고, 시뮬레이션된 응답을 위해 세계 모델에 쿼리를 보내고, 전문가 행동을 선택하기 전에 결정을 정제하는 상호작용 궤적을 합성합니다.
  • 목표: 의사결정 과정에서 세계 모델 피드백을 사용하는 법을 에이전트에게 가르치는 것 (모방 학습).

• 3 단계: 세계 모델 기반 에이전트 강화 학습 (RL):

  • 에이전트는 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 가상 환경으로서 임상 세계 모델과 상호작용합니다.
  • 에이전트는 각 상태에 대해 여러 추론 궤적을 샘플링하고, 종단 결과 (생존/사망), 중간 생리학적 안정화 (SOFA 점수, 젖산 역동성), 그리고 지침 일관성 패널티로 구성된 복합 보상 함수를 최적화합니다.
  • 목표: 단기적 안정화에 대한 탐욕적 접근이 아닌 장기 치료 전략을 최적화하는 것.

주요 기여

1. 세계 모델 강화 LLM 에이전트: 반사실적 중재를 비교하기 위해 임상 세계 모델과 협력하는 SepsisAgent 의 제안. 이는 MIMIC-IV 패혈증 궤적에서 기존 RL 및 일반 LLM 베이스라인을 능가합니다.
2. 다단계 훈련 패러다임: 세계 모델 접근 권한만으로는 일관된 성능을 보장하지 못함을 입증. 에이전트가 시뮬레이션된 역동성을 올바르게 해석하고 임상 안전 제약과 정렬하도록 가르치는 커리큘럼 (SFT $\to$ 행동 클로닝 $\to$ RL) 을 확립함.
3. 환자 역동성의 내재화: 평가 시 시뮬레이터가 제거되었음에도 불구하고, 세계 모델 기반 에이전트 RL 이 LLM 의 환자 결과 (IHM 및 VR) 예측 고유 능력을 향상시킨다는 증거. 에이전트는 보상 신호에 단순히 적합하는 것이 아니라 환자 진화의 규칙성을 학습합니다.

실험 결과

시스템은 MIMIC-IV 데이터셋에서 725 개의 홀드아웃 에피소드로 평가되었습니다.

• 정책 가치: SepsisAgent 는 전통적인 RL 방법 (DDQN, AI Clinician) 과 다양한 LLM (GPT-4.1, Gemini-3, o3) 을 포함한 모든 베이스라인 중에서 가장 높은 오프 - 정책 가치 점수 (이중 강건, 가중 중요도 샘플링, 가중 결정별 중요도 샘플링) 를 달성했습니다.
• 안전성 및 준수: SepsisAgent 는 가장 높은 패혈증 지침 준수율 (97.95%) 과 가장 낮은 비안전 행동 비율 (과소 투여 0.08%, 과다 투여 0.14%) 을 달성했습니다. 반면, 특정 훈련 파이프라인이 없는 일반 LLM 과 세계 모델 강화 LLM 은 더 높은 비안전 행동 비율이나 낮은 정책 가치를 보였습니다.
• 절대 실험 (Ablation Studies):
  • 1 단계 (SFT) 와 2 단계 (행동 클로닝) 는 안전성 지표와 일부 정책 가치를 개선했지만, 모든 오프 - 정책 추정기에 걸쳐 안정적인 향상을 가져오지는 못했습니다.
  • 3 단계 (RL) 가 정책 가치 개선의 주요 동인으로 확인되었으며, 이는 세계 모델이 장기 전략을 최적화하기 위한 효과적인 환경으로 작용함을 시사합니다.
• 일반화: 모델은 MIMIC-III 에피소드로 테스트되었을 때 강력한 교차 데이터셋 성능을 보여주어 전통적인 RL 베이스라인을 능가했습니다.

중요성과 주장

이 논문은 고중증 환경에서 순차적 임상 의사결정을 지원하기 위해 세계 모델 기반 에이전트 학습을 사용하는 개념 증명 (proof of concept) 을 제공한다고 주장합니다.

• 접근을 넘어: 주요 발견은 시뮬레이터에 대한 접근만으로는 부족하며, 에이전트가 시뮬레이터의 피드백을 해석하도록 훈련되어야 한다는 점입니다. 일반 LLM 은 단기 시뮬레이션 개선 (예: 즉각적인 혈압 회복) 을 과도하게 신뢰하면서 장기적 위험 (예: 체액 과부하) 을 무시하는 경향이 있으며, 이는 제안된 훈련 파이프라인을 통해 수정된 실패 모드입니다.
• 내재화: 이 연구는 임상 세계 모델과의 반복적 상호작용이 LLM 이 추론 시 시뮬레이터 접근 없이도 사망률과 혈압강하제 필요성을 예측하는 능력을 향상시키도록 환자 역동성을 내재화할 수 있음을 시사합니다.
• 안전성: 이 접근법은 치료 가치 최적화와 엄격한 임상 안전 지침 준수를 성공적으로 균형 있게 유지하며, 순수 보상 기반 RL 에이전트에서 종종 보이는 "비안전한 단거리"를 피합니다.

저자들은 명시적으로 이 연구가 후향적 데이터와 시뮬레이션 환경을 사용하여 학술적 목적으로 수행되었으며, 모델들은 인간 감독 없이 직접 임상 배포를 목적으로 하지 않는다고 명시했습니다.