Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

1. 문제 정의 (Problem Definition)

배경 및 핵심 문제:

• 다중 모달 임상 데이터의 특성: 전자 건강 기록 (EHR) 은 생체 신호, 검사 수치 (구조화 데이터) 와 임상 노트 (텍스트 데이터) 를 포함하며, 시간에 따라 기록됩니다.
• 정보적 결측 (Informative Missingness): 임상 데이터의 결측은 무작위 (Missing At Random, MAR) 가 아닙니다. 환자의 숨겨진 상태 (병증의 중증도) 와 의료진의 의사결정에 따라 기록 여부가 결정됩니다. 예를 들어, 상태가 위중한 환자는 더 빈번하게 모니터링되고 기록이 더 자주 생성됩니다.
• 모달리티 간 차이: 구조화 데이터 (생체 신호, 검사) 와 텍스트 데이터 (의사/간호사 노트) 는 서로 다른 생성 메커니즘을 가집니다. 구조화 데이터는 규칙적으로 수집되기도 하지만, 텍스트는 의료진의 문서화 행동에 더 직접적으로 의존합니다.
• 기존 연구의 한계: 기존 방법들은 결측 데이터를 처리하거나 보간하는 데 초점을 맞추었으나, 결측 패턴 자체가 환자의 상태에 대한 중요한 정보 (신호) 를 담고 있다는 점을 시계열 동역학 및 다중 모달 맥락에서 활용하여 환자 표현을 학습하는 방법은 부족했습니다.

목표:

• 구조화 데이터와 텍스트 데이터의 정보적 결측 (MNAR, Missing Not At Random) 패턴을 명시적으로 활용하여, 환자 상태의 동적 표현 (Dynamic Representation) 을 학습하고 이를 기반으로 치료 정책 (Policy) 을 최적화하며 예후를 예측하는 프레임워크 개발.

2. 제안 방법론: OPL-MT-MNAR

저자들은 OPL-MT-MNAR (Off-Policy Learning under Multimodal Observations with Temporal Missing-Not-At-Random Patterns) 이라는 2 단계 프레임워크를 제안합니다.

1 단계: 환자 상태 표현 학습 (Patient State Representation Learning)

이 단계는 베이지안 필터링 관점을 기반으로 하며, 세 가지 핵심 구성 요소로 이루어집니다.

1. 다중 모달 인코더 (Multimodal Encoder):

   • 구조화 데이터 처리: GRU-D(Gated Recurrent Units-Decay) 를 확장하여 사용합니다. 결측된 변수의 마지막 관측값이 시간이 지남에 따라 신뢰도가 떨어진다는 점을 고려하여, '마지막 관측 시간 (time since last observation)', '누적 관측 횟수', '결측률', '윈도우 내 관측 빈도' 등의 명시적 MNAR 특징을 입력으로 포함합니다.
   • 텍스트 데이터 처리: 임상 텍스트는 불규칙하게 기록되므로, **문서화 과정 요인 (Documentation-Process Factor)**을 도입합니다. 이는 텍스트의 내용 자체보다는 '기록의 유무', '최근성', '기록 밀도'와 같은 관찰 패턴을 요약하는 요인입니다. 이 요인은 텍스트 임베딩을 정제하고, 구조화 데이터와 텍스트를 융합할 때 가중치를 조절하는 게이트 (Gating) 메커니즘으로 활용됩니다.
   • 융합 (Fusion): 구조화 데이터 임베딩과 텍스트 임베딩을 문서화 과정 요인을 통해 적응적으로 융합하여 통합 관찰 표현 ($\phi_h$) 을 생성합니다.

2. 잠재 신념 상태 (Latent Belief State via Variational Inference):

   • 현재 관측치만으로는 과거 치료의 누적 효과나 환자의 숨겨진 생리학적 역동성을 완전히 포착하기 어렵습니다.
   • 이를 위해 **변분 자동인코더 (VAE)**를 사용하여 잠재 신념 상태 ($z_h$) 를 학습합니다.
   • 핵심 혁신: 잠재 상태의 전이 (Transition) 가 **행동 (Treatment Action)**에 조건부 (Action-Conditioned) 로 설정됩니다. 즉, $z_{h+1} \sim p(z_{h+1} | z_h, \phi_h, a_h)$입니다. 이는 과거의 치료 행위가 환자의 미래 상태에 어떻게 영향을 미치는지 학습하게 하여, 장기적인 보상을 최적화하는 정책을 학습할 수 있게 합니다. (행동과 무관한 역동성 가정 하에서는 장기 보상 최적화가 불가능함을 이론적으로 증명함).

3. 후방 환자 상태 (Posterior Patient State):

   • 최종 환자 상태 $s_h$는 통합 관찰 표현 $\phi_h$와 잠재 신념 상태 $z_h$를 결합하여 생성됩니다.
   • 재구성 손실 (Reconstruction Loss): 학습된 상태가 충분한 정보를 담고 있는지 검증하기 위해, 상태로부터 원본 관측치 (구조화 데이터, 마스크, 텍스트 내용, 문서화 패턴) 를 재구성하는 작업을 통해 사전 학습을 수행합니다.

2 단계: 다운스트림 태스크 (Downstream Tasks)

학습된 환자 상태 $s_h$를 활용하여 두 가지 태스크를 동시에 수행합니다.

1. 오프라인 정책 최적화 (Offline Policy Optimization):

   • **Implicit Q-Learning (IQL)**을 사용하여 치료 정책을 학습합니다.
   • 분포 이동 (Distribution Shift) 으로 인한 위험을 줄이기 위해, 행동 정책 ($\pi_\beta$, 의료진 행동) 에 가깝게 유지하면서 개선하는 Advantage-Weighted Behavioral Cloning 방식을 사용합니다.
   • 지연된 보상 (Delayed Rewards) 을 처리하기 위해 Expectile Regression 을 적용합니다.

2. 예후 예측 (Outcome Prediction):

   • 학습된 상태를 기반으로 72 시간 이후의 입원 사망률 등을 예측합니다.
   • 정책 최적화와 예후 예측을 **공동 학습 (Joint Learning)**함으로써, 두 태스크 간의 긍정적 전이 (Positive Transfer) 를 유도하여 더 임상적으로 의미 있는 환자 표현을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 정보적 결측의 명시적 활용: 결측 패턴을 단순히 처리해야 할 노이즈가 아닌, 환자의 중증도와 의료진 행동을 반영하는 중요한 신호로 간주하고 이를 다중 모달 (구조화 + 텍스트) 데이터에서 동적으로 모델링했습니다.
2. 행동 조건부 잠재 역동성 (Action-Conditioned Latent Dynamics): 치료 행위가 환자의 미래 상태에 미치는 영향을 학습하기 위해 잠재 상태 전이에 행동을 명시적으로 포함시켰으며, 이를 통해 장기 보상 최적화의 이론적 한계를 극복했습니다.
3. 다중 모달 융합 메커니즘: 텍스트 데이터의 내용뿐만 아니라 '기록되는 방식 (빈도, 시점)'을 모델링하는 문서화 과정 요인을 도입하여, 텍스트와 구조화 데이터를 지능적으로 융합했습니다.
4. 실증적 검증: MIMIC-III, MIMIC-IV, eICU 등 대규모 ICU 데이터셋에서 세균성 패혈증 (Sepsis) 치료 시나리오를 대상으로 검증했습니다.

4. 실험 결과 (Results)

데이터셋: MIMIC-III, MIMIC-IV, eICU (패혈증 코호트, 4 시간 간격, 72 시간 관찰).

주요 성능 지표:

• 정책 평가 (Fitted Q-Evaluation, FQE):

  • MIMIC-III: 제안된 OPL-MT-MNAR 정책은 0.679의 FQE 를 기록하여, 의료진의 행동 (0.528) 보다 크게 우월한 성능을 보였습니다. (기존 최상위 모델인 MedDreamer 의 0.583 보다도 높음).
  • MIMIC-IV: 0.634 (의료진 0.521 대비).
  • eICU: 0.604 (의료진 0.534 대비).
  • 텍스트의 영향: 구조화 데이터만 사용할 때보다 텍스트 (간호사 노트, 진단 보고서) 를 추가했을 때 성능이 크게 향상되었습니다. 특히 고중증 (High-Acuity) 환자군에서 정보적 결측 패턴이 가장 유익하게 작용하여 성능 격차가 벌어졌습니다.

• 예후 예측 (Post-72-hour Mortality Prediction):

  • 72 시간 이후 입원 사망률 예측 (AUROC) 에서 0.886을 기록하여, 기존 GRU-D(0.844), BRITS(0.852), MedDreamer(0.867) 등을 모두 상회했습니다.

분석:

• 고중증 환자: SOFA 점수가 높은 환자군에서 제안 모델의 성능 향상 폭이 가장 컸습니다. 이는 중증도가 높을수록 모니터링과 기록이 더 빈번해지며, 이러한 패턴이 모델에 유용한 정보를 제공하기 때문입니다.
• 강건성: 다양한 시간 간격, 행동 공간, 교차 검증 (Cross-dataset transfer) 실험에서도 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 임상 의사결정 지원: 이 연구는 EHR 데이터의 결측 패턴을 단순히 보간하는 것을 넘어, 그 패턴 자체가 가진 정보를 활용하여 더 정확한 환자 상태를 파악하고 최적의 치료 전략을 제안할 수 있음을 입증했습니다.
• 다중 모달 학습의 새로운 방향: 구조화 데이터와 비정형 텍스트 데이터를 통합할 때, 데이터의 '내용'뿐만 아니라 '생성 과정 (Observation Process)'을 모델링해야 함을 강조했습니다.
• 안전하고 효과적인 오프라인 RL: 오프라인 데이터 기반의 강화학습이 실제 임상 환경에서 적용될 때, 분포 이동 문제를 해결하고 장기적인 환자 결과를 개선할 수 있는 가능성을 보여주었습니다.

이 논문은 임상 AI 분야에서 **정보적 결측 (Informative Missingness)**을 핵심 특징으로 삼아 다중 모달 시계열 데이터를 처리하는 새로운 패러다임을 제시하며, 향후 정밀 의료 및 자동화된 치료 시스템 개발에 중요한 기여를 할 것으로 기대됩니다.