Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling

1. 문제 정의 (Problem Statement)

의료 분야 다중 모달리티 (Multimodal) 머신러닝 모델 개발의 주요 과제는 **학습 및 배포 중 발생하는 모달리티 (데이터 유형) 의 결측 (Missing Modalities)**을 처리하는 것입니다.

• 임상 데이터의 특성: 환자 데이터는 본질적으로 시계열적이며, 모달리티의 존재 여부가 불규칙하고 희소합니다.
• 기존 접근법의 한계:
  • 정적 (Static) 아키텍처: 대부분의 기존 모델은 미리 정의된 시간 창 내의 모든 데이터를 하나의 벡터로 연결하는 "Bag-of-features" 방식을 사용합니다. 이는 의사결정 과정을 역추적할 수 있는 설명 가능성 (Explainability) 을 저해합니다.
  • 결측치 처리: 기존 방법들은 결측 데이터를 추론/보정 (Imputation) 하거나, 단순히 0 으로 채우거나 (Zero-padding), 샘플을 제거하는 방식을 사용합니다. 이는 임상 신호를 환각 (Hallucination) 시키거나 잠재 공간 (Latent Space) 의 기하학적 구조를 파괴하여 안전한 진단 모델링에 해롭습니다.

2. 제안된 방법론 (Methodology)

저자들은 임상 진단을 정적 분류 작업이 아닌 자동 회귀 (Autoregressive) 시퀀스 모델링 문제로 재정의하고, 대규모 언어 모델 (LLM) 의 인과적 디코더를 활용하여 환자의 다중 모달리티 궤적을 모델링하는 프레임워크를 제안했습니다.

A. 결측 인식 대비 학습 (Missingness-Aware Contrastive Pre-training)

• 마스크된 글로벌 정렬 (Masked Global Alignment): 기존 대비 학습 (Contrastive Learning) 을 확장하여, 결측 모달리티가 있는 데이터도 통합된 잠재 공간에 매핑합니다.
• 학습 가능한 결측 토큰 (Learnable Missing Tokens): 결측된 모달리티를 0 으로 채우지 않고, 독립적으로 학습 가능한 토큰 ($t_i$) 을 잠재 공간에 주입합니다.
• 보조적 중심점 정렬 (Complementary Centroid Alignment):
  • 한 모달리티를 기준 (Anchor) 으로 하고, 해당 환자의 나머지 관측된 모든 모달리티의 집합을 긍정적 목표 (Positive Target) 로 설정합니다.
  • 이를 통해 단일 모달리티만 존재하는 경우에도 모델이 다른 모달리티의 맥락을 학습하도록 유도하며, 잠재 공간 내에서 다양한 모달리티가 안정적으로 정렬되도록 합니다.

B. 자동 회귀 시퀀스 모델링 (Autoregressive Sequence Modeling)

• Transformer 기반 아키텍처: 사전 학습된 LLM 디코더 (Llama-3, Mistral, BioMistral 등) 를 활용합니다.
• 동적 예측 업데이트: 임상 사건 (Event) 이 발생할 때마다 [PREDICT] 토큰을 삽입하여, 새로운 증거가 들어올 때마다 모델이 belief state (믿음 상태) 를 업데이트하고 다음 예측을 수행하도록 합니다. 이는 실제 임상 진단 과정 (지속적인 정보 업데이트) 을 모방합니다.
• 파인튜닝: 사전 학습된 대비 학습 임베딩을 사용하여 다양한 LLM 백본을 파인튜닝합니다.

C. 기계적 해석 (Mechanistic Interpretability)

• 어텐션 맵 분석: Transformer 의 최종 레이어에서 자기 어텐션 (Self-attention) 행렬을 추출하여, 모델이 진단을 내릴 때 어떤 과거 토큰에 집중하는지 분석합니다.
• 결측 시나리오 테스트: 특정 모달리티를 인위적으로 제거했을 때 모델의 예측 궤적과 어텐션 분포가 어떻게 변하는지 관찰하여 모델의 안전성과 편향성을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 대비 손실 함수 도입: 명시적인 결측 토큰을 학습하여, 높은 결측률을 가진 데이터셋에서도 불완전한 다중 모달리티 환자 상태를 글로벌 잠재 표현으로 정렬하는 하이브리드 대비 손실 (Contrastive Loss) 을 제안했습니다.
2. 시퀀스 모델링의 성능 입증: MIMIC-IV 및 eICU 데이터셋에서 정적 베이스라인 (MLP, LSTM) 대비 Transformer 기반 시퀀스 모델이 우수한 성능을 보임을 입증했습니다. 특히 결측률이 높은 MIMIC-IV 데이터셋에서 대비 학습과 시퀀스 모델링의 결합이 성능을 극대화했습니다.
3. 안전성 및 해석 가능성 증진: 대비 학습이 결측 모달리티 조건에서 발생하는 불안정한 안전성 실패 (예: 인구통계학적 데이터에 과도하게 의존하는 편향) 를 방지함을 기계적 분석을 통해 증명했습니다. 이를 통해 모델의 추론 경로를 투명하게 추적할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: MIMIC-IV (CXR 포함) 및 eICU 데이터셋 사용.
• 성능 비교:
  • MIMIC-IV (높은 결측률): 대비 학습을 적용한 시퀀스 모델이 정적 모델 및 스크래치 (Scratch) 학습 모델보다 압도적으로 높은 성능을 기록했습니다. (예: DeepSeek-LLM-7B 의 사망률 예측 AUROC 가 0.5720 에서 0.8409 로 급상승).
  • eICU (낮은 결측률): 데이터가 비교적 밀집되어 있어 스크래치 학습 모델도 높은 성능을 보였으나, 시퀀스 모델이 여전히 우세했습니다.
• 해석성 분석 (Case Study):
  • 비대비 학습 모델: 특정 모달리티 (예: 방사선 소견) 가 제거되면, 모델이 임상 데이터 대신 **인구통계학적 데이터 (Demographics)**에 집중하여 예측을 왜곡하거나 잘못된 결론을 내리는 경향이 있었습니다.
  • 대비 학습 모델: 모달리티가 제거되어도 잠재 공간이 잘 정렬되어 있어, 다른 임상 이력에 집중하며 예측 정확도를 유지했습니다. 이는 모델이 결측 상황에서도 임상적으로 타당한 추론을 유지함을 의미합니다.

5. 의의 및 결론 (Significance)

이 연구는 결측 모달리티에 민감한 대비 학습과 본질적으로 설명 가능한 시퀀스 모델링을 결합하여, 임상 AI 의 신뢰성과 안전성을 동시에 해결하는 프레임워크를 제시했습니다.

• 안전한 임상 AI: 모델이 데이터가 부족한 상황에서도 인구통계학적 편향에 의존하지 않고 임상적 근거에 기반한 결정을 내리도록 보장합니다.
• 투명한 의사결정: 블랙박스 모델의 내부 추론 과정을 시간 순서대로 추적할 수 있게 하여, 임상가가 모델의 판단 근거를 검증하고 신뢰할 수 있게 합니다.
• 미래 방향: 계산 효율성을 높이기 위해 State Space Models (SSM) 등으로 확장하거나, 자동화된 편향 완화 전략을 개발하는 것이 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 임상 데이터의 불완전성과 복잡성을 해결하기 위해 LLM 기반의 시퀀스 모델링과 강건한 대비 학습을 결합함으로써, 정확하면서도 해석 가능하고 안전한 의료 AI 모델 개발의 새로운 패러다임을 제시합니다.