Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 심부전 (Heart Failure, HF) 환자의 단기 사망률 (퇴원 후 3 개월 이내) 예측은 임상적으로 중요하지만, 구조화된 전자의무기록 (EHR) 데이터만으로는 정확한 예측이 어렵습니다.
• 문제점:
  • 기존 연구들은 주로 구조화된 변수 (인구통계, 검사 수치 등) 나 비구조화된 임상 노트 중 하나에만 의존하는 단일 모달 (Unimodal) 접근법을 사용했습니다.
  • 임상 노트의 경우, 전체 문서를 하나의 벡터 (CLS embedding) 로 요약하는 방식이 주를 이루며, 개별 임상 개체 (Entity) 수준의 정보 (예: 특정 질병, 치료, 증상) 를 충분히 활용하지 못합니다.
  • 대부분의 연구가 영어 (MIMIC 데이터셋) 에 기반하고 있으며, 프랑스어 EHR 은 용어, 노트 구조, 임상 표현 방식이 달라 프랑스어 특화 데이터셋과 모델이 필요합니다.
  • 대규모 언어 모델 (LLM) 을 임상 예측에 직접 적용할 때, 다양한 입력 모달 (텍스트, 구조화 데이터, 또는 둘 다) 에 따른 성능과 신뢰성이 명확히 규명되지 않았습니다.

2. 데이터 및 자원 (Data & Resources)

• 데이터 소스: 프랑스 파리의 Saint-Joseph 병원 심장내과에서 수집된 2,254 건의 입원 기록.
• 레이블: 퇴원 후 3 개월 이내 사망 여부 (이진 분류: 사망=1, 생존=0). 불균형 데이터 (사망 약 11%, 생존 89%).
• 데이터 구성:
  • 구조화 데이터: 입원 시 수집된 115 개의 변수 (인구통계, 생리학적 지표, 약물 등) 중 특징 선택을 통해 41 개로 축소.
  • 비구조화 데이터: 의사가 작성한 프랑스어 임상 노트 (자유 텍스트).
• 주석 (Annotation):
  • 23 가지 임상 개체 유형 (질병, 치료, 해부학적 위치 등) 을 식별하기 위해 휴리스틱 기반 자동 전주석 및 전문가/비전문가에 의한 수동 교정을 수행.
  • 이를 바탕으로 BERT 기반의 감독 학습 NER(명명 개체 인식) 모델을 학습하여 고품질의 개체 주석을 생성.

3. 방법론 (Methodology)

연구는 세 가지 주요 접근법을 비교 및 평가했습니다.

A. 텍스트 전용 모델 (Text-Only)

• 기저선 (Baseline): CamemBERT-bio 및 DrBERT 모델에서 추출한 [CLS] 토큰의 임베딩만 사용.
• 개체 기반 표현 (Entity-based): NER 을 통해 추출된 23 가지 개체 유형별 임베딩을 생성.
• 융합 전략:
  • 단순 융합: 평균 (Average), 합계 (Sum), 연결 (Concatenation).
  • 학습 가능한 융합: 가중치 부여 (Weighted fusion), 게이트 메커니즘 (Gated fusion) 을 통해 CLS 임베딩과 개체 임베딩의 기여도를 동적으로 조절.

B. 구조화 데이터 전용 모델 (Structured-Only)

• 참조 모델: LASSO 회귀를 통해 특징 선택 후 로지스틱 회귀 분류기 학습.
• 기저선 모델: 선택된 41 개 변수에 대한 단순 로지스틱 회귀.

C. 멀티모달 융합 모델 (Multimodal Fusion)

• 텍스트 임베딩 (CLS 또는 CLS+개체) 과 구조화 변수를 결합.
• 전략:
  • 단순 융합: 직접 연결 (Baseline), 후기 융합 (Late fusion: 예측 확률 평균화 또는 스택킹).
  • 학습 가능한 상호작용: 게이트 융합 (Gated Fusion), 이중 교차 어텐션 (Dual Cross-Attention), 게이트가 적용된 이중 교차 어텐션 등.

D. 생성형 LLM 기반 실험 (Generative LLM)

• 모델: Mistral-7B, Qwen2.5-7B, MedGemma-4B.
• 프롬프트: 텍스트, 구조화 데이터, 또는 둘 다를 입력받아 "3 개월 내 사망 여부 (0 또는 1)"를 직접 생성하도록 지시.
• 디코딩: Greedy decoding 및 제약 조건부 디코딩 (Constrained decoding) 적용.

4. 주요 결과 (Results)

텍스트 및 구조화 데이터 성능

• 텍스트 단독: 임상 노트만으로도 유의미한 예측 가능 (ROC-AUC 0.70~0.76). 개체 (Entity) 수준 정보를 CLS 임베딩에 통합하면 성능이 향상됨 (특히 CamemBERT-bio 에서 Gated Fusion 사용 시 F1 39.5%, AUC 75.8%).
• 구조화 데이터 단독: 텍스트보다 높은 성능을 보임 (AUC 0.79). 단순한 로지스틱 회귀 모델이 복잡한 파이프라인보다 우수한 결과를 기록.
• 멀티모달 융합:
  • 텍스트와 구조화 데이터를 결합한 모델이 가장 우수한 성능을 보임 (CamemBERT-bio 기반 Late Fusion Stack: AUC 83.79%, F1 39.54%).
  • 개체 수준의 정보가 포함된 멀티모달 모델이 가장 강력함.
  • 통계적 유의성 검정 (t-test) 을 통해 멀티모달 융합이 단일 모달 모델보다 사망률 예측 성능이 유의미하게 향상됨을 확인.

LLM 성능

• 전반적 성과: 감독 학습 모델에 비해 LLM 의 성능이 현저히 낮음 (F1 점수 매우 낮음).
• 모달 의존성: LLM 은 텍스트 전용 프롬프트에서 가장 잘 작동하며, 구조화 데이터나 멀티모달 입력에서는 성능이 떨어지거나 일관되지 않음.
• 문제점:
  • 지시 준수 부족: 모델이 정답 레이블 (0 또는 1) 대신 설명이나 변수 목록을 생성하는 경우가 많음.
  • 편향된 생성: 특정 모델 (예: Qwen) 은 항상 '사망' 클래스를, 다른 모델 (Mistral) 은 '생존' 클래스만 생성하여 재현성 (Recall) 이 0 이 되거나 F1 이 0 인 경우 발생.
  • 구조화 데이터의 한계: 표 형태의 데이터를 텍스트로 변환 (Textification) 하여 입력하더라도 LLM 의 예측 능력은 크게 개선되지 않음.

5. 주요 기여 (Key Contributions)

1. 프랑스어 심부전 데이터셋 및 NER 파이프라인: 프랑스어 임상 노트에 대한 고품질의 개체 주석 (NER) 과 이를 활용한 멀티모달 데이터셋을 구축 및 공개.
2. 개체 인식 기반 텍스트 표현의 유효성 입증: 단순 문서 임베딩 (CLS) 보다 개체 수준의 임베딩을 통합한 표현이 사망률 예측 성능을 유의미하게 향상시킴을 증명.
3. 멀티모달 융합 전략 비교: 다양한 융합 기법 (단순 연결, 어텐션, 게이트 메커니즘 등) 을 체계적으로 비교하여, 학습 가능한 어텐션 기반 융합이 최선의 성능을 낸다는 사실을 규명.
4. LLM 의 임상 예측 한계 분석: 현재 LLM 은 구조화 데이터나 멀티모달 입력을 활용한 임상 의사결정 지원 도구로서는 불안정하고 신뢰도가 낮음을 실증적으로 보여줌.

6. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: 심부전 환자의 단기 사망률 예측을 위해서는 구조화된 임상 변수와 함께 세부적인 임상 개체 (Entity) 정보를 포함한 비구조화 텍스트를 통합하는 것이 필수적입니다.
• 기술적 시사점:
  • 최적 접근법: 개체 인식 (NER) 을 통해 강화된 지도 학습 멀티모달 트랜스포머가 현재 가장 신뢰할 수 있는 솔루션입니다.
  • LLM 의 역할: 현재 LLM 은 직접적인 예측 도구보다는 보조 도구로 제한적으로 사용되어야 하며, 특히 구조화 데이터 처리와 지시 준수 측면에서 개선이 필요합니다.
• 한계: 단일 병원 데이터 기반이므로 외부 검증이 필요하며, LLM 평가 지표와 해석 가능성 (Interpretability) 측면에서 추가 연구가 요구됩니다.

이 논문은 임상 텍스트의 잠재력을 극대화하기 위해 개체 수준의 정보 추출과 멀티모달 융합의 중요성을 강조하며, 생성형 AI 의 임상 적용에 대한 신중한 접근의 필요성을 제기합니다.