기술 요약: LLM4EHR

문제 정의

전자 건강 기록(EHR)은 본질적으로 두 가지의 뚜렷한 시계열 데이터 유형을 포함하는 다중 모달(multimodal) 구조를 가집니다: EHR 이벤트(처방이나 처치와 같이 불규칙하게 샘플링되는 이산적 임상 상호작용)와 EHR 시계열(TS)(활력 징후와 같이 정기적으로 수집되는 연속적인 생리학적 측정치). 최근의 임상 파운데이션 모델들이 EHR 이벤트 시퀀스를 처리하기 위해 대규모 언어 모델(LLM)을 사용하는 방향으로 전환되었으나, 기존 방법론들은 이벤트와 시계열 관측치 사이의 공유된 시간적 구조를 충분히 탐색하지 못하는 경우가 많습니다.

현재의 다중 모달 접근 방식은 일반적으로 전체 에피소드(또는 거친 입도의 노트)의 임베딩을 그에 대응하는 시계열과 정렬하는 "정적(stationary)" 정렬 방-식을 채택합니다. 이러한 방식은 특정 이벤트와 생리학적 변화 사이의 미세한 타임스텝 수준의 상호 의존성을 간과합니다. 또한, 표준 대조 학습 목적 함수(예: InfoNCE)는 의미론적으로 유사한 인스턴스들을 부정적(negative) 사례로 잘못 취급하여 임베딩 공간에서 서로 밀어내는 "클래스 충돌(class collision)" 문제를 겪습니다. 본 논문은 이러한 한계가 다운스트림 작업인 사망 예측 및 표현형 분류(phenotyping)에서의 성능을 저하시켜, 결과적으로 덜 견고하고 적응력이 낮은 임상 파운데이션 모델을 만든다고 주장합니다.

방법론: LLM4EHR

저자들은 LLM으로 인코딩된 EHR 이벤트 시퀀스를 전용 EHR 시계열 인코더와 시간적으로 정렬하도록 설계된 다중 모달 융합 프레임워크인 LLM4EHR을 제안합니다.

1. 데이터 표현 및 집계

• EHR 이벤트: 이산적 이벤트(예: 약물 처방, 라인 삽입)를 고정된 시간 창(MIMIC-IV의 경우 5시간 빈)으로 집계하고, 고정된 스키마를 사용하여 자연어 요약문으로 변환합니다. 이 요약문들은 도메인 적응형 LLM(구체적으로 BioClinical ModernBERT)을 사용하여 임베딩됩니다. LLM은 사전 학습 동안 동결(frozen)되며, 안정성을 위해 학습 가능한 프로젝션 레이어가 추가됩니다.
• EHR 시계열: 다변량 생리학적 변수(예: 검사 수치, 활력 징후)는 통계적 특징(평균, 최소값, 최대값, 표준편차, 개수)을 사용하여 동일한 시간 창 내에서 집계됩니다. 이는 1D 합성곱 임베딩 레이어와 자기회귀 어텐션 블록으로 구성된 학습 가능한 트랜스포머 기반 TS 인코더에 의해 처리됩니다.

2. 의미론적 규제 대조 목적 함수 (Semantic-Regularised Contrastive Objective)

핵사의 혁신은 각 타임스텝 $t$에서 TS 임베딩($v_t$)을 LLM이 생성한 이벤트 임베딩($z_t$)과 정렬하는 사전 학습 목적 함수입니다. 전체 손실 함수($\mathcal{L}_{total}$)는 대조 정렬 손실과 재구성 손실의 결합으로 구성됩니다:

• 수정된 InfoNCE ($\mathcal{L}_{NCE}$): $v_t$와 $z_t$를 서로 가깝게 당기는 동시에, 동일한 에피소드 내의 다른 타임스텝들로부터는 멀어지도록 정렬합니다.
• 의미론적 규제 ($\mathcal{L}_{\omega}$): 클래스 충돌을 완화하기 위해, 저자들은 LLM 이벤트 임베딩($z_t$)의 의미론적 유사성에서 유도된 가중치 행렬 $\omega$를 도입합니다. 만약 두 타임스텝 $t$와 $t^*$가 유사한 이벤트 임베딩(높은 의미론적 유사성)을 가진다면, 대조 손실은 그에 대응하는 TS 임베딩($v_t$와 $v_{t^*}$)이 서로 밀려나지 않도록 조정됩니다. 이는 LLM이 학습한 의미론적 지식을 활용하여 TS 표현 학습을 가이드하는 효과를 줍니다.
• 재구성 손실 ($\mathcal{L}_{recon}$): 보조적인 자기회귀 재구성 작업은 TS 인코더가 입력 시계열을 재구성하는 데 충분한 정보를 유지하도록 보장합니다.

3. 학습 및 적응

모델은 결합된 목적 함수를 사용하여 ICU 데이터(MIMIC-IV)에서 사전 학습됩니다. 다운스트림 작업을 위해 TS 인코더는 작업별 선형 헤드를 사용하여 적응됩니다. 저자들은 모델이 소수의 레이블된 샘플만을 사용하여 미세 조정(fine-tuning)할 수 있는 k-shot 적응을 통해 새로운 코호트로 배포될 수 있음을 입증했습니다.

주요 기여

1. LLM4EHR 프레임워크: 시간 및 의미론적 인식을 갖춘 대조 사전 학습 목적 함수를 통해 EHR 이벤트와 TS를 공동으로 모델링하며, 정적 정렬을 넘어 미세한 시간적 역동성을 포착하는 새로운 파운데 foundation 모델을 제안합니다.
2. 의미론적 규제 대조 학습: 클래스 충돌을 완화하기 위해 LLM 유래 의미론적 유사성을 활용하는 $\omega$-규제된 InfoNCE 목적 함수를 제안하여, 더 일관되고 견고한 TS 임베딩을 생성합니다.
3. 전이 가능성의 실증적 검증: 학습된 TS 임베딩이 k-shot 적응을 통해 새로운 데이터셋(Physionet2012)으로 전이될 수 있음을 보여주었으며, 지도 학습 기반 베이스라인 및 다른 자기지도 학습 방법보다 우수한 성능을 보였습니다.

결과

모델은 MIMIC-IV 및 Physionet2012 데이터셋을 사용하여 네 가지 다운스트림 작업에 대해 평가되었습니다:

• 표현형 분류 (Phenotyping): LLM4EHR은 모든 표현형 그룹에서 최첨단(SOTA) 성능을 달립, 차순위 베이스라인 대비 AUROC 2.7% 상승 및 AUPRC 5.1% 상승를 기록했습니다. 특히, 저빈도 표현형에서도 상당한 견고함을 보였습니다.
• 롤링 예측 (악화 및 입원 기간(LoS)): 모델은 악화(decompensation) 예측 롤링 작업에서 최고의 성능(AUROC 0.876)을 달성하며, 제거된(ablated) 베이스라인들을 크게 앞질렀습니다. 입원 기간(LoS) 예측에서의 성능 향상은 일부 베이스라인과 비교했을 때 미미했으나(과제의 난이도와 일치함), LLM4EHR은 여전히 제거된 버전들보다 우수한 성능을 보여 사전 학습 목적 함수의 가치를 확인시켜 주었습니다.
• 사망 예측: LLM4EHR은 풀 샷(full-shot) 설정에서 가장 높은 AUROC(MIMIC-IV에서 0.870, Physionet2012에서 0.856)를 달성했습니다. 퓨 샷(few-shot) 설정에서도 $k \ge 10$에서 다른 모델들을 능가하는 우수한 적응력을 보였으며, 정적 정렬을 사용하는 모델들에 비해 데이터 변화(data shift)에 대한 민감도가 낮았습니다.
• 절제 연구 (Ablation Studies):
  • 의미론적 규제($\mathcal{L}_{\omega}$)를 제거하면 일관된 성능 저하가 발생하여, 임베딩을 안정화하는 데 있어 그 역할을 확인했습니다.
  • 도메인 적응형 LLM(BioClinical ModernBERT)을 사용했을 때 일반 목적의 LLM보다 유의미하게 더 나은 결과를 얻었으며, 이는 도메인 특화된 의미론적 지식의 중요성을 강조합니다.

의의 및 주장

본 논문은 LLM4EHR이 더 일반화 가능하고 성능이 뛰어난 임상 파운데이션 모델을 구축하는 데 있어 중요한 단계라고 주장합니다 이 모델은 이산적인 임상 이벤트와 연속적인 생리학적 시계열을 명시적으로 정렬함으로써, 임상적으로 유의미하면서도 제한된 레이블 데이터로 새로운 환자 코호트에 적응할 수 있는 표현을 학습합니다.

저자들은 이 접근 방식이 기존 다중 모달 연구에서 발견되는 "시간적 불일치"(거친 노트를 미세한 TS와 정렬하는 문제)와 표준 대조 학습의 고유한 문제인 "클래스 충돌"을 해결한다고 강조합니다. 결과는 사전 학습된 LLM의 의미론적 지식을 활용하여 시계열 표현 학습을 가이드하는 것이 임상 예측 모델링을 개선하기 위한 실행 가능하고 효과적인 전략임을 시사합니다. 저자들은 더 큰 규모의 LLM으로의 확장성 문제와 단일 ICU 체류를 넘어 확장된 환자 궤적을 모델링해야 하는 향후 과제를 언급하며 겸허하게 결론을 맺습니다.