기술 요약: 종단적 EHR로부터 실험실 측정값 예측을 위한 LaBERT

문제 정의

환자의 향후 실험실 측정값을 종단적 전자 건강 기록(EHR)으로부터 예측하는 것은 개인 맞춤형 의료를 위한 잠재적 지원을 제공하며, 질병 모니터링 및 치료 계획 수립에 있어 중요한 과제입니다. 그러나 정확한 예측은 질병 진행, 치료적 개입 및 개인의 이력 사이의 비선형적 상호작용을 포함하는 복잡하고 고도로 개별화된 환자의 임상 궤적으로 인해 어려움을 겪습니다. 최근의 딥러닝 발전이 이산적 이벤트 예측(예: 사망률, 위험 점수) 및 단기 ICU 예측을 다루어 왔으나, 후속의 희소한 임상 방문 시점에서의 연속적인 실험실 측정값을 예측할 수 있는 방법론에는 상당한 공백이 존재합니다. 기존의 접근 방식인 LabTOP은 고밀도 ICU 데이터와 단기 예측 범위에 국한되어 있어, 일반 병원 및 외래의 불규칙하고 희소한 종단적 데이터에 적용하기에는 한계가 있습니다.

방법론

데이터셋 및 전처리

본 연구는 2008년부터 2019년까지 299,712명의 환자 및 431,231건의 입원 데이터를 포함하는 탈식별화된 종단적 데이터인 MIMIC-IV 데이터베이스를 활용하였습니다. 데이터는 의료 이벤트 데이터 표준(MEDS) 형식으로 처리되어, 방문당 임상 이벤트의 시간 순서대로 정렬된 시퀀스로 구성되었습니다.

• 특성(Features): 모델은 정적 인구통계학적 정보, 진단명(ICD-9/10), 처치(ICD-9/10-PCS), 약물(제네릭 명칭), 활력 징후, 그리고 44개의 연속형 실험실 측정값(커버리지 20% 이상 선택)을 포함한 50개의 특성을 입력받았습니다.
• 시퀀스 구성: 각 환자의 방문은 고정된 컨텍스트 길이 250을 가진 토큰 시퀀스로 취급되었습니다.
• 정규화: 연속 변수는 왜도 해결을 위한 로그 변환, 이상치 클리핑(10 MAD), 그리고 평균 0, 분산 1의 표준화를 거쳤습니다. 방문 간 시간 간격($\Delta t$)은 로그 변환 후 [0, 1] 범위로 스케일링되었습니다.
• 코호트: 최종 데이터셋은 255,769명의 환자로부터 추출된 583,535건의 방문을 포함하며, 훈련/검증/테스트 비율은 70/15/15로 나누었습니다.

모델 아키텍처: LaBERT

LaBERT는 현재의 환자 상태와 이력을 바탕으로 미래 시점($t + \Delta t$)의 연속적인 실험실 수치를 예측하도록 설계된 트랜스포머 기반 프레임워크입니다.

1. 이종 임상 표현(Heterogeneous Clinical Representation):

   • 이산 변수(진단, 약물, 처치)는 학습 가능한 룩업 임베딩(lookup embeddings)을 통해 매핑됩니다.
   • 연속 변수(실험실 수치, 활력 징후, 시간 간격)는 전용 선형 레이어를 통해 임베딩 공간으로 투영됩니다.
   • 특성 인식 토큰화(Feature-Aware Tokenization): 순서를 인코딩하기 위해 위치 임베딩을 사용하는 표준 트랜스포머와 달리, LaBERT는 각 토큰 유형에 학습 가능한 특성별 임베딩을 할당합니다. 이를 통해 이종 변수들을 단일 셀프 어텐션 아키텍처 내에서 순차적 순서와 무관하게 통합적으로 모델링할 수 있습니다.

2. 종단적 이력 모델링(Longitudinal History Modeling):
   여러 방문 간의 의존성을 포착하기 위해, LaBERT는 게이트 순환 메커니즘을 사용하여 잠재적 이력 상태($H_t$)를 전파합니다. 모델은 세 가지 통합 전략을 평가했습니다:

   • 가법적(Additive): 이력의 선형 투영을 현재 방문 표현에 더함.
   • 게이티드(Gated): 시그모이드 게이트를 사용하여 과거와 현재의 정보를 적응적으로 조절함.
   • LSTM 기반: 입력, 망각, 출력 게이트를 갖춘 명시적인 은닉 상태 및 셀 상태를 사용함.
     평가 결과, 게이티드 통합(gated integration) 메커니즘이 다른 방식보다 우수한 성능을 보여 최적의 접근 방식으로 식별되었습니다.

3. 시간 조건부 예측(Time-Conditioned Forecasting):
   모델은 현재와 미래 방문 사이의 시간 간격($\Delta t$)을 입력 토큰으로 명시적으로 포함함으로써, 고정된 간격이 아닌 임의의 시간 지평에 대한 예측을 가능하게 합니다.

4. 학습 목표:
   모델은 다음 임상 방문에서의 예측값과 실제 관측된 실험실 수치 사이의 평균 제곱 오차(MSE)를 최소화합니다.

주요 결과

예측 성능

583,535건의 방문을 대상으로 평가했을 때, LaBERT는 세 가지 베이스라인 방법론을 일관되게 능가했습니다:

• 최근 관측치 유지 방식(Last Observation Carried Forward) 대비: LaBERT는 MSE를 0.76에서 0.55로 감소시켰고(~28% 감소), 결정 계수($R^2$)를 0.30에서 0.50으로 개선했습니다.
• 다층 퍼셉트론(MLP) 대비: LaBERT는 MSE를 0.60에서 0.55로 줄였고 $R^2$를 0.45에서 0.50으로 높여, 시퀀스 모델링과 어텐션 메커니즘의 가치를 입증했습니다.
• LabTOP 대비: 동일한 예측 설정에 맞춰 조정했을 때, LaBERT는 GPT-2 기반인 LabTOP을 크게 앞질렀으며, $R^2$를 -3.7(평균값 예측보다 낮은 수준)에서 0.77로 개선했습니다.

종단적 및 시간적 기여

• 이력 통합: 게이티드 통합을 통한 종단적 이력의 포함은 이력이 없는 기본 모델에 비해 MSE를 3.4% 추가로 감소시켰으며, 전역 피어슨 상관계수를 0.70에서 0.72로 높였습니다.
• 시간 간격($\Delta t$): $\Delta t$를 입력에서 제거했을 때 예측 오차가 증가했으며, 예측 지평이 커질수록 그 격차가 벌어졌습니다. 이는 모델이 단순히 정적 특성에 의존하는 것이 아니라 시간적으로 일관된 표현을 학습함을 확인시켜 줍니다.
• 인구통계학적 정보: 절제 연구(Ablation studies) 결과, 연령, 성별, 인종을 입력 토큰으로 추가해도 성능 향상이 없었으며, 이는 이러한 요인들이 모델이 포착한 종단적 임상 궤적과 상당 부분 중복됨을 시사합니다.

견고성 및 임상적 유의성

• 측정 빈도: 예측 오차(NRMSE)는 측정 빈도와 강한 상관관계를 보이지 않았습니다. 높은 정확도는 데이터 밀도가 아닌 변수 간 상관관계(예: MCV/MCH)와 시간적 안정성에 의해 주도되었습니다.
• 약물 섭취 섭동(Medication Perturbation): 전체 방문의 81%에서 원래의 약물을 사용한 예측이 무작위 약물 세트를 사용했을 때보다 더 정확했습니다. 이는 모델이 치료 관련 정보를 학습하고 있음을 나타냅니다.
• 역사실적 분석(Counterfactual Analysis): LaBERT는 통제된 시뮬레이션에서 확립된 약리학적 효과를 성공적으로 재현했습니다:
  • 와파린(Warfarin): 11개 모델 시드 전체에서 비교 시 INR 증가를 100% 예측했습니다.
  • 헤파린(Heparin): aPTT 증가를 82~89%의 비율로 예측했습니다.
    이러한 효과는 0.5일에서 30일 사이의 예측 지평 전반에서 일관되게 나타났습니다.

의의 및 주장

저자들은 LaBERT를 치료 의존적 환자 상태 시뮬레이션 및 개인 맞춤형 임상 의사결정 지원을 위한 기초적인 프레임워크로 제시합니다. 주요 주장은 다음과 같습니다:

1. 최초의 통합 프레임워크: 저자들의 지식 범위 내에서, LaBERT는 이종 임상 표현, 특성 인식 토큰 모델링, 명시적 종단적 이력 통합, 그리고 시간 조건부 예측을 단일 트랜스포머 프레임워크 내에서 결합하여 미래의 생리적 상태를 예측하는 최초의 방법론입니다.
2. 임상적 해석 가능성: 역사실적 설정에서 알려진 약물 효과(Warfarin-INR, Heparin-aPTT)를 재현하는 능력은 모델이 관찰 데이터로부터 임상적으로 의미 있는 치료 의존적 연관성을 학습했음을 입증합니다.
3. 한계 및 인과성: 저자들은 LaBERT가 관찰적 EHR 데이터로부터 연관성을 학습하는 것이지, 인과적 효과를 학습하는 것이 아님을 명시적으로 밝힙니다. 모델이 치료 할당에 내재된 편향(예: 인슐린이 고혈당 환자에게 처방되는 '적응증에 의한 교란')을 복제할 수 있다고 경고합니다. 따라서 예측은 임상적 판단이나 전향적 시험을 대체하는 것이 아니라 보완하는 관찰적 예측으로 간주되어야 합니다.
4. 향향 방향: 본 논문은 이러한 종단적 표현을 구조화된 생물 의학 지식(예: 지식 그래프)과 통합함으로써 해석 가능성을 높이고 생물학적으로 정보가 풍부한 시뮬레이션을 가능하게 할 수 있다고 제안합니다.

이 연구는 연속적인 임상 측정값을 예측하기 위해 이산적 이벤트 예측을 넘어, 양적이고 시간 인지적인 환자 궤적 예측을 제공하는 견고한 계산적 접근 방식을 구축하였습니다.