FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records

기술 요약: 구조화된 전자 건강 기록을 위한 임상적으로 유의미한 파운데이션 모델 평가

문제 정의

의료 분야의 전통적인 지도 학습(Supervised Machine Learning)은 세 가지 핵심적인 한계에 직면해 있다: 라벨링된 데이터에 대한 높은 의존성, 각 임상 문제마다 별도의 모델이 필요한 작업 특이성, 그리고 서로 다른 환자군 및 기관 간의 낮은 전이 가능성이다. 대규모 라벨 없는 데이터셋으로 사전 학습된 파운데이션 모델(Foundation Models, FMs)은 작업 불가지론적(task-agnostic) 표현을 학습함으로써 이러한 문제를 해결할 가능성을 제시하지만, 구조화된 전자 건강 기록(EHR) FMs가 실제로 이러한 약속을 임상적으로 유의미한 환경에서 실현하는지 검증할 수 있는 체계적인 벤치마크가 결정적으로 부족한 상황이다. 기존의 평가 방식은 종종 단일 기관, 좁은 작업 집합(예: 사망률 예측), 단일 성능 지표(예: AUROC), 그리고 제한된 모델 비교에 국한되어 있어, 임상적 유용성, 공정성 및 일반화 가능성에 대한 견고한 결론 도출을 방해한다.

방법론

저자들은 다양한 임상 시나리오에서 구조화된 EHR FMs를 평가하기 위해 설계된 포괄적이고 재현 가능한 벤치마크를 소개한다.

1. 데이터셋 및 전처리:
본 벤치마크는 두 가지 주요 출처인 컬럼비아 대학교 어빙 의료 센터(CUMC, 약 670만 명의 환자)와 MIMIC-IV(약 36만 4천 건의 ICU 입원)의 데이터를 활용한다. 세 번째 데이터셋인 Stanford-EHR은 오직 전이 가능성(transportability) 테스트를 위해서만 사용된다. 모든 데이터는 상호 운용성을 보장하기 위해 의료 이벤트 데이터 표준(MEDS) 형식으로 표준화된다. 전처리 파이프라인에는 실험실 수치의 단위 표준화, ICD-9의 ICD-10 코드 변환, 결측치 처리가 포함된다.

2. 평가 대상 모델:
다양한 아키텍처와 사전 학습 목적을 포괄하는 6가지 최첨단 구조화 EHR FMs를 평가한다:

• CEHR-BERT & CEHR-GPT: 시간적 토큰과 연령 임베딩을 통합한 BERT 및 GPT 아키텍처.
• CORE-BEHRT: 환자 연령을 사용하여 시간적 인코딩을 수행하는 BERT 기반 모델.
• LLAMA: 명시적인 시간 인코딩 없이 회전 위치 임베딩(RoPE)을 사용하는 범용 트랜스포머.
• MAMBA: 선형 시간 시퀀스 모델링을 위해 설계된 선택적 상태 공간 모델(selective state-space model).
• MOTOR: 시간-사건(Time-to-Event, TTE) 목적 함수로 사전 학습된 트랜스포머 모델.
  공정한 비교를 위해 모든 모델은 유사한 파라미터 수(~1억 2천만 개)와 임베딩 차원(768)으로 제한된다.

3. 다운스트림 작업(Downstream Tasks):
본 벤치마크는 14가지의 임상적으로 유의미한 예측 작업을 포함한다:

• 환자 예후 (3개 작업): 병원 내 사망률, 30일 재입원율, 입원 기간 연장.
• 표현형 분석 (11개 작업): 급성 및 만성 질환(예: 허혈성 뇌졸중, 급성 심근경색, 제2형 당뇨병, 조현병) 예측.
  결정적으로, 작업들은 데이터 누수를 방지하고 임상적 실행 가능성을 높이기 위해 일반 인구가 아닌 "위험군(at-risk)" 코호트(이전 위험 요인을 가진 환자들)를 사용하여 정의된다.

4. 평가 프로토콜:

• 학습 전략: 모델은 선형 프로빙(frozen된 임베딩 위에 로지스틱 회귀 헤드를 학습)과 **전체 미세 조정(full fine-tuning)**을 통해 평가된다.
• 지표: 변별 성능(AUROC) 외에도, 본 벤치마크는 교정(calibration)(기대 교정 오차, Brier Score)과 공정성(인종, 성별, 의료 이용량에 따른 최대 절대 성능 격차)을 엄격하게 평가한다.
• 대조군: 사전 학습, 튜닝, 평가 세트 간의 오염을 방지하기 위해 엄격한 데이터 분할을 적용한다. 또한, 데이터 효율성을 테스트하기 위해 다양한 양의 라벨링된 데이터(100개에서 100,000개 샘플) 하에서의 성능을 평가한다.

주요 결과

평가는 현재 EHR FMs의 상태에 대해 네 가지 주요 통찰을 제공한다:

1. 변별력 대 교정의 트레이드오프(Discrimination vs. Calibration Trade-off): 상위 성능을 보이는 FMs(특히 MOTOR 및 CEHR-GPT)는 특히 라벨링된 데이터가 부족할 때 전통적인 지도 학습 베이스라인보다 일관되게 높은 변별 성능을 보인다. 그러나 이러한 FMs는 라벨링된 데이터가 제한적인 상황에서 전통적인 베이스라인보다 교정 성능이 낮은 경우가 많으며, 이는 임상적 의사결정에 중요한 편향된 위험 추정치를 생성할 가능성이 있음을 의미한다.
2. 데이터 효율성: FMs는 저데이터 환경(예: 100~1,000개의 라벨 샘플)에서 전통적인 베이스라인보다 우수한 성능을 보이며 상당한 이점을 입증한다. 이러한 이점은 라벨링된 데이터가 증가함에 따라 감소하며, 데이터가 많아질수록 전통적인 베이스라인이 FMs를 따라잡거나 능가하기도 한다.
3. 저빈도 질환에 대한 성능: FMs는 희귀 질환(유병률 <1%, 예: 허혈성 뇌졸중 및 만성 림프구 백혈병)에 대해 어려움을 겪는다. 저자들은 사전 학습 손실(pre-training losses)이 이러한 희귀 사건에 대한 변별 정보를 버릴 수 있으며, 제한된 라벨로 미세 조정을 수행할 때 성능을 회복하지 못하고 오히려 악화시키는 경우가 있다고 제안한다.
4. 공정성 및 전이 가능성:
   • 공정성: 다양하고 대규모인 인구 집단에서 사전 학습하는 것은 작업 특이적 모델에 비해 사회-의료적 그룹(인종, 성별, 의료 이용량)에 대해 일반적으로 더 공정한 예측을 이끌어낸다.
   • 전이 가능성: 기관 간 전이 가능성은 여전히 큰 과제이다. Stanford-EHR에서 사전 학습되어 CUMC에서 테스트된 MAMBA 모델은 현지 미세 조정 없이 사용했을 때 로컬 학습 모델보다 일관되게 낮은 성능을 보였는데, 이는 임상 워크플로우, 코딩 관행 및 데이터 밀도의 차이 때문인 것으로 보인다.

의의 및 주장

본 논문은 단순한 변별력을 넘어 교정과 공정성을 포함하여 구조화된 EHR FMs를 평가하는 최초의 체계적이고 재현 가능한 프레임워크를 제공한다고 주장한다. 저자들은 다음과 같은 점을 강조하며 자신들의 연구가 임상적 유용성에 대한 이해를 진전시킨다고 주장한다:

• FMs는 저라벨 설정과 공정성 측면에서 유망하지만, 희귀 질환이나 교정된 위험 추정치가 요구되는 경우 전통적인 베이스라인을 보편적으로 능가하는 것은 아니다.
• "사전 학습 패러다임"이 향적으로 개선된 성능과 일반화 가능성을 자동으로 보장하는 것은 아니며, 현재의 사전 학습 전략은 특정 다운스트림 작업에 필요한 변별 신호를 포착하는 데 실패할 수 있다.
• 기관 간 전이 가능성에는 여전히 상당한 격차가 존재하며, FMs가 널리 배포되기 전 데이터 관행 및 임상 워크플로우의 조화가 필요하다.

저자들은 본 벤치마크를 커뮤니티가 진척도를 추적하고, 정보에 입각한 인프라 투자 결정을 내리며, 미래의 EHR 파운데이션 모델을 원칙적으로 설계할 수 있도록 돕는 규범적 프레임워크로 위치시킨다. 또한 연구 당시 가용했던 모델들에 대한 집중, 시간-사건 회귀 작업의 제외, 현재의 계산 자원 제약 등의 한계를 명시적으로 언급하였다.