기술 요약: 인구 집단 건강 관리를 위한 전자 건강 기록(EHR) 파운데이션 모델의 스케일링

문제 정의

인구 집단 건강 관리(Population health management)는 만성 질환(예: 심혈관 질환, 암) 위험이 높은 개인을 체계적으로 식별하고 모니터링하여 선제적인 개입을 가능하게 하는 것을 목표로 합니다. 그러나 현재의 접근 방식은 다음과 같은 상당한 장벽에 직면해 있습니다:

• 데이터 파편화: 의료 서비스 전달은 종종 단절되어 있으며, 제공자 간의 협력이 제한적이고 환자 데이터 통합이 불완전합니다.
• 자원 집약성: 예방 전략은 빈번하게 자원 집약적인 스크리닝이나 에피소드 중심의 케어 모델에 의존하며, 이는 확장이 어렵고 고위험군 또는 소외된 인구에게 도달하는 데 실패하는 경우가 많습니다.
• 코딩 이질성: EHR 모델을 확장하는 데 있어 주요한 기술적 장애물은 의료 코딩 시스템(예: 서로 다른 ICD 버전, 로컬 코드 세트, 임상 관행)의 이질성입니다. 이는 국가 및 기관 간의 통일된 표현과 교차 사이트 일반화를 방해합니다.
• 기존 모델의 한계: 기존의 선행 EHR 파운데이션 모델들은 대개 단일 사이트 환경(예: ICU에 집중된 MIMIC-IV)에 국한되거나, 코딩 시스템의 비사소한 이질성을 고려하지 못하여 대규모의 교차 시스템 위험 계층화에 효과적이지 못합니다.

방법론

1. 데이터 큐레이션 및 통합 코드 정렬

저자들은 두 개의 서로 다른 의료 시스템에서 추출한 570만 명 이상의 환자로 구성된 통합 데이터셋을 구축했습니다:

• 대만: NHIRD(National Health Insurance Research Database, 1996–2013)로부터 추출한 300만 명 이상의 환자 데이터.
• 미국: 여러 주(states)에서 추출한 200만 명 이상의 환자 데이터.
  코딩 이질성을 해결하기 위해, 저자들은 이질적인 의료 코드를 ICD-10(진단), CPT(처치), LOINC(검사), ATC(약물)를 사용하여 공유 공간으로 표준화하는 통합 코드 정렬 프레임워크를 개발했습니다.
• 정렬 프로세스: 매핑되지 않은 로컬 코드는 공식 크로스워크(crosswalks), LLM 큐레이션(Claude 사용), 그리고 TF-IDF 퍼지 매칭(fuzzy matching)의 조합을 사용하여 표준화된 등가물로 집계 및 매핑되었습니다.
• 결과: 최종 데이터셋은 90억 개 이상의 표준화된 의료 코드와 225,568개의 고유 토큰을 포함하며, 이를 통해 모델이 다양한 시스템 전반에서 통일된 표현을 학습할 수 있게 합니다.

2. 모델 아키텍처: EHR-FM

EHR-FM은 의료 코드를 자연어로 변환하지 않고 구조화된 의료 코드 시퀀스 상에서 직접 작동하도록 설계된 디코더 전용(decoder-only) 트랜스포머 모델입니다.

• 입력 표현: 환자의 기록은 인구 통계 토큰(연령, 성별) 및 시간 토큰(방문 간격)이 인터리빙(interleaved)된 의료 이벤트 코드(진단, 약물, 처치)의 시퀀스로 표현됩니다.
• 아키텍처: 모델은 방문 시퀀스를 인코딩하기 위해 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)을 활용하며, 동일한 방문 내의 이벤트에는 동일한 절대 위치를 할당하여 방문 내 관계를 포착합니다.
• 학습 목표:
  • 사전 학습(Pretraining): 통합된 의료 코드 시퀀스에 대한 자기회귀적(autoregressive) 다음 토큰 예측.
  • 미세 조정(Fine-tuning): 최대 5년의 이력을 바탕으로 특정 임상 방문 1년 후의 만성 질환 발생 여부를 이진 분류하기 위한 교차 엔트로피 손실을 이용한 지도 미세 조정.

3. 스케일링 분석

저자들은 EHR 파운데이션 모델의 스케일링 동작을 규명하기 위해 IsoFLOP 분석을 수행했습니다. 이들은 계산 예산(FLOPs)과 토큰 수에 따라 1억 6천만 개에서 24억 개의 파라미터를 가진 모델들을 학습시켜, 계산량, 모델 크기, 학습 토큰 사이의 멱법칙(power-law) 관계를 도출했습니다.

주요 기여

1. 최초의 확장된 교차 사이트 EHR 파운데이션 모델: 본 논문은 두 국가(대만 및 미국)와 여러 기관의 종단적 데이터를 학습한 가장 크고 최초의 확장된 EHR 파운데이션 모델을 제시하며, 교차 시스템 일반화 문제를 해결합니다.
2. 통합 코드 정렬 프레임워크: 저자들은 NHI, ICD-9/10, CPT 등 이질적인 의료 코드를 하나의 통합된 공간으로 정렬하여 다중 소스 데이터에 대한 효과적인 사전 학습을 가능하게 하는 강력한 방법을 입증했습니다.
3. 의료 분야의 스케일링 법칙: 본 연구는 EHR 파운데이션 모델에 대한 스케일링 법칙을 확립하였으며, 최적의 모델 크기와 토큰 수가 일반 도메인 LLM과 유사한 멱법칙($N_{opt} \propto C^{0.34}$, $D_{opt} \propto C^{0.69}$)을 따른다는 것을 보여줍니다.
4. 교차 시스템 데이터의 경험적 검증: 정렬된 교차 시스템 데이터가 단일 사이트 데이터를 복제하는 것보다 더 효과적인 사전 학습 신호를 제공함을 입증하였으며, 특히 데이터가 제한적인 환경에서 그 효과가 두드러졌습니다.

실험 결과

만성 질환 예측 성능

EHR-FM은 미국 및 대만 코호트 전체에 걸쳐 11가지 만성 질환 예측 작업(암 6종, 심혈관 질환 5종)에 대해 평가되었습니다.

• 베이스라인 대비 우수성: EHR-FM은 트리 기반 모델(XGBoost, Light-GBM) 및 텍스트로 변환된 EHR 데이터로 미세 조정된 일반/생물 의학 LLM(BioMedLM, Qwen2.5)을 크게 앞질렀습니다.
  • AUPRC 이득: 미국 코호트에서는 트리 모델보다 AUPRC가 10% 이상 높았고, 대만 코호트에서는 30% 이상 높았습니다.
  • 고특이도에서의 민감도: 미국 코호트에서 99% 특이도 기준 40% 이상의 민감도를, 대만 코호트에서 99% 특이도 기준 70%의 민감도를 달려 달성했습니다.
• 스케일링 이점: 더 큰 모델(24억 파라미터)이 작은 모델(1억 6천만 개)보다 일관되게 우수한 성능을 보였으며, 가장 큰 모델은 암 예측 작업에서 가장 작은 모델보다 5%의 민감도 이득을 보였습니다.

퓨샷 일반화 (EHRShot 벤치마크)

공개 데이터셋인 EHRShot 벤치마크(Stanford Medicine 데이터)에서 EHR-FM은 강력한 퓨샷(few-shot) 일반화 능력을 보여주었습니다:

• 실질적으로 다른 인구 집단과 코딩 시스템을 사용하여 학습되었음에도 불구하고, EHR-FM은 수백만 개의 인사이트 레코드를 학습한 이전의 최첨단 모델(CLMBR)보다 뛰어난 성능을 보였습니다.
• EHR-FM은 작업당 양성 사례가 1~128개에 불과한 상황에서도 우수한 성능을 유지하여 분포 변화에 대한 견고함을 입증했습니다.

절제 연구 (Ablation Studies)

• 코드 vs 텍_스트: 의료 코드 ID를 직접 사전 학습하는 것이 코드를 자연어 텍스트로 변환하는 것보다 우수했습니다. 텍스트 기반 사전 학습은 빠른 손실 수렴(코드 이름의 암기)과 더 낮은 다운스트림 성능을 초래했습니다.
• 데이터 혼합: 데이터가 제한된 설정에서, 정렬된 교차 시스템 데이터(대만 + 미국)를 포함하는 것이 단일 사이트 데이터(미국 전용)를 복제하는 것보다 더 나은 다운스트림 성능을 제공함을 확인하여, 다양한 사전 학습 신호의 가치를 입증했습니다.

의의 및 주장

본 논문은 EHR-FM이 일상적으로 수집되는 EHR 데이터를 사용하여 고위험군 개인을 식별함으로써 인구 집단 건강 관리를 위한 확장 가능하고 저비용인 접근 방식을 제공한다고 주장합니다.

• 임상적 유용성: 높은 특이도에서 높은 민감도를 달着하는 능력은 환자를 위한 추가 스크리닝을 효과적으로 분류(triage)할 수 있음을 시사하며, 이는 불필요한 오탐(false positive)과 불필요한 불안을 줄이는 동시에 고위험군을 조기에 식별할 수 있게 합니다.
• 확장성: 스케일링 법칙이 EHR 데이터에도 적용되며 교차 시스템 정렬이 효과적임을 입증함으로써, 본 연구는 단일 기관의 데이터 사일로에 갇히지 않는 더 크고 일반화 가능한 의료 모델을 구축하는 경로를 제시합니다.
• 오픈 사이언스: 저자들은 개인정보 보호 규정으로 인해 독점적인 의료 데이터는 제한되지만, 코드와 전처리 파이프라인을 오픈 소스로 공개할 것을 약속합니다.

저자들은 본 연구가 최대 24억 개의 파라미터 모델로 제한되어 있다는 점을 언급하며, 코딩 정렬이 개선되었으나 온톨로지 인식 및 멀티모달 정렬 전략이 필요한 여전히 열려 있는 과제임을 밝히며 겸허한 태도를 유지했습니다.