기술 요약: PORTER – 이식 가능한 구조화된 EHR 파운데이션 모델을 위한 언어 기반 이벤트 표현

문제 정의

구조화된 전자 건강 기록(EHR) 파운데이션 모델은 일반적으로 사전 학습 중에 학습된 고정된 어휘집(vocabulary)으로부터 이산적 토큰(discrete tokens)으로서 임상 이벤트를 인코딩합니다. 이러한 접근 방식은 이식성(portability) 측면에서 다음과 같은 결정적인 병목 현상을 생성합니다:

1. 어휘의 경직성(Vocabulary Rigidity): 모델이 학습되지 않은 개념, 새로운 로컬 코드, 또는 개념과 속성의 새로운 조합(예: 특정 수치 값)을 포함하는 이벤트를 직접 표현할 수 없습니다.
2. 배포의 마찰(Deployment Friction): 기관, 코딩 표준, 또는 심지로 회고적 연구 데이터셋(예: OMOP CDM에 매핑됨)에서 프로덕션 피드(로컬 명명 규칙 사용)로 이동할 때 어휘 변화가 빈번하게 발생합니다.
3. 수치 표현의 과제(Numeric Representation Challenges): 기존 모델은 수치 값을 버리거나, 텍스트로 렌더링하거나, 고정된 빈(bin)으로 이산화하여, 정적 토큰 집합에 묶이지 않고 개념의 의미와 크기를 동시에 포착하는 데 실패합니다.
4. 전이의 비효效率(Inefficiency in Transfer): 현재의 방법들은 새로운 데이터 소스에 적응하기 위해 노동 집약적인 어휘 매핑이나 완전한 재학습을 요구하며, 이는 다양한 작업 및 기관 간에 사전 학습된 환자 표현을 재사용하는 것을 제한합니다.

방법론: PORTER 아키텍처

저자들은 고정된 어휘로부터 이벤트 표현을 분리하는 언어 기반 구조화된 EHR 파운데이션 모델인 PORTER(Portable EHR Representations)를 소개합니다. 이 아키텍처는 세 가지 뚜렷한 구성 요소로 이루어져 있습니다:

1. 언어 기반 이벤트 표현 (입력 경로)

PORTER은 학습된 임베딩 테이블을 인덱싱하는 대신, 자연어 설명을 사용하여 임상 이벤트를 처리합니다.

• 이벤트 설명: 각 임상 이벤트는 템플릿화된 자연어 설명(예: "Measurement: WBC. Result: 13.2")과 쌍을 이룹니다.
• 동결된 텍스트 인코더: (주요 실험에서 구체적으로 BioLORD-2023을 사용하는) 사전 학습된 동결 텍스트 인코더가 이러한 설명을 어휘와 독립적인 조밀한(dense) 개념 임베딩으로 변환합니다.
• 캐싱(Caching): 임bedding은 고유한 이벤트 설명당 한 번 계산되어 캐싱되며, 이를 통해 환자 및 다운스트림 작업 전반에 걸쳐 재사용할 수 있습니다.

2. 전용 수치 경로 (Dedicated Numeric Pathway)

이산화나 텍스트 렌더링 없이 수치 값을 처리하기 위해 다음을 수행합니다:

• 특징 인코딩: 수치 값은 크기(magnitude)와 상대적 이상 징치(abnormality)를 포착하는 고정된 특징 벡터로 인코딩됩니다(사용 가능한 경우 기관 참조 범위를 사용하거나, 로그 크기 폴백을 사용함).
• FiLM 통합: 특징별 선형 변조(Feature-wise Linear Modulation, FiLM)를 사용하여 수치 정보를 텍스트 유래 개념 표현에 통합합니다:
  $$h_{fused} = (1 + \gamma) \odot h_{text} + \beta$$
• 게이팅(Gating): 수치적 이벤트가 아닌 경우, 이 경로는 게이트가 차단되어($\gamma=0, \beta=0$) 원래의 텍кси트 표현을 보존합니다.

3. 시계열 백본 (Temporal Backbone)

• 아키텍처: 융합된 이벤트 표현의 시퀀스를 처리하는 디코더 전용 트랜스포머(매개변수 115M, 28개 레이어)입니다.
• 시계열 인코딩: 시간적 역학을 포착하기 위해 환자의 일수(days)에 회전 위치 임베딩(Rotary Position Embeddings, RoPE)이 적용됩니다.
• 사전 학습 목표: 모델은 **자기회귀적 다음 이벤트 예측(autoregressive next-event prediction)**을 사용하여 사전 학습됩니다. 결정적으로, 출력 어휘(복합 이산 토큰)는 사전 학습 목표를 위한 레이블로만 사용됩니다. 입력 경로는 언어 기반을 유지합니다. 사전 학습 후, 예측 헤드는 폐기되며 백본은 재사용 가능한 작업 불가지론적(task-agnostic) 환자 표현을 생성하기 위해 동결됩니다.

주요 기여

1. 어휘 독립적 입력: PORTER은 고정된 토큰 입력을 언어 기반 이벤트 설명으로 대체하여, 재학습이나 명시적 매핑 없이도 새로운 어휘로부터 임상 개념을 처리할 수 있게 합니다.
2. 모듈형 수치 처리: FiLM을 통한 전용 수치 경로의 도입은 텍스트로 숫자를 렌더링하는 방식보다 개념의 정체성을 보존하면서 수치 크기에 대한 민감도를 개선합니다.
3. 효율적인 재사용: 이벤트 임베딩을 캐싱하고 사전 학습 후 백본을 동결함으로써, PORTER은 단순한 선형 프로브(linear probe)를 통해 다양한 다운스트림 작업에서 재사용 가능한 작업 불가지론적 환자 표현을 생성하며, 이를 통해 분산 계산 비용을 크게 줄입니다.
4. 통제된 평가 프레임워크: 본 연구는 동일한 환자 타임라인을 사용하되 서로 다른 명명 체계를 사용하는 방식으로 어휘 변화를 인구 통계 및 기관 변화로부터 격리하는 엄격한 평가 프로토콜을 확립했습니다.

실험 결과

도메인 내 성능 (In-Domain Performance)

소아 병원(SickKids)에서의 74개 임상 예측 작업에 대해, PORTER은 동일한 백본과 사전 학습 목표를 가진 고정 어휘 파운데이션 모델(Fixed-Vocab FM)과 대등한 성능을 보였습니다 (평균 AUROC: 두 모델 모두 0.884).

교차 어휘 전이 (동일 기관 내) (Cross-Vocabulary Transfer)

사전 학습에 사용된 OMOP 유래 설명 대신 기관(SEDAR) 설명으로 렌더링된 환자 타임라인에 대해 테스트했을 때:

• PORTER: 재학습이나 어휘 매핑 없이도 평균 AUROC 0.848을 달-성하였으며, 타겟 어휘로 직접 학습된 참조 모델 성능의 **97.1%**를 회복했습니다.
• Fixed-Vocab FM: 새로운 SEDAR 토큰에 대한 학습된 임베딩이 없기 때문에 직접 평가가 불가능했습니다.

교차 사이트 전이 (SickKids에서 MIMIC으로) (Cross-Site Transfer)

MIMIC-IV 데이터셋(성인 ICU 데이터)으로 전이했을 때:

• PORTER: 평균 AUROC 0.823을 달성하였으며, 36개 작업 중 31개에서 Fixed-Vocab FM(0.810)을 능가했습니다.
• 이벤트 유지: Fixed-Vocab FM은 미학습 토큰으로 인해 MIMIC 이벤트의 **69%**를 놓친 반면, PORTER은 모든 이벤트를 처리했습니다.

텍스트 직렬화와의 비교 (Comparison with Text Serialization)

텍스트 직렬화 비교 대상(Qwen3-Embedding-8B 사용)과의 비교:

• 성능: PORTER은 74개 중 69개의 도메인 내 작업에서 더 높은 AUROC를 달성했습니다.
• 컴퓨팅 효율성: PORTER은 환자 표현을 한 번 계산하여 재사용하므로, 직렬화 비교 대상이 매 환자-작업 쌍마다 순전파(forward pass)를 수행해야 하는 것과 비교하여 329배 낮은 분산 계산량(amortized compute)을 요구합니다.

메커니즘적 통찰 (Mechanistic Insights)

• 인코더 선택: 교차 어휘 전이 성능은 텍스트 인코더의 스케일보다는 환자 수준 표현의 기하학적 구조(pairwise cosine distances)의 보존 여부와 상관관계가 있었습니다. 더 작은 생물 의학 특화 인코더(BioLORD)가 일반 목적의 더 큰 인코더보다 교차 어휘 설정에서 우수한 성능을 보였습니다.
• 수치 민감도: FiLM 기반 수치 경로는 텍스트 렌더링된 숫자(Spearman 상관계수 0.67)와 비교하여 수치 크기에 대해 완벽한 단조 민감도(Spearman 상관계수 1.00)를 보여주었습니다.

의의 및 주장

본 논문은 PORTER이 어휘 독립적인 EHR 파운데이션 모델을 향한 중요한 진전임을 주장합니다. 주요 의의는 다음과 같습니다:

1. 조화 부담 감소: 모델을 새로운 기관이나 서로 다른 코딩 규칙을 가진 데이터 파이프라인에 배포할 때 노동 집약적인 어휘 매핑이나 재학습의 필요성을 제거합니다.
2. 도메인 내 성능 보존: 표준 설정에서 최첨단 고정 어휘 모델과 대등한 성능을 달면서도, 전이 시나리오에서 탁월한 강건성을 제공합니다.
3. 효율적인 재사용 가능성: 개념의 의미, 수치 값, 그리고 시간적 역학을 분리함으로써, PORTER은 다양한 다운스트림 작업에서 환자 표현의 효율적인 재사용을 용이하게 하며, 이는 다양한 기관 간의 확장 가능한 임상 AI 배포를 위한 실질적인 경로를 제시합니다.

저자들은 선형 프로브를 사용한 점, 단일 소아 병원에 의존한 점, 그리고 사전 학습 자체에 고정된 출력 어휘를 계속 사용한다는 점 등을 한계점으로 언급하며, 이는 향후 연구 과제로 남겨두었습니다.