기술 요약: 전자 건강 기록의 멀티모달 분석을 위한 대조 학습 (Contrastive Learning)

문제 정의

전자 건강 기록(EHR)은 구조화된 임상 코드(예: 진단, 약물, 처치)와 비구조화된 임상 노트와 같은 풍부한 멀티모달 데이터를 포함하고 있습니다. 이러한 양상(modalities)들은 환자의 건강에 대한 상호 보완적인 관점을 제공하지만, 기존 연구들은 이를 개별적으로 다루거나 단순한 방법(예: 직접 결합)으로 통합하는 경우가 많습니다. 이러한 접근 방식은 양상 간의 본질적인 시너지 효과를 간과하며, 각 양상의 독특한 통계적 형태와 노이즈 구조를 반영하지 못합니다.

현재의 멀티모달 접근 방식은 다음과 같은 한계에 직면해 있습니다:

1. 이론적 이해의 부족: 멀티모달 대조 학습이 시각-언어 작업(예: CLIP)에서 성공을 거두었으나, 희소하고 이산적인(discrete) EHR 데이터에 대한 이론적 토대는 여전히 미개척 영역으로 남아 있습니다.
2. 개인정보 보호 제약: 많은 딥러닝 방법은 환자 수준의 데이터를 요구하며, 이는 개인정보 보호 문제를 야기하고 기관 간의 협업을 저해합니다.
3. 편향 및 노이즈: 양상 간의 차이를 무시하면 특정 정보가 가려지거나, 보완적인 신호가 소실되거나, 체계적인 편향이 증폭될 수 있습니다. 기존 방법들은 특정 데이터 수집 과정(예: 청구 코드 vs. NLP 추출 개념)에서 발생하는 고유한 노이즈와 실제 임상 신호를 구분하는 데 실패하는 경우가 많습니다.

방법론

저자들은 멀티모달 EHR 데이터에 대해 강건하고 개인정보를 보호하는 특징 임베딩을 학습하기 위해 설계된 프레임워크인 CLAIME(Contrastive Learning Algorithm for Integrated Multimodal Electronic health records)를 제안합니다.

1. 생성 모델 (Generative Model)

이 방법은 노이즈가 포함된 멀티모달 로그-선형 생성 모델(식 2.1)에 기반합니다.

• 잠재 상태 (Latent State): 각 환자 $i$는 잠재적 임상 상태 $c_i \sim N(0, I_p)$와 연관됩니다.
• 특징 생성: 구조화된 코드($w^{(1)}$)와 비구조화된 개념($w^{(2)}$, 예: CUI)은 $c_i$로부터 조건부로 생성되지만, 양상별 노이즈 벡터 $\epsilon^{(M)}_i$의 영향을 받습니다.
• 핵심 가정: 특징들이 공통된 잠재 구조를 공유하더라도, 각 양상은 독립적인 노이즈(예: 청구 관행 vs. NLP 추출 오류)에 의해 왜곡된다는 점을 전제합니다.

2. CLAIME 알고리즘

CLAIME는 두 양상에 대한 임베딩 $V_1$과 $V_2$를 학습하기 위해 멀티모달 대조 손실 함수를 사용합니다.

• 대조 목적 함수 (Contrastive Objective): 알고리즘은 동일한 환자의 코드-CUI 쌍을 양성 쌍(positive pairs)으로, 서로 다른 환자의 쌍을 음성 쌍(negative pairs)으로 취급합니다.
• 손실 함수: 손실 함수 $L_{CLAIME}$는 양성 쌍에 대해서는 높은 유사도를, 음성 쌍에 대해서는 낮은 유사도를 갖도록 유도하며, 임베딩 크기를 조절하기 위해 정규화됩니다.
• 폐쇄형 해법 (Closed-Form Solution): 핵심적인 이론적 통찰은 대조 손실을 최소화하는 것이 경험적 점별 상호 정보량(Pointwise Mutual Information, PMI) 행렬($\widehat{PMI}_{CLAIME}$)의 계수 제한 근사(rank-constrained approximation)를 찾는 것과 같다는 점입니다. 이를 통해 알고리즘은 반복적인 경사 하강법 없이 특이값 분해(SVD)를 통해 효율적으로 해결될 수 있습니다.
• 개인정보 보호: 이 알고리즘은 환자 수준의 원시 기록이 아닌 집계된 공생 통계(aggregated co-occurrence statistics)(요약 수준의 데이터)만을 사용하여 작동하므로 기관 간의 안전한 협업이 가능합니다.

3. 이론적 분석

본 논문은 CLAIME의 일관성(consistency)을 확립하는 엄격한 이론적 보증을 제공합니다.

• PMI와의 연결: 손실 함수의 해는 인구 수준의 PMI 행렬의 SVD와 직접 연결됩니다.
• 수렴 속도: 환자 수($n$), 특징 차원($d$), 잠재 차원($p$)에 관한 특정 가정 하에, 저자들은 $\widehat{PMI}_{CLAIME}$가 실제 교차 양상(cross-modal) PMI 행렬의 점근적 비편향 추정량임을 증명합니다.
• 베이스라인 대비 우월성: 이론적 분석은 베이스라인 방법들(단순 결합인 "Concate" 및 결합된 데이터에 대한 표준 대조 학습인 "CL")이 회복 불가능한 편향과 노이즈 오염을 겪는다는 것을 보여줍니다. 구체적으로, 특정 노이즈 공분산 조건 하에서 베이스라인들은 실제 신호를 포착하지 못하고 노이즈 부분 공간으로 수렴할 수 있는 반면, CLAIME은 핵심 표현을 성공적으로 복구합니다.

주요 기여

1. 새로운 알고리즘 (CLAIME): 요약된 공생 통계만을 필요로 하는, 개인정보를 보호하는 멀티모달 EHR 표현 학습 알고리즘입니다.
2. 생성 모델: 이전의 단어 벡터 모델과 달리, 양상별 노이즈와 환자 이질성을 명시적으로 고려하는 새로운 잠재 변수 모델을 제시합니다.
3. 이론적 프레임워크: 멀티모달 대조 학습을 PMI 행렬의 SVD와 연결하는 최초의 이론적 분석을 제공하여, 수렴 속도를 제시하고 단일 양상 또는 결합된 접근 방식보다 교차 양상 방식이 왜 더 우수한지에 대한 이론적 정당성을 입증했습니다.
4. 실증적 검증: 다양한 노이즈 환경에서의 강건성과 복잡한 임상적 관계를 포착하는 탁월한 성능을 시뮬레이션과 실제 사례를 통해 입증했습니다.

결과

시뮬레이션 연구

저자들은 다양한 샘플 크기, 특징 차원 및 신호 대 잡음비(SNR) 환경에서 CLAIME을 베이스라인(Concate, CL, KPCA) 및 경사 하강법 변형 모델들과 비교 평가했습니다.

• 노이즈 강건성: CLAIME은 특히 노이즈 공분산 행렬이 신호와 직교하는 저(low)-SNR 설정에서 베이스라인보다 일관되게 우수한 성능을 보였습니다. 베이스라인들은 실제 임베딩 부분 공간을 복구하는 데 실패하는 경우가 많았으나, CLAIME은 정확도를 유지했습니다.
• 확장성: SVD 기반 접근 방식은 경사 하강법 기반 방식(CLAIME-GD)과 대등한 성능을 보이면서도, 환자 수준의 데이터 없이 훨씬 낮은 계산 비용으로 수행되었습니다.

실제 적용 (Mass General Brigham RA 코호트)

이 방법은 53,716명의 환자와 3,477개의 부호화된 특징, 1,048개의 CUI를 포함하는 류마티스 관절염(RA) 코호트에 적용되었습니다.

• 관계 탐지: CLAIME는 코드와 CUI 사이의 "유사함(Similar)" 및 "관련됨(Related, 예: 원인, 치료)" 관계를 탐지하는 능력을 평가받았습니다.
• 성능: 모든 방법이 "유사함" 쌍에 대해서는 좋은 성능을 보였으나, CLAIME은 "관련됨" 쌍에 대해 베이스라인보다 유의미하게 우수한 성능을 보였습니다. 특히, 인과 관계를 탐지하는 데 있어 KPCA보다 약 8% 높은 AUC 개선을 보였습니다.
• 사례 연구: LLM(GPT-3.5/4)이 생성한 관련성 점수와 켄달 타우(Kendall's tau) 상관계수를 사용한 분석에서, CLAIME은 결합(concatenation)이나 표준 대조 학습이 특정 개념에 대해 음의 상관관계를 보인 것과 달리, 특정 개념(예: 관련 약물-질병 쌍 구분)에 대해 임상적 의미론과 더 뛰어난 정렬을 보여주었습니다.

의의 및 주장

본 논문은 CLAIME가 멀티모달 EHR 데이터의 통계적 분석에 있어 중요한 격차를 해소한다고 주장합니다. 단순한 결합과 딥러닝 기반의 "블랙박스" 모델을 넘어, CLAIME은 다음과 같은 이점을 제공합니다:

• 해석 가능성: 명확한 통계적 특성을 가진 생성 모델에 기반합니다.
• 개인정보 보호: 환자 수준의 데이터를 공유하는 대신 집계된 통계에 의존함으로써 기관 간 학습을 가능하게 합니다.
• 이론적 엄밀성: 희소하고 노이즈가 많은 EHR 데이터 맥의에서 왜 멀티모달 대조 학습이 단일 양상 또는 단순 결합 방식보다 우수한지에 대한 최초의 이론적 근거를 제공합니다.
• 임상적 유용성: 실증적 결과는 학습된 표현이 다른 방법들이 놓치는 미묘하고 임상적으로 유의미한 연관성(예: 인과 관계)을 포착함을 시사하며, 이는 환자 프로파일링 및 질병 예측과 같은 다운스트림 작업의 성능을 향상시킬 수 있습니다.

저자들은 현재 프레임워크가 두 개의 양상에 집중하고 있으나, 개념적으로는 더 많은 양상으로 확장 가능하다고 언급했습니다. 다만, 고차 상호작용(higher-order interactions)에 대한 이론적 보증은 향후 연구 과제로 남겨두었습니다.