CardioJEPA: A Framework for Holistic Cardiac Representations Through Predictive Multimodal Alignment with ECG-Preservation

기술 요약: 통합적 심장 표현 학습을 위한 프레임워크, CardioJEPA

문제 정의
심전도(ECG)는 주요한 심장 진단 도구이지만, 심장의 구조와 기능에 대해서는 간접적인 투영만을 제공한다. 반면, 심장 자기공명영상(CMR)은 상세한 해부학적 및 기능적 데이터를 제공하지만, 비용이 많이 들고 접근성이 낮다. 대규모 자기지도 사전학습(self-supervised pretraining)은 ECG와 CMR 모두에 대해 강력한 단일 모달리티 파운데이션 모델을 생성해 왔으나, 이러한 모달리티들을 정렬하여 영상 기반의 구조적 지식을 ECG 잠재 공간(latent space)으로 전이하는 것은 여전히 어려운 과제이다.

기존의 접근 방식들은 주로 대조 학습(contrastive learning, 예: InfoNCE 목적 함수)에 의존하여 ECG와 CMR 표현을 정렬한다. 그러나 이러한 정식화는 두 가지 결정적인 한계를 가진다:

1. 인스턴스 식별(Instance Discrimination): 대조 학습 방식은 서로 다른 환자를 부정적 샘플(negative samples)로 취급하며, 이는 생리학적으로 유사한 표현형(phenotype)들을 분리할 위험이 있다.
2. 정보 손실: 상호 정보량(mutual information)의 경계값을 최대화하는 과정은 ECG 표현을 CMR의 "최소 충분 통계량(minimal sufficient statistic)"으로 유도한다. 이 과정은 ECG 고유의 임상적으로 중요한 전기생리학적 정보(예: 리듬, 전도 지연)를 억제할 위험이 있으며, 이는 해당 정보가 CMR에는 직접적인 대응물이 없는 ECG만의 고유한 특성임을 고려할 때, ECG의 독립적인 진단 가치를 저하시킨다.

방법론: CardioJEPA 프레임워크
저자들은 동결된(frozen) 심장 파운데이션 모델을 기반으로 한 예측 정렬 프레임워크인 CardioJEPA를 제안한다. 이 프레임워크는 세 가지 방법론적 구성 요소를 통해 정렬 문제를 해결한다.

1. 사전학습된 인코더(Pretrained Encoders):

   • ECG 인코더: 150만 개의 12유도 ECG로 사전학습된 CNN-Transformer 하이브리드 모델인 ECG-FM으로부터 초기화된다.
   • CMR 타겟 인코더: UK Biobank CMR 데이터로 학습된 다중 뷰 마스크 오토인코더인 CineMA로부터 초기화된다. 이 인코더는 정렬 과정 동안 표현 붕괴(representation collapse)를 방지하기 위해 동결된 상태를 유지한다.

2. Isolated-PCA CMR 타겟 구축:

   • 표준 CMR 임베딩(이완기 말 및 수축기 말)은 거의 동일하여(코사인 유사도 > 0.996), 정렬 손실이 정적인 해부학적 구조에 의해 지배되고 심장 운동에 대한 신호는 약해지는 문제가 발생한다.
   • 이를 해결하기 위해 저자들은 isolated-PCA 타겟을 구축한다. 이들은 정적인 해부학(이완기 말 임베딩)과 운동 벡터(수축기 말과 이완기 말 임베딩의 차이)에 각각 독립적으로 주성분 분석(PCA)을 적용한다.
   • 이 두 스트림은 z-score 정규화를 거친 후 512차원 벡터로 결합된다. 이는 정적인 해부학적 분산과 기능적 운동을 분리하여, 타겟이 전이를 위해 균형 잡힌 정보를 포함하도록 보장한다.

3. 예측 정렬 및 보존(Predictive Alignment and Preservation):

   • 예측 목적 함수: CardioJEJPA는 대조적 인스턴스 식별 대신, 조인트 임베딩 예측 아키텍처(JEPA) 방식을 사용한다. 선형 예측기(linear predictor)는 평균 제곱 오차(MSE) 손실($L_{JEPA}$)을 사용하여 ECG 표현을 동결된 CMR 타겟에 매핑한다. 이는 유사한 환자들 사이의 반발력을 피한다.
   • 보존 항(Preservation Term): ECG 고유의 정보($U_{ecg}$)가 억제되는 것을 방지하기 위해 증류 손실($L_{distill}$)이 도입된다. 이 항은 코사인 유사도 페널티를 사용하여 학습 가능한 ECG 표현을 초기 사전학습 상태에 고정시킨다. 이를 통해 인코더가 구조적 특징을 학습하면서도 파운데이션 모델이 인코딩한 전기생리학적 정보를 유지하도록 한다.

전체 손실 함수는 다음과 같이 정의된다:
$$L_{total} = L_{JEGA} + \alpha L_{distill}$$

주요 결과
프레임워크는 UK Biobank의 63,193개 쌍 데이터(ECG-CMR)로 평가되었으며 외부 코호트에서도 테스트되었다.

• 구조적 및 전기적 성능: CardioJEPA는 구조적(예: LVEF, LVM) 및 전기적(예: PR 간격, QRS 폭) 작업 모두에서 기존의 ECG-CMR 정렬 방식(ECCL, MMCL, PTACL)보다 우수한 성능을 보였다. 특히, 정렬되지 않은 ECG 파운데이션 모델이 이미 기존 정렬 방식보다 구조적 작업에서 뛰어난 성능을 보였음에도 불구하고, CardioJEPA는 구조적 성능($\tilde{S} = 0.637$)을 더욱 향상시키는 동시에 거의 모든 사전 정렬 전기적 정보($\tilde{U}_{ecg} = 0.699$ vs. 베이스라인 $0.709$)를 보존했다.
• 고유 정보의 보존: 명시적인 보존 기법 없이 예측 정렬을 수행했을 때는 대조 학습보다 약 2.8% 더 많은 ECG 고유 정보를 유지했다. 증류 항을 사용했을 때, 정렬에 따른 비용은 미미한 수준인 1.0%의 편차로 감소했다.
• 잠재 공간 기하학(Latent Space Geometry): 예측 정렬은 대조 정렬(0.454)에 비해 현저히 작은 모달리티 간 격차(0.190)를 나타냈으며, 대조 학습 특유의 "원뿔형(cone)" 압축 없이 더 일관되고 중첩된 잠재 매니폴드를 생성했다.
• 분포 외(Out-of-Distribution) 일반화:
  • 구조적 심장 질환: EchoNext 데이터셋에서, 동결된 CardioJEPA 표현(선형 프로빙만 사용)은 구조적 심장 질환 탐지에서 엔드투엔드(end-to-end)로 훈련된 최신 모델들(EchoNext-mini 및 full EchoNext)보다 높은 성능을 보였다 (AUROC 0.850 vs. 0.820).
  • 샤가스 심근병증(Chagas Cardiomyopathy): 2025 PhysioNet Challenge 설정에서, CardioJEPA는 훈련 과정에서 샤가스 데이터를 전혀 본 적이 없음에도 불구하고, 챌린지 우승 시스템의 동결된 백본(AUROC 0.859 vs. 0.838)과 엔드투엔드 CNN(AUROC 0.852 vs. 0.80)보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 CardioJEPA가 CMR으로부터 구조적 정보를 통합하는 것이 ECG 고유의 전기생리학적 정보를 희생할 필요가 없음을 입증한다고 주장한다.

• 이론적 기여: 본 연구는 예측 잠재 정렬(predictive latent alignment)이 명시적 보존과 결래될 때, 대조 학습의 고질적인 문제인 "최소 충분 통계량" 붕괴를 피할 수 있음을 검증한다. 이를 통해 ECG 표현이 모달리티 고유의 데이터를 버리지 않으면서도 CMR 타겟의 기하학적 구조를 반영할 수 있게 한다.
• 실무적 영향: 결과물인 표현은 구조적 지식과 고유의 전기적 특성을 모두 포착하는 "통합적(holistic)" 성격을 띤다. 이는 영상 촬영이 필요한 심장 특성(예: 구조적 심장 질환, 샤가스 심근병증)을 ECG만으로 추론할 수 있게 한다. 이는 모델이 학습하지 않은 외부 코호트나 특정 질병군에서도 가능하다.
• 모달리티 격차: 프레임워크는 ECG와 CMR 사이의 모달리티 격차를 실질적으로 줄였으며, 이는 영상 기반 구조 정보로 강화된 ECG 모델이 CMR을 사용할 수 없는 환경에서도 심장 평가 역량을 확장할 수 있음을 시사한다.

저자들은 선형 프로빙에 대한 의존성(비선형적 능력을 과소평가할 수 있음)과 시네(cine) CMR에 국한된 점을 한계로 인정하며, 향후 연구에서 더 풍부한 시간적 표현과 조직 특성 시퀀스를 탐구할 수 있을 것이라고 언급했다.