CARDIAC-FM: A Multimodal Foundation Model for Cardiovascular Risk Prediction Using ECG and Cardiac MRI

이 논문은 UK Biobank 의 57,609 개 쌍체 데이터를 기반으로 ECG 와 심장 MRI 를 결합한 멀티모달 파운데이션 모델 'CARDIAC-FM'을 개발하여, 다양한 외부 코호트에서 기존 단일 모달 모델보다 우수한 심혈관 질환 예측 성능을 보이며 MRI 없이도 ECG 만으로 광범위한 임상 적용이 가능함을 입증했습니다.

핵심

1. 핵심 아이디어: "심장의 두 가지 언어를 동시에 배우다"

기존의 심장 질환 예측 모델들은 보통 한 가지 정보만 보고 판단했습니다.

• 심전도 (ECG): 심장이 뛰는 전기 신호를 기록한 것 (심장의 '음성'이나 '리듬'에 비유).
• 심장 MRI: 심장의 구조와 모양을 찍은 사진 (심장의 '사진'이나 '해부도'에 비유).

기존 모델들은 이 중 하나만 보고 "심장병이 올까요?"라고 추측했는데, 정확도가 떨어지거나 특정 집단에서만 잘 작동하는 문제가 있었습니다.

CARDIAC-FM 의 혁신:
이 모델은 **심전도 (소리)**와 **심장 MRI (사진)**를 함께 공부했습니다.

비유: imagine 한 요리사가 '재료의 냄새' (심전도) 만 맡아서 요리를 만드는 게 아니라, '재료의 모양과 질감' (MRI) 도 함께 보며 공부했다고 상상해 보세요. 냄새만 맡아도 재료의 모양을 상상해 낼 수 있게 된 것입니다.

이 모델은 영국 바이오뱅크라는 거대한 데이터베이스에서 5 만 7 천 명의 심전도와 MRI 데이터를 동시에 학습했습니다. 두 가지 정보를 연결하는 '대조 학습 (Contrastive Learning)'이라는 기술을 써서, **"이 심전도 소리는 이런 모양의 심장과 짝을 이룬다"**는 것을 스스로 깨우쳤습니다.

2. 놀라운 능력: "사진이 없어도 심장의 모양을 상상해 내다"

이 모델의 가장 큰 장점은 실제 MRI 촬영이 없어도 심전도만으로도 MRI 를 통해 알 수 있는 심장 구조 정보를 추론해 낼 수 있다는 점입니다.

비유: 마치 소리를 듣고 그 사람의 얼굴을 그려낼 수 있는 화가와 같습니다.

• 보통은 심장의 구조를 보려면 비싸고 귀찮은 MRI 촬영을 해야 합니다.
• 하지만 CARDIAC-FM 은 저렴한 심전도 검사만 받아도, "아, 이 심전도 소리를 내는 사람은 심장이 이렇게 커져 있겠구나"라고 **상상 (추론)**해냅니다.

연구 결과, 이 모델이 심전도만으로 예측한 심장 크기나 펌프 기능 수치는 실제 MRI 로 측정한 값과 매우 비슷하게 일치했습니다. 이는 MRI 가 없는 지역이나 과거의 환자 기록에서도 심장 상태를 파악할 수 있게 해줍니다.

3. 실제 성능: "다른 병원, 다른 사람에서도 잘 통한다"

이 모델은 영국에서 훈련했지만, 미국 (CHS, MESA 코호트) 의 다른 환자들에게 적용해 보았습니다. 결과는 놀라웠습니다.

• 기존 방식: 나이, 성별, 혈압 같은 전통적인 위험 요소만 보면 예측이 어렵습니다.
• 기존 AI: 심전도만 보면 어느 정도 예측하지만, 한계가 있습니다.
• CARDIAC-FM: 심전도만으로도 기존 AI 보다 훨씬 정확했고, 여기에 전통적인 위험 요소 (나이, 혈압 등) 를 더하면 정확도가 더 올라갔습니다.

비유: 기존 모델이 "날씨가 흐리면 비가 올 확률이 60% 야"라고 말한다면, CARDIAC-FM 은 "날씨가 흐리고, 바람이 불며, 공기가 습하면 비가 올 확률이 85% 야"라고 훨씬 정교하게 예측하는 것입니다.

특히 **부정맥 (심방세동)**과 심부전을 예측하는 데 매우 뛰어났습니다. 심부전의 경우, 심전도만으로는 놓치기 쉬운 미세한 구조적 변화를 MRI 학습을 통해 간접적으로 포착해내어 예측력을 높였습니다.

4. 왜 이것이 중요한가? (일상적인 의미)

1. 접근성: MRI 는 비싸고 시간이 오래 걸립니다. 하지만 심전도는 저렴하고 쉽습니다. CARDIAC-FM 은 심전도 하나로도 MRI 수준의 심장 구조 정보를 얻을 수 있게 해서, 누구나 쉽게 심장 건강을 점검할 수 있게 합니다.
2. 범용성: 한 가지 병 (예: 심부전) 만 예측하는 게 아니라, 뇌졸중, 심장마비, 심장 사망 등 다양한 심장 관련 위험을 한 번에 예측할 수 있습니다.
3. 미래지향성: 데이터가 부족한 새로운 질병이나 환자 집단에서도, 아주 적은 데이터만 추가하면 바로 적응하여 사용할 수 있습니다.

요약

CARDIAC-FM은 심장의 **소리 (심전도)**와 **모양 (MRI)**을 함께 배운 초지능 AI 입니다. 이 모델은 심전도만으로도 심장의 숨겨진 구조적 문제를 찾아내고, 다양한 심장 질환의 위험을 기존 방법보다 훨씬 정확하게 예측합니다.

마치 **심장 건강의 '만능 열쇠'**처럼, 비싼 검사 없이도 누구나 자신의 심장 상태를 미리 알아보고 예방할 수 있는 시대를 열어줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 심혈관 질환의 부담: 심방세동 (AF) 과 심부전 (HF) 은 전 세계적으로 큰 건강 부담을 초래하며, 그 유병률은 계속 증가할 것으로 예상됩니다.
• 기존 모델의 한계:
  • 기존 위험 예측 모델은 전통적인 위험 인자 (나이, 성별, 혈압 등) 에 기반하여 정확도와 일반화 능력 (Generalizability) 이 부족합니다.
  • 대부분의 딥러닝 모델은 단일 모달리티 (ECG 만 또는 MRI 만) 에 의존하며, 두 데이터의 상호 보완적 정보를 활용하지 못합니다.
  • 많은 모델이 특정 임상 코호트나 특정 질환 (Task-specific) 에만 최적화되어 있어, 다양한 인구 집단에 적용하거나 새로운 질환을 예측할 때 데이터 부족과 계산 비용의 문제가 발생합니다.
  • 실제 임상 현장에서는 MRI 와 같은 고비용 이미징 데이터가 항상 구비되지 않는 경우가 많아, MRI 없이도 높은 정확도를 낼 수 있는 모델이 필요합니다.

2. 방법론 (Methodology)

이 연구는 CARDIAC-FM(Contrastive Alignment for Risk Detection In Cardiovascular Foundation Model) 이라는 다중 모달 (Multimodal) 파운데이션 모델을 개발했습니다.

• 데이터 소스:
  • 훈련 데이터: UK Biobank 의 57,609 개의 짝지어진 (Paired) 12 리드 ECG 와 심장 MRI 샘플.
  • 외부 검증 데이터: Cardiovascular Health Study (CHS) 와 Multi-Ethnic Study of Atherosclerosis (MESA) 의 독립적인 코호트.
• 모델 아키텍처 및 학습 단계:
  1. 다중 모달 사전 학습 (Multimodal Pre-training):
     • 인코더: ECG 는 사전 훈련된 ECG-FM(Transformer 기반) 을, MRI 는 CNN-LSTM 아키텍처를 사용하여 특징을 추출합니다.
     • 정렬 (Alignment): 대칭적 InfoNCE Contrastive Loss 를 사용하여 ECG 와 MRI 의 특징을 공유된 잠재 공간 (Shared Latent Space) 에 정렬합니다. 이를 통해 ECG 인코더가 MRI 로 측정되는 심장 구조 및 기능 정보를 학습하도록 합니다.
  2. 하류 작업 미세 조정 (Downstream Fine-tuning):
     • 학습된 표현 (Representation) 에 가벼운 예측 헤드를 추가하고, 심방세동 및 심부전 발생과 같은 임상 결과에 대해 지도 학습 (Supervised Learning) 으로 미세 조정합니다.
• 추론 (Inference) 모드:
  • 모델은 ECG 만 입력받거나, ECG + MRI, ECG + 임상 위험 점수, ECG + MRI + 임상 위험 점수 등 다양한 데이터 가용성에 따라 유연하게 추론이 가능합니다.
  • 특히 MRI 가 없는 환경에서도 ECG 만으로 MRI 기반의 구조적 정보를 추론하여 예측할 수 있습니다.

3. 주요 기여 및 혁신점 (Key Contributions)

• 최초의 ECG-MRI 다중 모달 파운데이션 모델: 심혈관 사건 예측을 위해 ECG 와 MRI 를 대비 학습 (Contrastive Learning) 으로 통합한 최초의 대규모 파운데이션 모델입니다.
• 교차 모달 지식 전이 (Cross-modal Transfer): MRI 데이터로 학습된 구조적/기능적 정보를 ECG 인코더에 주입하여, 추론 시 MRI 가 없어도 ECG 만으로 높은 정확도의 예측이 가능하도록 했습니다.
• 데이터 효율성 (Few-shot Learning): 외부 코호트 (CHS, MESA) 에서 소량의 레이블 데이터 (20% 만 사용) 로 미세 조정만으로도 다양한 심혈관 결과 (심근경색, 뇌졸중, 사망 등) 에 대해 강력한 성능을 발휘했습니다.
• 가상 MRI 추론: ECG 만으로 MRI 에서 파생된 심장 구조 지표 (좌심실 박출률, 심실 부피 등) 를 예측하여, 이미징 데이터가 없는 대규모 코호트에서도 심장 구조와 질환의 연관성을 분석할 수 있게 했습니다.

4. 주요 결과 (Results)

• 성능 향상 (UK Biobank):
  • CARDIAC-FM 은 단일 모달리티 모델 (ECG-FM 만 사용) 과 기존 임상 위험 점수 (CHARGE-AF, PREVENT-HF) 보다 모든 코호트에서 일관되게 우수한 성능을 보였습니다.
  • 심방세동: ECG 와 임상 위험 점수를 결합한 모델이 가장 높은 성능 (AUROC 0.82) 을 보였습니다. MRI 추가는 미미한 향상이 있었습니다 (전기적 이상은 ECG 로 잘 포착됨).
  • 심부전: ECG 와 MRI 를 모두 사용한 모델이 가장 높은 성능 (AUROC 0.83) 을 보였으며, MRI 추가가 유의미한 향상을 가져왔습니다 (구조적 변화 포착).
• 외부 검증 (CHS 및 MESA):
  • Zero-shot (미세 조정 없이 직접 적용): 사전 훈련된 모델을 외부 데이터에 바로 적용했을 때도 기존 임상 점수보다 우수한 성능을 보였습니다.
  • Few-shot (20% 데이터로 미세 조정): 미세 조정 후 성능이 더욱 향상되어 AUROC 와 AUPRC 에서 모두 최상의 결과를 기록했습니다.
  • 일반화 능력: 연령, 성별, 인종 (백인, 아프리카계 미국인, 히스패닉, 중국계 등) 에 따른 하위 그룹 분석에서도 일관된 성능을 유지했습니다.
• 다양한 질환 예측: 심방세동과 심부전 외에도 심근경색, 허혈성 뇌졸중, 심혈관 사망, 전사망 등 다양한 심혈관 결과에 대해 ECG-FM 대비 우수한 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 임상 적용 가능성: MRI 는 비용이 많이 들고 접근성이 낮지만, ECG 는 보편적입니다. CARDIAC-FM 은 MRI 없이 ECG 만으로도 MRI 수준의 심장 구조 정보를 추론하여 심혈관 위험을 정밀하게 예측할 수 있게 함으로써, 실제 임상 현장에서의 광범위한 배포를 가능하게 합니다.
• 포괄적인 심장 건강 표현: 다중 모달 사전 학습을 통해 학습된 표현은 단일 질환에 국한되지 않고, 심장의 구조와 기능을 포괄적으로 이해하여 다양한 심혈관 질환의 위험을 예측하는 데 효과적입니다.
• 연구 및 공헌: 이 모델은 코드와 사전 훈련 가중치를 공개하여 재현성을 보장하며, 심혈관 의학 분야에서 다중 모달 AI 의 임상 전환을 가속화하는 데 기여합니다.

요약하자면, CARDIAC-FM 은 ECG 와 MRI 의 시너지를 활용하여 심혈관 질환 위험을 예측하는 새로운 표준을 제시하며, 특히 MRI 가 없는 환경에서도 ECG 만으로 높은 정확도의 구조적·기능적 평가를 가능하게 하는 획기적인 모델입니다.