CARDIAC-FM: A Multimodal Foundation Model for Cardiovascular Risk Prediction Using ECG and Cardiac MRI

本文提出了一种名为 CARDIAC-FM 的多模态基础模型，该模型通过对比学习联合表征心电图与心脏磁共振图像，在多个外部队列中显著提升了心血管风险预测的准确性与泛化能力，并证明了其仅需心电图即可实现广泛临床部署的潜力。

要点

这篇论文介绍了一个名为 CARDIAC-FM 的超级人工智能模型，它的任务是像一位“超级心脏侦探”一样，预测人们未来患上心脏病（特别是房颤和心力衰竭）的风险。

为了让你更容易理解，我们可以把心脏健康比作汽车的运行状态，把这项技术比作一次革命性的“汽车诊断升级”。

1. 以前的“诊断”有什么不足？

在以前，医生预测心脏病风险主要靠两样东西：

• 填问卷（传统风险评分）： 就像问车主“你开几年了？加什么油？平时开得猛不猛？”。这很有用，但不够精准，因为很多车（人）表面看着正常，内部零件可能已经老化。
• 单一检查（心电图 ECG）： 就像听发动机的声音。虽然能听出一些杂音，但很难知道发动机内部活塞、齿轮的具体磨损情况。
• 金标准检查（心脏核磁共振 MRI）： 这就像把车拆开来，用显微镜看每一个零件。非常准，但太贵、太慢、太麻烦，而且很多老车（很多人群）根本没有做过这种深度检查。

痛点： 现有的 AI 模型要么只懂听声音（只分析心电图），要么只懂看零件（只分析核磁共振），而且它们通常只能预测某一种特定的病。一旦遇到新数据或新人群，它们就“水土不服”了。

2. CARDIAC-FM 是怎么工作的？（核心魔法）

这个新模型做了一个非常聪明的“跨界学习”：

• 第一步：超级特训（多模态预训练）
  研究人员收集了英国生物样本库（UK Biobank）里 57,609 份 同时拥有“听声音记录”（心电图）和“内部零件高清图”（核磁共振）的数据。

  • 比喻： 想象让 AI 同时看汽车发动机的声音录音和发动机内部的拆解视频。
  • 学习过程： AI 通过一种叫“对比学习”的方法，强迫自己理解：“当听到这种特定的声音时，发动机内部其实是长这样的。”
  • 结果： AI 学会了从简单的“声音”（心电图）中，直接“脑补”出复杂的“内部结构”（核磁共振能看到的结构）。

• 第二步：灵活应用（微调）
  训练好后，AI 变成了一个通用的“心脏健康专家”。

  • 场景 A（只有声音）： 如果病人只做了心电图（就像只有录音），AI 能利用它学到的“脑补”能力，推断出心脏内部结构可能的问题，从而预测风险。
  • 场景 B（声音 + 结构）： 如果病人既有录音又有高清图，AI 会结合两者，给出最精准的判断。
  • 场景 C（声音 + 问卷）： AI 还能把“听出来的”和“问出来的”（年龄、血压等）结合起来，互相补充。

3. 它厉害在哪里？（实际效果）

• 不用核磁共振也能“透视”：
  这是最大的突破。以前只有做了昂贵的核磁共振才能知道心脏结构有没有问题。现在，只用一张普通的心电图，CARDIAC-FM 就能预测出类似核磁共振才能发现的结构异常（比如心脏变大、肌肉变厚）。

  • 比喻： 就像你不用把车拆了，光听发动机声音，AI 就能告诉你：“你的活塞磨损程度相当于跑了 20 万公里。”

• 哪里都能用（泛化能力强）：
  它在英国训练，然后直接拿去美国的两个不同人群（CHS 和 MESA 研究）测试。结果发现，它依然很准。

  • 比喻： 就像这个 AI 侦探，在英国学会了破案，到了美国，面对不同肤色、不同年龄的人，它依然能一眼看穿心脏的隐患，不需要重新学习。

• 小样本也能学（少样本学习）：
  对于罕见病或新出现的疾病，通常没有足够的数据训练 AI。但 CARDIAC-FM 因为已经“博学多才”（学过了心脏的通用结构），只需要给它看一点点新数据，它就能迅速学会预测新疾病。

4. 为什么这对我们很重要？

1. 省钱省力： 不需要每个人都去做昂贵的核磁共振，一张普通的心电图就能筛查出高风险人群。
2. 早发现： 很多心脏病在早期，传统问卷查不出来，普通心电图也看不出大问题，但 AI 能从微小的波形变化中“听”出心脏结构正在悄悄改变。
3. 更公平： 以前只有在大医院、有钱做检查的人才能享受精准预测。现在，只要有心电图（基层医院甚至社区诊所都有），就能获得接近专家级的风险评估。

总结

CARDIAC-FM 就像是一个拥有“透视眼”的 AI 心脏侦探。它通过大量学习“声音”和“图像”的对应关系，练就了只凭听声音（心电图）就能看透心脏内部结构的绝技。

它不仅能更准地预测心脏病，还能让这种高精度的预测变得便宜、快速、普及，让普通人也能在疾病发生前就得到预警。这标志着我们利用人工智能进行心脏健康管理的新时代正式到来。

技术摘要

CARDIAC-FM 技术总结：基于心电图与心脏磁共振的多模态基础模型

1. 研究背景与问题 (Problem)

心房颤动（AF）和心力衰竭（HF）是全球范围内造成重大健康负担的疾病。现有的心血管风险预测模型存在以下局限性：

• 准确性与泛化性不足：基于传统风险因素（如年龄、血压、血脂等）的模型在不同人群中的区分度（Discrimination）和泛化能力有限。
• 单模态限制：大多数深度学习模型仅依赖单一数据模态（如仅心电图 ECG 或仅心脏磁共振 MRI），未能充分利用互补的病理生理信息。
• 任务特异性强：现有模型通常针对特定疾病从头训练，缺乏通用性，难以适应数据稀缺的新疾病终点预测。
• 临床部署困难：许多模型依赖 MRI 等昂贵且难以普及的影像数据，限制了其在缺乏影像设备的临床场景中的应用。

2. 方法论 (Methodology)

研究团队提出了 CARDIAC-FM（Contrastive Alignment for Risk Detection In Cardiovascular Foundation Model），这是一个多模态基础模型，旨在通过对比学习联合学习 ECG 和心脏 MRI 的表征。

2.1 数据基础

• 训练数据：来自英国生物银行（UK Biobank）的 57,609 对高质量配对的静息 12 导联 ECG 和心脏 MRI 数据。
• 外部验证：在两个独立的美国前瞻性队列中进行验证：心血管健康研究（CHS）和多民族动脉粥样硬化研究（MESA）。

2.2 模型架构与训练流程

CARDIAC-FM 采用两阶段训练框架：

1. 多模态预训练阶段 (Multimodal Pretraining)：

   • 编码器：
     • ECG 编码器：基于预训练的 ECG 基础模型（ECG-FM），包含 CNN 特征提取器和 BERT-Large Transformer 编码器。
     • MRI 编码器：基于 CNN-LSTM 架构，处理短轴（SAX）、四腔心（4CH）和二腔心（2CH）视图的 MRI 序列。
   • 对齐机制：使用对称的 InfoNCE 对比损失函数（Contrastive Loss），将同一受试者的 ECG 和 MRI 特征映射到共享的潜在空间（Latent Space），迫使 ECG 编码器学习 MRI 所捕捉的心脏结构和功能信息。
   • 输入：34,596 对配对样本。

2. 下游任务微调阶段 (Downstream Fine-tuning)：

   • 在预训练表征之上添加轻量级预测头（Prediction Head）。
   • 使用监督学习针对特定临床终点（如房颤、心衰）进行微调。
   • 灵活推理模式：模型支持四种输入配置，适应不同临床场景：
     1. 仅 ECG
     2. ECG + MRI
     3. ECG + 临床风险评分
     4. ECG + MRI + 临床风险评分

2.3 评估策略

• 零样本（Zero-shot）：直接在外部队列应用预训练模型，无需微调。
• 少样本（Few-shot）：仅使用外部队列 20% 的数据进行微调，模拟真实世界中标签数据稀缺的场景。
• 对比基线：传统临床风险评分（CHARGE-AF, PREVENT-HF）、单模态 ECG 基础模型（ECG-FM）。

3. 关键贡献 (Key Contributions)

1. 首个 ECG-MRI 多模态基础模型：首次利用对比学习将 ECG 波形与心脏 MRI 结构/功能信息对齐，用于前瞻性心血管事件预测。
2. 跨模态知识迁移：证明了通过多模态预训练，ECG 编码器能够“学会”MRI 的结构和功能特征。即使在推理阶段没有 MRI 数据，仅使用 ECG 输入，模型性能也优于单模态 ECG 模型。
3. 通用性与少样本适应能力：模型在多种心血管结局（房颤、心衰、心梗、卒中、死亡等）上表现出优异的泛化能力，仅需极少量标签数据即可适应新任务。
4. 临床可部署性：支持“仅 ECG"模式，使得在缺乏 MRI 设备的广泛临床环境中也能获得接近多模态模型的预测性能，同时保留了结合临床风险评分的灵活性。
5. 开源发布：公开了模型代码和预训练权重，促进可复现性和临床转化。

4. 主要结果 (Results)

4.1 英国生物银行（UK Biobank）内部验证

• 房颤预测：CARDIAC-FM (ECG + 风险评分) 的 AUROC 达到 0.82，优于单模态 ECG-FM (0.75) 和传统评分。
• 心衰预测：CARDIAC-FM (ECG + 风险评分) 的 AUROC 达到 0.81，显著优于单模态模型。加入 MRI 后，心衰预测进一步提升至 0.83，但仅 ECG 模式已具备极强竞争力。
• MRI 特征预测：仅凭 ECG 输入微调后的模型，能高度相关地预测 MRI 衍生的结构指标（如左室质量 LVM, r=0.79；左室舒张末容积 LVEDV, r=0.72），证明了跨模态表征学习的有效性。

4.2 外部验证（CHS 和 MESA 队列）

• 泛化能力：在零样本设置下，CARDIAC-FM (ECG + 风险评分) 在 CHS 和 MESA 中均优于传统风险评分和单模态 ECG 模型。
  • CHS 房颤预测：AUROC 提升 3 个百分点（从 0.70 提升至 0.73）。
  • CHS 心衰预测：AUROC 提升 2 个百分点。
• 少样本微调：仅使用 20% 外部数据微调后，性能进一步提升，接近 UK Biobank 内部测试集水平。
• 风险分层：CARDIAC-FM 识别出的高危组在房颤和心衰上的风险比（Hazard Ratio）显著高于传统评分（例如 CHS 中房颤 HR 从 3.83 提升至 4.47）。
• 广泛适用性：在心肌梗死、缺血性卒中、心血管死亡等 5 种额外结局上，CARDIAC-FM 均一致优于单模态 ECG-FM。

4.3 模态互补性分析

• 房颤：ECG 波形本身包含丰富的电生理信息，MRI 带来的额外增益较小（房颤主要是电紊乱）。
• 心衰：MRI 提供的结构信息（如纤维化、早期重构）对心衰预测至关重要。多模态预训练使得 ECG 编码器能捕捉这些隐含的结构特征，从而在仅用 ECG 推理时也能显著提升心衰预测性能。

5. 意义与影响 (Significance)

• 突破数据瓶颈：解决了心血管领域许多疾病缺乏专用风险模型和标签数据稀缺的问题，提供了一种通用的基础模型范式。
• 降低临床门槛：通过“以 ECG 代 MRI"的跨模态学习，使得在无法进行昂贵 MRI 检查的基层医疗机构或大规模人群筛查中，也能获得高精度的心血管风险评估。
• 揭示病理机制：模型学习到的表征不仅用于预测，还能从 ECG 中推断出心脏结构参数，为研究心脏结构与疾病的关系提供了新工具（特别是在缺乏影像数据的队列中）。
• 推动精准医疗：证明了多模态预训练能捕捉比单一模态或传统风险因素更全面的心脏健康状态，为未来的心血管精准预防和治疗提供了强有力的技术支撑。

总结：CARDIAC-FM 通过多模态对比学习，成功将心脏 MRI 的结构功能信息“蒸馏”到 ECG 基础模型中，实现了在仅需 ECG 数据的情况下，对多种心血管事件进行高精度、泛化性强的预测，具有极高的临床转化潜力。