💻 computer science

How Do Electrocardiogram Models Scale?

本文通过训练 120 个不同规模与范式的模型，系统性地研究了心电图（ECG）模型的缩放定律，揭示出尽管自监督学习在数据利用和迁移效率方面表现更优，但构建高效心电图基础模型的最佳路径在于将架构（ResNet 与 Transformer）与预训练范式进行战略性匹配，而非单纯依赖暴力扩展。

原作者： Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《心电图模型如何扩展？》进行的解读。

核心问题：更大是否总是意味着更好？

想象一下，你正在训练一个机器人来读取心电图（ECG）——那条显示你心脏节律的波浪线。在人工智能领域，有一个流行的观点叫做“扩展定律”。它的核心思想是：如果你把机器人的“大脑”（模型）做得更大，并喂给它更多的“教科书”（数据），它会自动变得更聪明。

然而，对于心脏信号而言，这条规则却令人困惑。有时，微小的机器人比巨大的机器人表现更好；有时，在 100 万次心跳上训练的机器人会失败，而在 1 万次心跳上训练的机器人却能成功。本文的作者想要弄清楚为什么会发生这种情况，并找到构建最佳心脏人工智能的完美配方。

实验：一场大规模的厨房测试

为了解决这个问题，研究人员并没有只烹饪一道菜，而是烹饪了超过 120 种不同版本的人工智能模型。

食材：他们使用了一个名为CODE的大型公开数据集，其中包含来自 160 万名患者的 230 万份心脏记录。
工具：他们测试了两种主要的“大脑”类型：
1. ResNets（残差网络）：这些就像专业厨师，擅长识别局部模式（比如心电波形中的特定凸起或凹陷）。它们效率高，善于识别形状。
2. Transformers（变换器）：这些就像讲故事的人。它们擅长理解长距离的关联和上下文，但它们通常很“贪吃”，需要海量的数据才能学会。
烹饪方式：他们尝试了两种教导这些厨师的方法：
1. 监督学习（SL）：老师给学生一本答案已经写好的教科书（带标签的数据）。“这条线代表心脏病发作。”
2. 自监督学习（SSL）：老师给学生一个缺了块的拼图，并说：“根据其余部分找出缺失的部分。”学生无需被告知具体的诊断，而是学习心脏节律的结构。

发现：什么真正有效？

1. “瓶颈”问题

当他们在已见过的数据（分布内数据）上测试模型时：

监督学习的厨师（SL）撞到了墙。 无论他们如何增大厨师的大脑，一旦教科书用完，性能就不再提升。他们受到了数据瓶颈的限制。这就像拥有一个天才学生，却只给他一本教科书；没有更多的书，他就无法变得更聪明。
自监督学习的学生（SSL）持续成长。 这些模型没有遇到瓶颈。无论它们变得更大还是拥有更多数据，它们都在持续进步。它们既渴望更大的规模，也渴望更多的数据。

2. “分布外”挑战（真正的考验）

真正的考验是看这些模型如何处理全新的、未见过的心脏状况（分布外数据）。这就像问一个只做过意大利菜的厨师突然去制作寿司。

ResNet 的优势：专业厨师（ResNets）要高效得多。为了获得相同的性能提升，Transformer 需要比 ResNet 大1.3 到 2.5 倍。ResNet 就像一辆紧凑的高性能跑车，而 Transformer 则像一辆需要更多燃料才能行驶相同距离的重型卡车。
SSL 的优势：自监督学习的学生从新数据中学习的能力比监督学习的学生高出 16 倍。因为它们学习的是心脏的“语言”，而不仅仅是具体的答案，所以它们的泛化能力更强。
迁移效率：当转移到完全不同的任务（如预测患者性别或检测结构性心脏病）时，SSL 模型在知识迁移方面的表现比 SL 模型高出 7.6 倍。

3. “甜蜜点”

论文发现，最佳结果并非仅仅来自“蛮力”堆砌规模。

小到中等规模：使用自监督学习（SSL）训练的 ResNets 是明确的赢家。它们最高效且最准确。
超大规模：如果你追求极其巨大的规模（数亿个参数），Transformer（SSL）最终会追上并超越 ResNets。但对于大多数实际用途而言，ResNet-SSL 组合是最有效的路径。

成功的“配方”

作者得出结论：构建一个优秀的心电图基础模型，不仅仅是把模型做得更大或购买更多数据。关键在于将正确的工具与正确的教学方法相匹配。

不要只是给监督模型增加数据：如果你使用标准的“教科书”方法，增加数据最终会停止产生帮助。
使用自监督学习：让 AI 先自己学习心脏的模式。这使其在处理新的、未见过的医疗问题时表现更好。
选择正确的架构：对于大多数规模而言，ResNet（专业厨师）比 Transformer（讲故事的人）更高效。只有当你拥有海量资源时，才应该切换到 Transformer。

总结类比

想象你正在训练一名侦探来解决心脏犯罪。

监督学习是给侦探一份 10,000 个已破案件的清单。他们能很好地背诵这份清单，但如果出现一种新型犯罪，他们就会束手无策。
自监督学习是给侦探一个包含所有犯罪现场照片的图书馆，并让他们找出缺失的拼图。他们学会了犯罪是如何发生的。
ResNets是带着放大镜的侦探（擅长细节）。
Transformers是带着广角镜头的侦探（擅长大局）。

论文指出：给带着放大镜的侦探（ResNet）提供“找出缺失拼图”的训练（SSL）。 这种组合创造出了最高效、最适应且最强大的心脏信号侦探，而无需建造一个大到无法放入房间的侦探。

技术摘要：心电图模型如何扩展？

问题陈述

尽管扩展定律已成功为自然语言处理（NLP）中的基础模型建立了框架，但其在心电图（ECG）模型中的适用性仍缺乏充分表征。心电图领域近期的实证观察结果不一致：一些研究表明，增加模型或数据集规模会带来收益递减或非线性回报，而另一些研究则显示，紧凑模型的表现可显著优于更大的预训练模型。现有文献往往未能解耦架构归纳偏置（例如 CNN 与 Transformer）与预训练范式（监督学习 [SL] 与自监督学习 [SSL]）的耦合效应。因此，架构、范式以及随规模增长的预期改进的作用仍不明确，导致从业者缺乏关于如何分配计算资源以构建有效心电图基础模型的清晰指导。

方法论

为填补这些空白，作者对超过 120 个模型进行了系统性研究，这些模型的参数量从 2 万到 2 亿不等。研究使用CODE 数据集（230 万条记录，160 万患者）作为主要预训练来源，并使用MIMIC-IV 数据集来研究标签扩展。

实验设计解耦了两个主要变量：

架构：比较了两个代表性系列：
- ResNet：一种为心电图信号调整的 1D 卷积架构，以其与信号形态一致的局部归纳偏置而闻名。
- Transformer：一种为心电图调整的 vanilla Transformer 骨干网络（具体为 HeartLang），能够捕捉长程时间依赖关系。
预训练范式：
- 监督学习（SL）：在专家标注的标签（例如心律紊乱）上进行训练。
- 自监督学习（SSL）：通过 ResNet 的对比多片段编码（CMSC）和 Transformer 的掩码自编码实现。

作者在以下场景下评估了这些配置：

分布内（ID）：CODE 数据集的 10% 保留子集。
分布外（OOD）：11 项多样化的临床任务，包括心律失常检测（CPSC2018, CSN）、结构性心脏病检测（EchoNext）、急性护理预测（MIMIC-ICU, Mortality）以及患者特征（性别）。

分析依赖于神经扩展定律（将损失建模为模型规模 $N$ 和数据规模 $D$ 的幂律）以及损失到损失的扩展定律（根据分布内损失预测分布外损失）。

主要贡献

系统性解耦：本研究首次通过隔离架构（ResNet 与 Transformer）和范式（SL 与 SSL）在广泛规模范围内的影响，联合分析了心电图模型的扩展行为。
瓶颈识别：作者刻画了不同配置的具体瓶颈，揭示 SL 模型主要在分布内受限于数据瓶颈，而 SSL 模型在两个维度上均表现出稳健的扩展性。
效率指标：本文量化了不同配置的效率增益，提供了参数效率（ResNet 与 Transformer）和数据效率（SSL 与 SL）的具体倍数。
计算最优分配：研究推导了针对每种架构 - 范式组合，在模型规模和数据集规模之间分配固定计算预算的最优策略。

主要结果

1. 扩展行为与瓶颈

分布内（ID）：SL 模型在参数扩展方面表现出急剧饱和（受数据集规模限制），而 SSL 模型未显示出立即饱和的证据，遵循无不可约损失的幂律。
分布外（OOD）：
- 架构偏置：ResNet 的参数效率比 Transformer 高 1.3 到 2.5 倍。为了达到与 ResNet 参数增加 10 倍相同的损失降低效果，Transformer 需要显著更大的扩展（SL 需 19 倍，SSL 需 288 倍）。
- 范式偏置：SSL 的数据效率比 SL 高16 倍。SSL 在两种架构上均持续提高了分布外数据扩展效率。

2. 迁移效率（损失到损失）

与 SL 相比，SSL 模型表现出更优越的迁移效率。控制分布内改进如何转化为分布外增益的迁移指数（ $\kappa$ ）在 SSL 中显著更高。
对于未见过的临床任务（例如结构性心脏病检测、性别预测），SSL 的迁移效率比 SL 高出7.6 倍。
SL 模型通常在其分布内损失下限附近运行，这意味着进一步的分布内改进对分布外泛化的回报递减。

3. 绝对性能与规模

ResNet 主导：在观测到的规模范围内，基于 ResNet 的模型通常实现最低的绝对分布外损失，突显了其对心电图信号的强架构归纳偏置。
大规模下的 Transformer-SSL：虽然 ResNet 在中小规模下占据主导地位，但Transformer-SSL模型在非常大的模型规模下（接近 2 亿参数）最终会超越 ResNet-SSL，这表明 Transformer 需要显著的规模来克服其初始的参数低效性。
标签扩展：增加监督标签的数量可改善分布内性能，但根据标签组成的不同，其分布外增益变化极大。简单地扩展监督标签不如 SSL 带来的效益显著。

4. 计算最优分配

SL 模型：在最优分配下，ResNet-SL 和 Transformer-SL 均将超过 70% 的边际计算资源分配给数据，而非模型规模。
SSL 模型：Transformer-SSL 反转了这一模式，将约 73% 的边际计算资源分配给模型规模，倾向于更大的模型而非更大的数据集。

意义与主张

本文主张，构建有效心电图基础模型的路径不在于对单一配置进行“蛮力”扩展，而在于架构与范式的战略对齐。

解决文献冲突：本研究通过表明非单调扩展行为源于架构与范式的特定耦合，解决了以往文献中的不一致性。例如，某些研究中小型模型无法扩展的失败，可归因于使用了受数据限制的架构进行监督学习；而其他研究中紧凑模型的成功，则可能源于 ResNet 在低数据环境下的固有高效性。
实践指导：研究结果表明，对于标签数据有限或需要泛化到未见临床条件的任务，自监督学习是更优越的范式。此外，虽然 Transformer 在超大规模下表现强大，但ResNet在大多数实际规模下提供了更优越的参数效率。
更广泛的影响：作者指出，关于非单调扩展以及解耦架构与范式偏置重要性的这些见解，很可能延伸至其他生物信号模态，如脑电图（EEG）和光电容积脉搏波（PPG）。

研究结论指出，心电图领域的有效扩展需要认识到“一刀切”并不适用；最优策略高度依赖于可用的计算预算、具体的临床任务（分布内与分布外）以及预训练目标的选择。