💻 computer science

Beyond full fine-tuning: enhancing generalizability in ECG foundation models' downstream adaptation

本研究表明，参数高效微调（PEFT）策略（如部分微调和 BitFit）在心电图基础模型中优于全量微调，能够显著增强泛化能力并减少过拟合，尤其是在分布外数据和资源受限的场景下。

原作者： Giuliana Monachino, Beatrice Zanchi, Georgiy Farina, Francesca Dalia Faraci

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Giuliana Monachino, Beatrice Zanchi, Georgiy Farina, Francesca Dalia Faraci

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人厨师，它已经品尝过来自世界各个角落的数百万种不同的菜肴。这个机器人（即“基础模型”）已经学习了烹饪的一般规则：热量如何影响肉类、香料如何融合，以及面团如何发酵。它是一位烹饪天才，但它还没有为你亲手做过某一道特定的菜。比如，完美的千层饼。过去的方法是让机器人回到烹饪学校，为了学习千层饼而从头开始重新学习一切。但这太慢了，会消耗大量的电力，而且有时机器人会变得过于痴迷于你的特定食谱，以至于它忘记了如何烹饪其他东西；或者更糟的是，它完美地记住了你的食谱，以至于如果更换了奶酪的品牌，它就会失败。

这篇论文介绍了一种更聪明的教导机器人的方法。与其让整个机器人重新学习一切，研究人员尝试了一种叫做“参数高效微调”（Parameter-Efficient Fine-Tuning, PEFT）的技术。你可以把它想象成给机器人一张特殊的、小巧的“小抄”，或者只是让它调整控制面板上的几个特定旋钮，同时让它庞大的大脑其余部分保持冻结状态。核心问题在于：我们能否仅通过微调这个超级聪明机器人的一小部分，就让它精通一项新任务，而不至于让它忘记其通用的烹饪技能，或者让厨房过热？他们特别好奇，这种方法是否能帮助机器人处理它从未见过的食材，比如来自不同国家的某种新型意面。

实验：调整旋钮，而非整个大脑

研究人员采用了一个在数十万条心电图（ECG）信号上训练的大型 AI 模型，并尝试教会它识别不同的心脏问题。他们将这种方法与传统的“全量微调”（Full Fine-Tuning）方法进行了对比——在全量微调中，模型会重新学习大脑中的每一个连接。研究人员对比了以下几种 PEFT 方法，这些方法就像是给机器人一个轻微的提示：

局部微调（Partial Fine-Tuning）： 解冻模型的最后几层（就像让机器人调整其最后的摆盘技巧）。
BitFit： 仅调整微小的“偏置”（Bias）数值（就像微调盐罐）。
层归一化微调（LayerNorm Tuning）： 仅调整归一化层（就像校准烤箱温度）。
线性探测（Linear Probing）： 冻结整个大脑，只训练最后的决策头（就像告诉机器人：“你已经无所不知了，只需告诉我这是不是心脏病发作”）。

他们在五个不同的心脏任务上测试了这些方法，范围从识别特定的心律不齐（房颤）到诊断 22 种不同的心脏状况。他们还使用了巨大的数据集、中型数据集，甚至极小的数据集（低至仅 1% 的数据），以观察该方法在数据稀缺时是否依然有效。

研究结果：少即是多（且更聪明）

结果非常清晰。研究人员发现，“全量微调”方法（即试图改变一切的方法）往往会导致模型过拟合（Overfit）。这就像一个学生完美地背诵了练习题的答案，但在真正的考试中却不及格，因为题目稍有变化。全量微调的模型在训练数据上表现出色，但在面对全新的、未见过的心脏信号时却会表现挣扎。

相比之下，PEFT 方法（仅调整模型极小比例的参数）展现出了神奇的效果。它们不仅节省了大量的计算资源（使过程更快、更便宜），还让模型变得更具泛化能力。

在熟悉的数据上： PEFT 模型的表现与全量微调模型一样出色，甚至更好，尤其是在数据集较小时。它们不会感到困惑或过度记忆训练样本。
在新数据上： 这正是奇迹发生的地方。当研究人员测试来自完全不同来源（分布外数据/Out-of-domain data）、模型从未见过的信号时，PEFT 模型的表现显著优于全量微调模型。通过不改变整个大脑，这些模型保留了它们对心脏信号运作方式的“通用知识”，从而能够更好地适应新情况。

有趣的是，最好的方法取决于具体的任务。对于识别单一特定心律的简单任务，最简单的微调（如 BitFit 或 LayerNorm）效果就很好。但对于复杂的任务，例如诊断 22 种不同的心脏状况，研究人员需要解锁更多的层（局部微调），以赋予模型足够的灵活性来学习复杂性。然而，即使在这些复杂情况下，PEFT 在防止过拟合方面仍然优于全量微调方法。

总结

论文指出，对于将大型 AI 模型适配到特定医疗任务（尤其是数据有限的情况下），我们不需要彻底改造整个系统。通过使用仅调整少量参数的高效技术，我们可以创建出不仅训练更快，而且在遇到看起来略有不同的现实世界数据时更加稳健、可靠的模型。事实证明，有时知道何时“不要”改变一切，才是让模型真正变得聪明的关键。

技术摘要：超越心电图（ECG）基础模型的全参数微调

问题陈述

基础模型（Foundation Models, FMs）通过自监督学习（SSL）从海量无标签数据中学习通用表示，在心电图（ECG）分析领域展现出了巨大的潜力。然而，将这些大规模模型适配到特定的下游任务时面临两个关键挑战：

计算负担： 全参数微调（更新所有模型权重）需要大量的计算资源和内存，这往往是难以承受的。
过拟合与泛化能力差： 鉴于基础模型的高度复杂性（通常包含数十亿个参数）以及特定下游任务（尤其是针对罕见病症）中标注数据经常匮乏的情况，全参数微调存在过拟合的风险。这限制了模型对未见过的域内（in-domain）数据的泛化能力，更重要的是，限制了其对发生分布偏移（distribution shifts）的未见域外（out-of-domain）数据的泛化能力。

目前 ECG 领域的适配策略主要依赖于全参数微调或线性探测（仅训练分类头）。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术虽然在自然语言处理（NLP）和计算机视觉领域已趋于成熟，但在生物信号和时间序列分析中的应用仍有待深入探索。

研究方法

本研究提出评估 PEFT 技术作为适配 ECG 基础模型的优选方案，以替代全参数微调。研究利用了一个预训练的 ECG 基础模型（基于 CNN 特征提取器和 Transformer 编码器，通过对比学习训练），并在五种下游场景下比较了多种适配策略：

二分类任务： 心房颤动（AF）检测（CinC2017, PTB-XL）和致命性心律失常（LTA）检测（VFDB）。
多分类/多标签分类任务： 包含 5 个超类和 22 个类别的心脏诊断（PTB-XL）。

评估的适配策略包括：

全参数微调（基准）： 更新所有模型参数。
部分微调（Partial Fine-Tuning）： 仅解冻最后 $N$ 个 Transformer 块（根据场景进行优化，最多 6 个块）。
BitFit： 仅更新模型的偏置项（bias terms）。
层归一化微调（LayerNorm Tuning）： 仅更新注意力模块中的 LayerNorm 参数。
线性探测（Linear Probing）： 冻结整个骨干网络，仅训练分类头。
从头开始的有监督训练（Supervised Training from Scratch）： 使用随机初始化进行端到端训练（作为参考）。

实验设计：

数据缩放： 实验使用 100%、10% 和 1% 的训练样本进行，以模拟数据稀缺情况。
评估指标： 使用 AUROC（二分类）和 Macro-AUROC（多分类）衡量性能。
泛化测试：
- 域内（In-Domain）： 在用于微调的同一数据集的留出测试集上进行评估。
- 域外（Out-of-Domain）： 直接在完全未见的数据集（AFDB, GEORGIA, CUDB）上进行推理，这些数据集未参与预训练或微调。
统计分析： 使用双侧 Mann-Whitney U 检验并结合五种不同的随机种子，以确定相对于全参数微调基准的统计显著性。

关键结果

1. PEFT 在域内数据的有效性

二分类任务： 对于 AF 和 LTA 检测，大多数 PEFT 技术（部分微调、BitFit、LayerNorm）尽管更新的参数量显著减少，但仍能达到与全参数微调相当的性能。
复杂任务： 对于多分类诊断（5 类和 22 类），参数量极少的技术（BitFit、LayerNorm、线性探测）难以达到全参数微调的性能，这可能是由于任务复杂度较高所致。然而，部分微调通过解锁足够数量的 Transformer 块，在大多数多分类场景中成功匹配了全参数微调的性能。
数据稀缺性： 在低数据量（1% 训练规模）的情况下，从头开始的有监督训练性能大幅下降，而 PEFT 方法保持了稳健的性能，且往往优于全参数微调。

2. 泛化与过拟合

降低过拟合： 与全参数微调相比，PEFT 方法一致地表现出更小的泛化差距（训练性能与测试性能之间的差异）。这表明限制可训练参数可以降低模型记忆训练数据的倾向。
域内优越性： 在若干 AF 检测场景中（例如 CinC2017-10%, PTB-XL-100%），PEFT 方法实现的测试集性能显著高于全参数微调。

3. 域外泛化能力

增强鲁棒性： PEFT 的主要优势体现在域外数据集上。PEFT 模型在未见数据（如 AFDB, GEORGIA, CUDB）上的表现频繁优于全参数微调。
保留预训练知识： 通过冻结大部分模型，PEFT 保留了在大规模预训练期间学到的通用表示，使模型对分布偏移更具鲁棒性。
反直觉发现： 在某些情况下，虽然 PEFT 模型在域内数据上的表现略逊于全参数微调（例如 PTB-XL-1% 的 AF 任务），但在域外数据上的表现却相当甚至更好。

核心贡献

本文提出了四项主要贡献：

验证了 PEFT 在 ECG 中的适用性： 证明了 PEFT 技术可以将 ECG 基础模型适配到下游任务，且性能至少与全参数微调相当。
增强了鲁棒性： 表明 PEFT 减少了过拟合，并提高了在未见域内数据上的泛化能力。
卓越的域外性能： 证明了 PEFT 的泛化优势在域外数据上更为显著，而在这些数据上全参数微调往往失效。
任务依赖型策略： 确立了最优的 PEFT 技术取决于任务复杂度和数据集特征。简单任务受益于极高效率的方法（BitFit, LayerNorm），而复杂且异构的任务则需要通过部分微调来释放足够的模型容量。

意义与主张

作者得出结论，参数高效微调（PEFT）是 ECG 基础模型的一种极具价值的全参数微调替代方案。研究认为，全参数微调并不总是最优策略，特别是在涉及模型泛化能力时。

这项工作的意义在于其促进了 ECG AI 工具在现实世界中的部署。通过降低计算成本，更重要的是通过增强对分布偏移（这是临床环境中常见的问题，即训练数据与部署数据存在差异）的鲁棒性，PEFT 解决了阻碍技术应用的瓶颈。论文强调，根据特定的下游任务和数据特征选择合适的 PEFT 策略，对于最大化模型的实用性和可靠性至关重要。