🤖 machine learning

LSTrans: Efficient Knowledge Transfer for Lightweight and Automated ECG Classification

该论文提出了 LSTrans，这是一种轻量级的混合模型，它结合了专门的一维卷积主干网络与 Transformer 编码器以及知识蒸馏技术，旨在实现适用于资源受限的可穿戴设备的、高效且高灵敏度的心电图（ECG）分类。

原作者： Yi Zhao, Jiajun Gao, Chenyang Xu, Yuxi Zhou, Hao Wang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Zhao, Jiajun Gao, Chenyang Xu, Yuxi Zhou, Hao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的心脏就像一个繁忙的管弦乐队，而心电图（ECG）就是记录每一次跳动的乐谱。医生需要能够瞬间读懂这些音乐以发现问题，但那些在识别方面表现极佳的“超级智能”计算机大脑（深度学习模型）通常过于沉重且耗电，无法装进像智能手表这样微小的可穿戴设备中。它们就像试图在手腕表电池上运行的超级计算机——这根本行不通。

这篇文章的作者 Yi Zhao 及其团队构建了一个全新的解决方案，名为 LSTrans。你可以将 LSTrans 想象成一个“轻量级侦探”，专门为这些小型设备设计，且不会丢失其敏锐的观察力。

侦探的工具箱：一种混合方法

LSTrans 没有仅仅使用一种类型的工具，而是使用了一种聪明的组合。它拥有一个 1D-LSNet 骨干网络，这就像一组专门的放大镜，直接观察原始的心跳信号。

“偶数层”（Even Layers）： 它们充当高速摄像机，捕捉音乐中细微、突然的故障（微观形态变化），比如漏跳或异常的波形。它们使用特殊的滤波器来捕捉这些尖锐的细节，而不被背景噪声所干扰。
“奇数层”（Odd Layers）： 它们充当广角镜头，退后一步观察随时间变化的节奏大局（宏观趋势）。它们使用一个“大核感知”（Large-Kernel Perception）模块来理解心跳的长程故事，将相距较远的特征点连接起来。

为了确保这个侦探不会错过大局，他们在最后添加了一个 Transformer 编码器。如果说放大镜是眼睛，那么 Transformer 就是大脑，它负责将所有线索联系起来，以理解心跳节奏的完整故事。

“老师-学生”技巧

这里是最聪明的部分：你如何教会一个微小、轻量级的模型变得像一个庞大、沉重的模型一样聪明？作者使用了 知识蒸馏（Knowledge Distillation） 技术。
想象一位名厨（“老师”模型），他花费多年时间学习烹饪完美的菜肴。作者并没有试图把名厨缩小到进入一个小厨房，而是让厨师写了一本详细的食谱，并教导一名年轻学徒（“学生”模型，即 L1Trans）如何烹饪。

同质蒸馏（Homogeneous Distillation）： 老师和学生具有相同的结构，只是规模不同。这就像资深学徒在指导初级学徒。
异质蒸馏（Heterogeneous Distillation）： 老师是一个完全不同的、庞大的架构（例如巨大的 ResNet）。学生从这位“沉重”老师的智慧中学习，有效地窃取了老师的经验，从而在保持轻量化的同时变得聪明。

研究发现，异质（Heterogeneous） 方法（向巨大的、不同的老师学习）效果最好。这表明，从一个大规模模型中借鉴“结构先验”（即深层的、过度参数化的习惯），有助于微小的学生捕捉到它原本可能会错过的罕见且棘手的各类心脏问题。

“低秩”捷径

为了防止模型在训练过程中变得过于沉重，他们使用了 低秩自适应（Low-Rank Adaptation, LoRA） 技术。
把模型想象成一个巨大的图书馆。通常，要更新这个图书馆，你必须重写每一本书，这既费时又费纸。LoRA 就像是在书的边缘贴上几张便利贴，而不是重写整本书。作者发现，对于模型的“局部”部分（即放大镜），他们只需要极少量的“便利贴”（秩为 4）；但对于“全局”部分（即大脑），他们需要稍多一些（秩为 16）。这保持了模型的小巧，并防止了它“忘记”已有的知识。

结果：快速、轻量且准确

团队在三个主要数据集（G12EC、PTB-XL 和 Chapman-Shaoxing）上对 12 导联心电信号进行了测试。

性能： LSTrans 的“异质”版本实现了平均 AUC 为 0.949，且 Fβ=2 分数为 0.716。论文指出，这足以与庞大的 ECG-Founder（拥有 3068 万个参数）相媲美，而 LSTrans 的学生模型仅使用约 319 万个参数。
效率： 这是它的闪光点。与沉重的 ECG-Founder 相比，LSTrans 将峰值内存占用降低了约 36.4%，运行速度快了近 3 倍。与另一种轻量化方法 H-Tuning 相比，它减少了 41.09% 的内存占用，并将训练速度提升了 4.77 倍。
安全性： 在医学领域，人们非常关心不要漏诊（假阴性）。通过使用特定的指标 Fβ=2（该指标将“漏诊”视为“误报”的两倍严重程度），LSTrans 展示了显著的改进，在特定数据集上比其他轻量化方法减少了约 11% 的错误。

他们认为“不是”什么

论文非常明确地指出了哪些方法对于这一特定目标并不奏效：

非 2D 图像： 他们反对将 1D 心跳信号转换为 2D 图像（如频谱图）。他们认为这会导致“相位对齐误差”，并增加不必要的计算负担。他们的模型直接作用于原始 1D 信号。
非简单缩减： 仅仅将一个大模型变小（简单的压缩）往往会导致错过细微的心脏异常。他们复杂的“交错式”设计对于保持高灵敏度是必要的。
非“魔法”推理数据： 作者承认他们尚未测量在实际可穿戴硬件上的速度。他们的速度数据是基于在强大的 NVIDIA RTX 4090 GPU 上进行训练得出的。他们指出，实际的边缘设备可能会面临其动态卷积方法带来的不同挑战。

核心结论

作者认为，LSTrans 在“足够聪明以捕捉心脏问题”与“足够轻量以运行在未来可穿戴设备上”之间提供了一种“竞争性的平衡”。他们通过在标准数据集上的广泛实验证明了这一点：通过将专门的 1D 骨干网络与 Transformer 相结合，并利用聪明的教学方法（蒸馏）和捷径（LoRA），你可以在不携带沉重负担的情况下获得接近专家的性能。然而，他们也指出，在实际可穿戴贴片上进行现实世界的测试是下一步要确认其是否能在实验室之外发挥作用的任务。

技术摘要：LSTrans

问题陈述

在资源受限的穿戴式设备和物联网医疗（IoHT）节点上部署用于自动化心电图（ECG）分类的深度学习模型面临着显著障碍。标准的深度网络所带来的高计算成本和内存占用超出了边缘硬件的严格限制。虽然现有的解决方案试图解决这些问题，但它们往往存在特定的权衡：

复杂架构： 多分支设计（如 ECGTransForm、MTA-Net）虽然能捕捉必要的时空特征，但会产生沉重的计算开销。
范围有限： 轻量化网络（如 CrossStateECG-Lite）通常无法支持多导联、多标签的临床诊断，从而局限于单导联生物识别场景。
转换伪影： 将 1D ECG 信号转换为 2D 频谱图的方法（如 HMT-KD）会引入相位对齐误差并增加额外的计算成本。
压缩风险： 直接的模型压缩往往会导致诊断召回率下降，导致对细微形态异常的误诊（漏诊）。

因此，需要一种能够平衡高诊断敏感性（特别是针对罕见异常）与极低内存使用量及训练延迟的模型。

方法论

作者提出了 LSTrans，这是一种轻量级的混合模型，旨在高效地捕捉宏观节律趋势和微观形态变化。该框架集成了一个专门的 1D 卷积主干网络和一个 Transformer 编码器，并通过低秩自适应（LoRA）和知识蒸馏（KD）进行了优化。

1. 1D-LSNet 主干网络

LSTrans 不进行 2D 转换，而是通过层次化时间抽象直接处理原始 1D ECG 信号。其主干网络采用交错式架构，通过在偶数索引层和奇数索引层之间交替，以平衡双尺度特征捕捉：

偶数索引层（局部微观形态）： 这些层利用重参数化模块（RepVGGDW）结合挤压与激励（SE）。RepVGGDW 捕捉多尺度时间模式（例如 ST 段抬高、Q 波），并在推理阶段将其折叠为单个卷积核，实现零延迟。SE 模块动态重新校准通道权重，以抑制背景伪影并突出具有诊断意义的导联。
奇数索引层（全局上下文与噪声过滤）： 这些层采用**大核感知（LKP）和小核聚合（SKA）**模块。LKP 根据时间上下文生成动态权重，以适应非平稳信号的变化。SKA 将这些权重应用于局部高分辨率窗口，以过滤基线噪声并强调关键波峰。在最后阶段（Stage 3），引入了 1D 多头自注意力机制来建模长程依赖关系（例如不规则间隔）。

2. Transformer 集成与 LoRA

1D-LSNet 的输出被送入 Transformer 编码器，以建模长期心律依赖关系。为了确保参数效率，作者采用了低秩自适应（LoRA）：

策略性秩分配： 为卷积层分配了一个极小的秩（ $r_c=4$ ），这些层负责提取具有平移不变性的基元（如 QRS 波群），起到正则化高频噪声的作用。为 Transformer 混合器分配了更高的秩（ $r_t=16$ ），以保留全局时间动态的高内在维度。
冻结策略： 主干网络在很大程度上保持冻结状态，以保留预训练的形态学表示，仅在微调期间更新低秩适配器。这防止了灾难性遗忘并稳定了优化轨迹。

3. 知识蒸馏框架

为了将高容量教师模型的诊断专业知识转移给轻量级学生模型，研究探讨了两种范式：

同构蒸馏（KD-Homo）： 使用具有相同交错主干结构的教师模型，在相同的结构流形内实施自我精炼。
异构蒸馏（KD-Hetero）： 利用重残差网络和 Transformer 教师模型。这使得学生模型能够继承多样化的、过度参数化的结构先验，从而有效地模拟深层混合模型的表示能力。

训练目标结合了二元交叉熵损失与蒸馏损失，并通过温度因子 $T$ 和平衡超参数 $\alpha$ 进行缩放。

核心贡献

重构的 1D-LSNet： 作者将 2D 多尺度范式重构为专门的 1D 主干网络，直接处理原始 ECG 信号，在最大限度提高效率的同时保留了关键的形态学表示。
交错式架构： 这种交替块设计将用于全局上下文的动态大核滤波器与用于局部形态的多尺度、导联注意力单元相结合。这防止了下采样过程中的信号退化，并最大限度地减少了假阴性错误。
多样化的蒸馏策略： 本文系统地分析了同构和异构蒸馏，证明了结构化的教师-学生迁移能够在受限资源下有效恢复诊断敏感性。

实验结果

实验在三个 12 导联 ECG 数据集上进行：G12EC、PTB-XL 和 Chapman-Shaoxing，遵循患者不相交的 10 折交叉验证协议。

性能： LSTrans (Hetero+LoRA) 变体实现了 0.949 的平均 AUC 和 0.716 的平均 $F_{\beta=2}$ 分数。它优于专门的轻量化基准模型（如 H-Tuning 和 CE-SSL），在 $F_{\beta=2}$ 分数上分别实现了约 14.6% 和 29.5% 的相对提升。
与基础模型的对比： 尽管参数量显著较少（学生模型 3.19M vs. ECG-Founder 的 30.68M），LSTrans 的性能仍能媲美大规模基础模型，在 PTB-XL 上的宏观 $G_{\beta=2}$ 差距仅缩小至 0.036 点。
效率： LSTrans 展示了显著的效率提升：
- 与 ECG-Founder 相比，峰值 GPU 显存占用降低了约 36.4%；与 H-Tuning 相比，降低了 41.09%。
- 平均训练运行时间比 ECG-Founder 快近 3 倍，比 H-Tuning 快 4.77 倍。

重要性与局限性

本文声称 LSTrans 在诊断敏感性和资源效率之间提供了极具竞争力的平衡，使其适用于内存和功耗受限的边缘设备部署。通过结合专门的 1D 主干网络、高效的自适应技术和蒸馏技术，该框架在不损害检测细微心脏异常能力的前提下，降低了峰值显存占用和训练延迟。

作者也承认存在以下局限性：

效率评估是基于训练阶段的指标；实际在非 GPU 边缘硬件上的推理延迟尚未测量。
动态卷积中的运行时权重生成可能会在资源受限的平台上产生控制流开销。
泛化能力仍依赖于大规模预训练。

未来的工作建议侧重于优化动态算子、测量真实的边缘端延迟，并在穿戴式 ECG 贴片上进行临床验证。