Electrocardiogram Classification with Transformers Using Koopman and Wavelet Features

该论文提出了一种结合 Koopman 算子（通过 EDMD 近似）与波变换特征及 Transformer 架构的心电图分类方法，研究发现虽然简单的特征混合未带来提升，但通过优化径向基函数字典构建的 Koopman 特征在四分类任务中表现优于波变换基线及混合系统，有效展示了将动力系统理论融入时间序列分类的潜力。

要点

这篇论文讲述了一个关于**如何更聪明地给心脏“把脉”**的故事。

想象一下，心电图（ECG）就像是一条记录心脏跳动的“波浪线”。医生需要看这些波浪线来判断心脏是否健康。以前，医生靠肉眼和经验看；现在，我们想用人工智能（AI）来自动识别。

但这有个难题：心脏跳动的信号非常复杂，有时候像平静的湖水，有时候像狂风暴雨，而且每个人的“波浪”都不一样。普通的 AI 模型有时候会“看走眼”，或者虽然猜对了，但不知道它是怎么猜出来的（缺乏可解释性）。

这篇论文的研究者们想出了一个**“双管齐下”的新招数**，把两种不同的数学魔法结合到了最先进的人工智能模型（Transformer）中。

1. 两个核心角色：小波变换 vs. 库普曼算子

为了理解他们的做法，我们可以把心脏信号想象成一首复杂的交响乐。

• 角色一：小波变换（Wavelet）—— “高明的录音师”

  • 它的绝活：它能把这首交响乐拆解成不同的“时间片段”和“音高”。它能精准地告诉你：在哪个瞬间，哪个乐器（心脏的某个部位）发出了声音。
  • 比喻：就像是一个拿着放大镜的录音师，能看清乐曲中每一个短暂的“杂音”或“变奏”。
  • 论文发现：在判断“心脏是正常还是不正常”（二分类）这种大方向的问题上，这位录音师非常厉害，表现很好。

• 角色二：库普曼算子（Koopman）—— “看透本质的物理学家”

  • 它的绝活：它不只看表面的声音，而是试图找出这首乐曲背后的**“物理规律”**。它认为，虽然心脏跳动是非线性的（很复杂），但如果我们换个角度（升维），就能用简单的线性规律来描述它。它能提取出心脏跳动的“核心节奏模式”和“能量分布”。
  • 比喻：就像是一个物理学家，他不在乎具体的音符，而是通过计算发现，这首曲子其实是由几个固定的“振动模式”叠加而成的。他能预测这首曲子未来的走向。
  • 论文发现：当任务变难，需要区分具体的心脏病类型（比如是“房颤”还是“室颤”还是“传导阻滞”）时，这位物理学家就比录音师更胜一筹。

2. 实验过程：简单的"1+1"并不等于"2"

研究者们做了一个有趣的实验，他们把这两位“专家”的数据都喂给同一个超级 AI 模型（Transformer）：

1. 方案 A（只用录音师）：效果不错，特别是判断“有没有病”。
2. 方案 B（只用物理学家）：一开始表现平平，因为物理学家需要特定的“参数设置”才能发挥威力。
3. 方案 C（简单粗暴的混合）：把录音师和物理学家的数据直接拼在一起。
   • 结果：出人意料地变差了！就像让两个专家同时对着你喊话，反而让你听不清重点。这说明他们提取的信息有重叠，直接拼凑反而产生了“噪音”。
4. 方案 D（调教后的物理学家）：研究者们没有放弃物理学家，而是像调音师一样，精心调整了他的“参数”（比如调整观察的时间窗口、基函数的数量等）。
   • 结果：大获全胜！ 经过调优后的“物理学家 + 超级 AI"，在区分四种不同心脏病时，表现最好，甚至超过了单纯的录音师。

3. 为什么这很重要？（可解释性）

这篇论文最酷的地方不仅仅是“猜得准”，还在于**“猜得明白”**。

• 普通的 AI（比如深度神经网络）像个黑盒子，它告诉你“这是心脏病”，但你不知道它为什么这么认为。
• 而使用库普曼算子的方法，就像给 AI 装了一个“透视镜”。
  • 论文中展示了，他们不仅能分类，还能把心脏信号“还原”出来。
  • 他们能看到心脏跳动的“核心模式”（比如哪些模式对应 P 波，哪些对应 QRS 波）。
  • 比喻：如果普通 AI 是告诉你“这辆车坏了”，那么库普曼方法就是告诉你“这辆车坏了，是因为第三个气缸的振动频率不对，而且这种不对的模式在数学上对应着某种特定的故障”。这让医生能信任 AI 的判断。

4. 总结与启示

这篇论文告诉我们：

1. 没有万能钥匙：对于简单的“有病/没病”判断，传统的信号处理方法（小波）依然很强；但对于复杂的“具体是什么病”，基于动力学系统理论（库普曼）的新方法更有潜力。
2. 简单的混合行不通：把两种好方法直接拼在一起，往往不如把其中一种方法打磨到极致效果好。
3. 未来方向：把“物理世界的规律”（动力学）和“人工智能的算力”（Transformer）结合起来，是医疗 AI 发展的一个非常有希望的方向。这不仅能让 AI 更准，还能让它变得更“透明”，让医生敢用。

一句话总结：
研究人员给 AI 装上了一副“物理学家”的眼镜，让它不仅能看清心脏跳动的表面波纹，还能理解其背后的振动规律，从而更精准、更透明地诊断出复杂的心脏疾病。

技术摘要

这是一份关于论文《Electrocardiogram Classification with Transformers Using Koopman and Wavelet Features》（基于 Koopman 算子和小波特征的 Transformer 心电图分类）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：心电图（ECG）分析对于检测心脏异常至关重要，但由于生理信号的复杂性和变异性，构建鲁棒的自动化分类系统极具挑战性。
• 现有局限：
  • 传统方法依赖手工设计的时频特征，泛化能力有限。
  • 深度学习模型（如 CNN、RNN）虽然性能强劲，但在可解释性和捕捉生理动力学机制方面存在不足。
  • 现有的混合方法（如小波 + 深度学习）虽然有效，但尚未探索将Koopman 算子理论（用于分析非线性动力学）与Transformer 架构相结合的可能性。
• 研究目标：探索基于 Koopman 算子提取的特征与 Transformer 结合在 ECG 分类中的有效性，并对比传统小波特征，旨在将动力系统理论融入时间序列分类。

2. 方法论 (Methodology)

该研究基于 MIMIC-IV-ECG 数据集，提出了一个统一的实验流程，主要包含以下核心组件：

A. 任务定义

1. 二分类任务：正常（Normal）vs. 非正常（Non-normal）。
2. 四分类任务：正常（Normal）、房颤（AFib）、室性心律失常（Ventricular Arrhythmia）、传导阻滞（Block）。

B. 特征提取策略

1. 小波特征 (Wavelet Features)：
   • 使用离散小波变换（DWT）提取多分辨率时频系数。
   • 作为 Transformer 的输入 Token，用于捕捉局部时频结构和瞬态事件。
2. Koopman 特征 (Koopman Features)：
   • 利用扩展动态模态分解 (EDMD) 近似 Koopman 算子。
   • 采用径向基函数 (RBF) 字典将数据映射到高维特征空间，以线性化非线性动力学。
   • 提取特征包括：特征值的实部/虚部、模态幅值、增长率等，作为 Transformer 的输入。
   • 重构分析：利用主导模态重构 ECG 信号，以验证动力学捕捉的准确性并提供可解释性（如识别 P 波、QRS 波群、T 波对应的模态）。
3. 混合特征 (Hybrid Approach)：
   • 尝试将小波特征和 Koopman 特征拼接后输入 Transformer，试图结合谱信息和动力学信息。
4. 模型架构：
   • 所有特征均嵌入潜在空间，通过 Transformer Encoder 处理长程依赖，最后通过分类头输出预测。
   • 设置了 RNN 作为原始 ECG 波形的基准模型进行对比。

C. 优化与消融研究

• 对 Koopman 特征提取流程进行了精细化调整（Ablation Study），包括优化延迟嵌入维度、RBF 中心数量、核带宽、谱截断等超参数。

3. 关键贡献 (Key Contributions)

1. 系统性评估：首次系统性地研究了基于 Koopman 的特征与 Transformer 结合在 ECG 分类中的应用。
2. 基准对比与洞察：
   • 明确了小波特征在二分类任务中的优势。
   • 发现 Koopman 特征在多分类任务中表现更佳，揭示了其捕捉复杂动力学模式的能力。
   • 证明了简单的特征拼接（混合系统）并未带来性能提升，甚至导致性能下降，暗示了特征空间的不兼容性。
3. 方法改进：提出并通过实验验证了通过精细调整 EDMD 字典参数（特别是 RBF 字典）可以显著提升 Koopman 特征的性能，使其超越小波基线。
4. 可解释性分析：利用 Koopman 算子的谱特性（特征值分布、模态幅值）对心脏动力学进行可视化解释，验证了模型学习到的模式与生理结构（如 QRS 波）的一致性。

4. 实验结果 (Results)

实验在 MIMIC-IV-ECG 数据集上进行，采用 F1 分数作为主要评价指标（5 次运行均值）：

方法	二分类 F1 分数	四分类 F1 分数	备注
小波 + Transformer	0.750	0.700	二分类表现优异，是强基线。
Koopman + Transformer (初始)	0.697	0.771	初始设置下四分类优于小波，但二分类较弱。
混合 (小波+Koopman) + Transformer	0.677	0.533	性能下降，表明简单拼接无效。
Koopman + Transformer (优化后)	0.786	0.764	最佳整体性能，超越所有其他方法。
RNN (原始波形基线)	0.782	0.700	计算成本高，扩展性差。

• 重构分析：EDMD 重构的 ECG 波形与原始波形高度重合（包括 P-QRS-T 形态和心跳间隔），证明了 Koopman 算子有效捕捉了核心动力学。
• 谱分析：Koopman 特征值主要位于单位圆附近，表明系统具有稳定的或弱阻尼的动力学；特定模态与心跳周期（QRS 波）紧密相关。

5. 意义与结论 (Significance & Conclusion)

• 理论价值：证明了将动力系统理论（Koopman 算子）与现代深度学习架构（Transformer）结合是可行的，且能有效处理非线性生理信号。
• 性能突破：通过优化 EDMD 字典参数，Koopman+Transformer 模型在二分类和多分类任务中均取得了最佳性能，优于传统的小波方法和简单的混合方法。
• 可解释性：Koopman 框架提供了比纯黑盒深度学习更丰富的可解释性，能够识别出与特定心脏事件（如去极化、复极化）对应的动力学模态。
• 局限性：
  • 目前仅在单一数据集上验证。
  • 简单的特征融合策略无效，未来需要研究更高级的融合机制（如注意力机制）。
  • 结果对超参数敏感，且缺乏临床专家的验证。
• 未来方向：将框架扩展到其他生物信号（如 EEG、PPG），开发更先进的融合策略，并进行临床验证。

总结：该论文展示了一种新颖的范式，即利用 Koopman 算子将非线性 ECG 信号转化为线性动力学特征，再结合 Transformer 的强大序列建模能力。研究表明，精心设计的 Koopman 特征提取比单纯的小波变换或原始波形输入更能捕捉心脏节律的深层动力学特征，特别是在复杂的分类任务中。