🤖 machine learning

EEG-FuseFormer: A Transformer-Driven Feature Fusion Framework for Seizure Onset Prediction

该论文提出了 EEG-FuseFormer，一种由 Transformer 驱动的特征融合框架，该框架结合了 CNN-LSTM 和 ResNet-18 的特征，在 CHB-MIT 数据集上实现了最先进的癫痫发作预测准确率（98.85% 的召回率），展示了其在跨患者场景下的卓越性能，并评估了其在不同硬件平台上的计算效率。

原作者： Vigneshwar Hariharan (National University of Singapore), Chithra Reghuvaran (University College Dublin), Arlene John (University of Twente), Nhat Pham (Cardiff University), Omer Rana (Cardiff Universi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vigneshwar Hariharan (National University of Singapore), Chithra Reghuvaran (University College Dublin), Arlene John (University of Twente), Nhat Pham (Cardiff University), Omer Rana (Cardiff University), Deepu John (University College Dublin), Ganesh Neelakanta Iyer (National University of Singapore)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的大脑就像一个正在演奏复杂乐曲的繁忙管弦乐队。有时，这首音乐会突然跑调，导致一场“癫痫发作”。对于癫痫患者来说，这些突如其来的音乐崩溃是危险的。本论文的目标是打造一位超级聪明的“指挥家”（AI），它能在危机发生前，通过倾听乐队并大声疾呼：“警告！即将发生崩溃！”

以下是研究人员 Vigneshwar Hariharan 及其团队如何构建这位指挥家的过程，用简单的语言解释如下：

1. 问题所在：在嘈杂的房间里倾听

大脑信号（EEG）非常杂乱。它们随时间变化，而且每个人的“音乐”听起来都不一样。试图预测癫痫发作，就像试图仅仅通过观察一朵云来预测风暴何时到来一样困难。这很难，因为单一类型的云不足以说明完整的故事。

2. 解决方案：双眼侦探

团队创建了一个名为 EEG-FuseFormer 的新 AI 模型。你可以将这个模型想象成一个拥有两对完全不同的眼睛的侦探，这两对眼睛都在观察同一个大脑信号，但看到的却是不同的东西：

眼睛 1（时间旅行者）： 这只眼睛使用了一个称为 1D-CNN-LSTM 的系统。它逐秒观察原始脑电波的变化。它擅长捕捉节奏随时间的变化，比如注意到音乐是在变快还是在变慢。
眼睛 2（频率分析师）： 这只眼睛使用了一个名为 ResNet-18 的系统。但在观察之前，它会将声音转化为一张被称为“频谱图”（使用一种称为 STFT 的技术）的彩色图片。这张图片展示了脑电波的音高和能量。这就像是在看一份乐谱，以观察哪些音符被演奏得很大声。

3. 神奇的胶水：Transformer

通常，如果你有两个侦探，你可能只是让他们对答案进行投票。但本文使用了一种更聪明的方法：Transformer。

想象一位睿智的调解员坐在两名侦探之间。它不仅仅是取两者意见的平均值，而是倾听双方的观点，判断哪位侦探对某个特定线索更有信心，并将他们的见解完美地融合在一起。这种“融合”让 AI 能够看到全貌：既看到了时间维度，也看到了频率维度的脑部活动。

4. 结果：一个极其准确的预测器

团队在一段来自儿童的大脑记录（CHB-MIT 数据集）上测试了这个新 AI。

得分： 这个新的“双眼”模型极其准确，捕捉到了 98.85% 的即将来临的癫痫发作。
对比： 它比仅使用“时间旅行者”之眼或仅使用“频率分析师”之眼的表现都要好。它也击败了以往研究中许多高科技方法。

5. “陌生人危险”测试（跨患者测试）

这是一个棘手的部分：在一个针对 A 个人训练的模型在观察 B 个人时往往会失败，因为每个人的大脑音乐都是独特的。

旧方法： 如果你在 12 个人身上训练 AI，然后在第 13 个人身上进行测试且没有任何帮助，它会感到困惑并错过大约一半的癫痫发作（准确率仅为 ~59%）。
新技巧（目标自适应）： 研究人员尝试了一种“微调”技巧。他们拿出了这个聪明的 AI，给它看了一点点这个新人的脑电数据，并让它进行几分钟的“再学习”。
结果： 这种小小的调整成为了游戏规则的改变者。准确率从 59% 跃升至 93%。这就像是在案件开始前，给侦探提供了一份关于新嫌疑人习惯的快速简报。

6. 权衡：速度与智能

论文还检查了该 AI 在不同计算机上的运行速度。

简单模型 (CNN-LSTM)： 快速且轻量，像一辆自行车。如果你有一个小型、低功耗的设备（如可穿戴设备），它很合适。
复杂模型 (EEG-FuseFormer)： 超级聪明但沉重，像一辆拥有大引擎的跑车。它需要强大的计算机（如高端服务器）才能快速运行。
权衡： 你必须做出选择：你是想要绝对最高的准确度（使用运行在强大服务器上的重型模型），还是需要它在小型电池驱动设备上运行（使用更简单的模型）？

总结

论文介绍了 EEG-FuseFormer，这是一种结合了两种不同观察脑电波方式的智能 AI。当它能获得一点点帮助来学习特定患者的脑电模式时，它的效果最好。虽然它是测试过的最准确的方法，但它比简单的模型需要更多的计算能力，因此医生和工程师必须根据计划使用的场景来选择合适的工具。

技术摘要：EEG-FuseFormer

问题陈述
癫痫是一种普遍的神经系统疾病，其特征是不可预测的癫痫发作事件，对患者的生活质量构成重大风险。虽然利用脑电图（EEG）进行自动癫痫发作预测为缓解这一问题提供了潜在策略，但 EEG 信号固有的复杂性——表现出不规则的时间变化和显著的个体间差异——使得准确检测变得极具挑战性。现有方法通常依赖单一特征集或针对特定患者的模型，难以泛化到未见的患者。此外，仅仅融合多种特征可能会引入运行开销和无关数据，因此需要一种更复杂的融合机制，以平衡性能与计算效率。

方法论
本文提出了 EEG-FuseFormer，这是一个基于 Transformer 的特征融合框架，旨在通过利用 EEG 信号的时域和频域特性来预测癫痫发作。该方法结构如下：

数据集与预处理： 研究使用了 CHB-MIT 头皮 EEG 数据集，选择了 13 名患有难治性癫痫的儿童患者。原始信号经过滤波处理（1 Hz 高通和 50–60 Hz notch 陷波滤波），并被分割成 5 秒的窗口。为了解决发作间期（正常）与发作前期（癫痫前兆）之间的类别不平衡问题，采用了带有重叠段的滑动窗口法，随后进行随机欠采样。剔除了发作后阶段以避免噪声。
双通道特征提取： 该架构通过两个并行通道处理数据：
1. 通道 1（时域）： 采用 1D-CNN-LSTM 架构处理原始滤波信号。它利用两个卷积块（包含批归一化、ReLU 和最大池化）来提取空间和时间特征，随后通过两层 LSTM 来捕捉时间依赖性。
2. 通道 2（频域）： 原始信号被转换为短时傅里叶变换（STFT）谱图。这些谱图被输入到 ResNet-18 网络中（该网络经过修改，以接收 128×90 的拼接谱图输入），用于从时频表示中提取空间特征。
Transformer 融合： 来自两个通道的特征被投影到一个共同的 64 维向量空间中。随后，这些向量通过一个由两层组成的 Transformer 编码器 进行融合，每层包含一个 8 头多头自注意力机制和一个前馈网络。这使得模型能够动态地权衡来自两种架构的特征重要性。
分类： 融合后的特征通过全连接层和 Softmax 函数，将状态分类为发作间期或发作前期。
评估框架： 模型在两种场景下进行评估：
1. 患者特定（Patient-Specific）： 在同一名患者的数据上进行训练和测试。
2. 跨患者（Cross-Patient）： 在 $N-1$ 名患者的数据上进行训练，并在剩余的一名患者上进行测试。这包括一个 目标适配（Target Adaptation） 阶段，即在最终测试前，先在目标患者的一小部分数据上对预训练模型进行微调（3–5 个 epoch）。

核心贡献

新颖架构： 引入了 EEG-FuseFormer，它通过 Transformer 编码器将 CNN-LSTM 的时间建模能力与 ResNet-18 的空间特征提取能力相结合，超越了简单的拼接或注意力机制。
跨患者泛化能力： 对模型的跨患者泛化能力进行了严格评估，证明了 目标适配 与传统的无微调跨患者验证相比，能显著提高性能指标。
计算权衡分析： 全面评估了该模型在不同硬件平台（NVIDIA L4, A100 SXM4, 和 Jetson Nano）上的运行时和复杂度，强调了所提融合模型与其组成部分之间的性能-复杂度权衡。

结果

患者特定性能： 在 CHB-MIT 数据集上，EEG-FuseFormer 实现了平均 召回率（Recall）98.85% 和平均 F1 分数 97.92%，优于独立的 ResNet-18（97.53% 召回率）和 1D-CNN-LSTM（93.4% 召回率）。它还保持了较低的误报率（FAR），为 0.12/小时。
跨患者性能： 在没有适配的情况下，跨患者场景下的召回率显著下降（例如，EEG-FuseFormer 约为 59%）。然而，通过 目标适配，召回率提升至 93%，精确率提升至 82%，F1 分数提升至 88%。这较非适配基准有了实质性的改进，并优于同类设置下的其他先进方法。
与先进方法的比较： 所提出的模型在召回率方面超过了现有方法（如 Truong 等人、Zhang 等人、Jemal 等人），且相比于依赖统计矩或熵特征的方法，所需的特征工程工作量显著减少。
复杂度： 虽然 EEG-FuseFormer 提供了最高的预测精度，但与 ResNet-18（11.17M）和 1D-CNN-LSTM（0.12M）相比，它产生了更高的计算成本（12.40M 可训练参数）。运行时分析表明，虽然该模型在高端 GPU 上可行，但与轻量级架构相比，在边缘端部署时需要仔细考虑。

意义
本文声称，EEG-FuseFormer 通过 Transformer 机制有效地融合多尺度特征，为癫痫发作预测提供了一种鲁棒的解决方案。其主要意义在于证明了 特征融合结合目标适配 可以弥合患者特定准确度与跨患者泛化能力之间的差距。研究强调，虽然深度融合模型提供了卓越的性能，但特定架构的选择（CNN-LSTM、ResNet-18 或 EEG-FuseFormer）必须受限于目标应用的具体约束，即在追求高精度与计算资源（云端 vs 边缘端）之间取得平衡。