💻 computer science

EEG-LM: A Foundation Model for EEG-Based Emotion Recognition via Diffusion-Augmented Cross-Modal Alignment with Large Language Models

本文介绍了 EEG-LM，这是一个通过扩散增强对比学习将 EEG 表征与大语言模型嵌入进行对齐，从而架起脑电信号与自然语言桥梁的基础模型，由此在多个数据集上实现了最先进的性能、强大的泛化能力以及可解释的情绪识别。

原作者： Praveen Goyal, Shyam Maheshwari, Pankaj Pandey

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Praveen Goyal, Shyam Maheshwari, Pankaj Pandey

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类大脑是一个由电活动构成的广阔而嘈杂的景观，不断发射着塑造我们思想、情绪和反应的信号。几十年来，科学家们一直试图解读这种电语言以理解我们的感受，希望能构建出能直接感知我们情绪的机器。在这一任务中，最具潜力的工具之一是脑电图（EEG），它通过放置在头皮上的传感器记录这些脑波。尽管潜力巨大，但现实却极其困难。信号往往微弱，且容易受到运动或肌肉紧张的干扰。更重要的是，每个人的大脑连接方式略有不同，这意味着一个针对某人识别“快乐”而训练的计算机程序，在测试另一个人时往往会完全失效。此外，由于为这些脑电信号进行标注需要昂贵且受控的实验，研究人员一直难以收集足够的数据来教计算机如何泛化其所学知识。

现在，一组研究人员提出了一种新的方法来弥补这一差距，他们不只是将该问题视为一个信号处理挑战，而是将其视为一项翻译任务。他们开发了一个名为 EEG-LM 的系统，该系统作为一个基础模型——一个旨在学习情绪脑电活动底层结构的广泛且具有适应性的框架。该系统并非试图从有限的受试者集合中记忆特定模式，而是将大脑的原始电信号与人类用来描述感受的丰富、具象的语言联系起来。通过将混乱、嘈杂的大脑数据与清晰、语义化的文本概念相对齐，研究人员创建了一个共享空间，使计算机即使在从未见过该特定个人的脑电波时，也能理解某种情绪。这种方法表明，如果机器能够学会将脑电信号与“焦虑”或“冷静”等词汇联系起来，它就能跨越不同的人群识别这些状态，甚至在数据量极少的情况下也能实现，从而为更可靠、更具解释性的脑机接口开辟道路。

这一新方法的核心在于将三种截然不同的技术巧妙地结合在一起。首先，系统使用一种复杂的神经网络（类似于现代人工智能中使用的网络）来读取 EEG 信号，并将其转换为紧凑的数字表示。其次，它将此与一个在海量文本上训练过的大型语言模型配对。该语言模型作为一个稳定的参考点，将情绪描述转化为精确的数学坐标。研究人员随后强制要求脑电信号表示与文本描述在中间相遇，从而教会计算机特定的脑电模式对应于特定的情绪概念。为了使学习过程更加稳健（尤其是在数据匮乏的情况下），他们添加了第三个组件：一个能够生成逼真的合成脑电信号的生成工具。该工具填补了空白，使系统可以在不需要从人类志愿者那里记录数小时新数据的情况下，进行更多样化样本的练习。

当研究人员测试该系统时，结果显著优于以往的方法。他们在四个主要的公共数据集上进行了评估，这些数据集包含了来自数十名参与者的记录，使用了不同类型的设备和实验设置。在作为情绪识别标准基准的 DEAP 数据集上，新系统在识别唤醒度（arousal levels）方面的准确率达到了 92.5%，在识别效价（valence，即衡量情绪积极或消极程度的指标）方面的准确率达到了 91.8%。这些数字代表了一个巨大的飞跃，大幅超越了现有的最佳模型。该系统在其他数据集（如 SEED 和 DREAMER）上也表现出色，这些数据集使用了不同数量的传感器和不同的情绪类别。在所有案例中，那个将脑电信号与语言相联系的模型，其表现都优于仅依赖原始电信号数据的模型，证明了语言的连接为计算机的学习提供了至关重要的引导。

这项工作最引人入胜的方面在于，该系统在面对从未见过的特定数据时表现得多么出色。在一项测试中，模型在一个数据集上进行训练，然后被要求在不进行任何再训练的情况下识别另一个完全不同的数据集中的情绪，它依然保持了 85.3% 的准确率。这是一个非凡的泛化能力体现，因为旧模型在这种条件下通常会崩溃，准确率会降至 52% 左右。研究人员还探索了“零样本”（zero-shot）学习，即系统仅通过情绪的文本描述，就被要求识别一种它从未明确学习过的情绪。虽然在这种极端情况下的准确率较低，但系统能够在没有先前接触过特定类别的情况下做出任何有意义的预测，这一事实本身就表明了一种全新的灵活性。更令人印象深刻的是，当系统仅获得通常量 1% 的标记数据时，它仍能达到 78.5% 的准确率，这证明它并不需要海量的数据集就能进行有效学习。

为了确保系统不仅仅是在寻找统计学上的技巧，而是在真正学习关于大脑的知识，研究人员观察了模型内部的运作情况，以查看它在关注什么。通过使用一种可以突出不同输入重要性的技术，他们发现系统高度关注额头和头皮中心的特定通道。这些区域正是神经科学家公认的涉及注意力和情绪处理的区域，这证实了模型使用的是真实的脑电信号而非随机噪声或伪影。数据的可视化显示，系统成功地将脑电信号根据其情绪含义组织成了清晰、独立的簇，就像将不同颜色的弹珠分拣到不同的堆中一样。这种创建结构化、可解释的情绪映射的能力，让科学家们相信该模型是基于真实的神经生理模式做出决策的。

研究还检查了系统增强工具生成的合成脑电信号的质量。通过将人工信号与真实记录进行对比，研究人员发现，与以往的技术相比，这种新方法产生的数据更加真实且多样。这种高质量的合成数据帮助模型更有效地学习，充当了有限的现实世界记录的强大补充。这种数据生成技术与基于语言的对齐相结合，创造了一个不仅更准确而且对现实世界变化更具韧性的系统。研究人员指出，虽然该系统是一个重要的进步，但它还不是一个成熟的产品；它仍需要在不同的文化、设备和临床人群中进行进一步测试，以确保其在更广泛环境下的可靠性。

最终，这项工作代表了我们处理如何从大脑读取情绪这一问题的方式转变。通过将脑电信号与人类语言视为同一事物的两面，研究人员创建了一个既强大又透明的框架。该系统不仅仅输出一个标签，它还将该标签与人类可以理解的概念联系起来，使得机器的决策过程更加公开透明。这种透明度对于未来的心理健康监测或脑机接口应用至关重要，因为在这些领域，信任和清晰度是必不可少的。研究结果表明，解锁大脑情绪语言的关键可能不在于构建更复杂的信号处理器，而在于教机器学会人类情感的语言，利用我们已经掌握的词汇，去解码我们仍在努力聆听的信号。

技术摘要：EEG-LM

问题陈述

基于脑电图（EEG）的情感识别是情感脑机接口（BCI）的关键组成部分，但目前仍面临三个持久挑战：

数据稀缺性： 为情感脑电信号进行标注需要受控实验和主观评估，这使得监督学习成本高昂且数据受限。
高变异性： EEG 信号存在信噪比低、非平稳性和高度的个体间差异。模型往往难以在不同的个体、电极配置、采样频率和实验方案之间实现泛化。
缺乏语义可解释性： 虽然深度学习模型（如 CNN、Transformer）提高了准确率，但它们学习到的潜在空间通常仅具有判别性而缺乏语义基础，导致难以根据人类可理解的情感概念来解释决策。

现有的生成式方法（如 GANs、标准扩散模型）可以增强数据，但往往缺乏 EEG 模式与情感语义之间的明确联系。相反，多模态对齐方法显示出潜力，但尚未与基于扩散的 EEG 数据增强进行充分整合。

方法论：EEG-LM 框架

作者提出了 EEG-LM，这是一个通过扩散增强对比学习将 EEG 表示与大语言模型（LLM）嵌入进行对齐的基础风格框架。该架构由四个核心组件组成：

Transformer EEG 编码器 ( $f_\theta$ )：
- 处理原始 EEG 样本 ( $x \in \mathbb{R}^{C \times T}$ )，通过输入投影、位置编码和 Transformer 块（8 个自注意力头，512 维）。
- 利用时间维度的平均池化来生成共享语义嵌入 ( $z_{EEG}$ )。
冻结的 LLM 文本编码器 ( $g_\phi$ )：
- 使用预训练的 RoBERTa-base 模型（保持冻结状态）将情感描述 ( $t$ ) 编码为文本嵌入 ( $z_{text}$ )。
- 这提供了稳定的语义目标，确保模型学习的是将神经信号与语言衍生的情感语义相对齐，而不是微调语言模型本身。
条件扩散模块 ( $D_\psi$ )：
- 实现了一个以 EEG 嵌入 ( $z_{EEG}$ ) 为条件的去噪扩散概率模型（DDPM）。
- 前向过程： 向 EEG 信号添加高斯噪声。
- 反向过程： 在 $z_{EEG}$ 的条件下重建真实的 EEG 样本。
- 目标： 最小化预测噪声与实际噪声之间的差异 ( $L_{diff}$ )，作为正则化项和数据增强机制，以提高鲁棒性。
跨模态对齐与损失函数：
- InfoNCE 损失 ( $L_{NCE}$ )： 一种对比损失，旨在最大化配对的 EEG 与文本嵌入之间的相似度，同时最小化负对的相似度。
- 监督损失 ( $L_{cls}$ )： 用于连续维度（唤醒度、效价、支配度）的均方误差（MSE）回归或用于离散类别的分类。
- 总目标： $L_{total} = \lambda_1 L_{NCE} + \lambda_2 L_{diff} + \lambda_3 L_{cls}$ 。

推理模式：

监督模式： 使用训练好的编码器进行标准的分类/回归。
零样本（Zero-Shot）模式： 通过将 EEG 嵌入 ( $z_{EEG}$ ) 与最近的文本原型 ( $g_\phi(t_y)$ ) 进行匹配来分类新的情感，而无需看到该特定类别的已标记 EEG 示例。
少样本（Few-Shot）模式： 利用文本嵌入提供的语义先验，通过极少的标记数据适应新的受试者或实验条件。

核心贡献

语言驱动的框架： 引入了第一个显式地将神经表示与 LLM 衍生的情感语义相对齐的框架，超越了闭集监督标签的限制。
扩散增强对比学习： 将条件扩散与跨模态对齐相结合，以解决数据稀缺性和跨数据集偏移问题，确保模型按情感含义而非数据集特定的统计特性来组织样本。
全面的评估： 在四个多样化的基准数据集（DEAP、SEED、SEED-IV、DREAMER）上验证了该框架，采用受试者无关划分，展示了其在监督、跨数据集、零样本和少样本场景下的最先进性能。

实验结果

该模型在 DEAP、SEED、SEED-IV 和 DREAMER 数据集上与包括 SVM、EEGNet、TSception、GANs、DDPM 和 Graph Transformers 在内的基线模型进行了对比评估。

监督性能： EEG-LM 在所有数据集上均达到了最先进的准确率：
- DEAP： 92.5%（唤醒度），91.8%（效价）。
- SEED： 91.2%。
- SEED-IV： 89.5%。
- DREAMER： 88.5%。
- 这些结果显著优于最佳的非语言基线模型（例如，在 DEAP 唤醒度上提升了 18.3%）。
泛化能力：
- 跨数据集： 在 DEAP 上训练并在 SEED 上测试，无需微调，EEG-LM 实现了 85.3% 的准确率（相比之下，EEGNet 为 52.1%），表明其对数据集特定采集特征的依赖程度降低。
- 少样本： 仅使用 1% 的标记数据，EEG-LM 在 DEAP 唤醒度上实现了 78.5% 的准确率，保留了全监督模型 84.9% 的性能。
零样本： 在没有任何目标类别标记 EEG 示例的情况下，实现了 25.3% 的唤醒度和 22.8% 的效价准确率，证明了文本原型用于推理的可行性。
消融实验：
- 去除扩散模块导致准确率下降 4.3%。
- 去除 InfoNCE 对齐导致准确率下降 10.0%，突显了语义对比学习的主导地位。
- 将情感描述替换为随机文本导致准确率下降 14.0%，证实了有意义语言监督的价值。
生成质量： 与 GANs 和标准 DDPMs 相比，条件扩散模块生成的 EEG 样本具有更低的 FID (15.3) 和更高的 Inception Score (4.1)，表明其具有更高的保真度和多样性。
可解释性： SHAP 分析和注意力可视化确认了模型优先考虑与注意力和情感处理相关的神经生理学合理通道（如 Fz、FCz、Cz），而非伪影。

重要性与声明

论文声称 EEG-LM 弥合了嘈杂脑电信号与自然语言之间的鸿沟，实现了透明且可泛化的情感解码。通过将 EEG 信号和情感描述映射到共享的语义空间，该框架：

克服了数据稀缺性和个体间差异性的限制。
提供了一个语义桥梁，使情感解码对于 BCI 和临床应用更加鲁棒且具可解释性。
证明了将脑电信号与自然语言描述相对齐是实现高效数据利用和泛化情感计算的一条可行路径。

作者指出，尽管结果令人鼓舞，但未来仍需测试其在不同文化和设备上的连贯性，整合多模态生理特征（如 ECG、GSR），并开发用于实时边缘部署的压缩技术。临床应用还将需要长期的对照试验。