⚡ electrical engineering

EEG-JEPA: Structured Latent Prediction for EEG Foundation Models

该论文介绍了 EEG-JEPA，这是一种结构化潜变量预测框架，通过从被遮蔽的电极-时间区域推断上下文潜变量状态，而非重建噪声原始波形，从而提升了 EEG 基础模型的性能，并在 EEG-FM-Bench 上实现了最先进的性能。

原作者： Jinhao Li, Zhiyuan Ma, Xueqiao Han, Zhongye Xia, Xinche Zhang, Shanghong Xie, Yixuan Liu, Yongjian Li, Runmin Gan, Tianlin Huo, Sen Song

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinhao Li, Zhiyuan Ma, Xueqiao Han, Zhongye Xia, Xinche Zhang, Shanghong Xie, Yixuan Liu, Yongjian Li, Runmin Gan, Tianlin Huo, Sen Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图通过一个同时接收所有信息的、充满杂音的单调广播电台来理解一座繁忙的城市：交通、风声、静电噪声以及真正的实时新闻。这就是科学家在尝试利用脑电图（EEG）读取人类大脑时面临的挑战。EEG 就像是窥探我们心灵的一个非侵入性窗口，捕捉来自头皮的电信号。它被广泛应用于从监测睡眠、诊断疾病到帮助人们通过思维控制计算机等各个领域。然而，这些信号是出了名的混乱。它们充满了“静电噪声”，比如肌肉抽动、眨眼以及记录设备的嗡鸣声，这些都混杂在真正值得关注的大脑活动之中。

为了理清这些噪声，研究人员正在构建“基础模型”——即在海量数据上进行训练的大型 AI 系统，旨在学习大脑运作的一般规律，就像儿童通过聆听成千上万场对话来学习语言一样。一个核心问题一直是：这些 AI 模型究竟应该学习什么？如果你要求一名学生填补句子中缺失的词语，他们可能会仅仅根据以往听过的最常见的词汇来进行猜测。同样，如果你要求 AI 预测缺失的部分脑电信号，它可能只会学会预测那些枯燥、可预测的背景噪声或记录设备的特定特征，而不是学习大脑真实思考的深层、可迁移的模式。你即将阅读的这篇论文正是在解决这个难题，探讨我们如何教导这些 AI 模型忽略静电噪声，并专注于真实的“故事”。

论文：EEG-JEPA

来自清华大学及其他机构的研究团队在文中介绍了一种训练这类脑电读取 AI 模型的新方法，称为 EEG-JEPA。不同于传统的尝试重建精确缺失电压波峰的方法（这就像是在嘈 {噪的房间里试图猜出歌手准确的音高），EEG-JEPA 要求 AI 根据周围的上下文来预测缺失部分的“含义”或“状态”。

可以这样理解：想象你正在读一本推理小说，但有人撕掉了其中的几页。

旧方法（掩码波形重建）： AI 被要求完全重绘被撕掉的页面，包括墨水污渍、咖啡渍以及特定的字体。结果它学到的是如何复制纸张和污渍，而不是情节。
新方法 (EEG-JEPA)： AI 被要求根据前后章节提供的线索，为缺失的页面写一份摘要。它必须弄清楚“故事”（神经结构），而不必在意具体的字体或咖啡渍（噪声和伪影）。

为了实现这一点，团队设计了一个包含三个特殊规则的“结构化”训练游戏：

预测什么（目标内容）： 模型不再猜测原始的电电压，而是猜测一个“潜在状态”（latent state）。这就像是猜测角色的“情绪”，而不是衣服的具体颜色。模型使用一个“教师”（指数移动平均编码器）来观察全局图像以生成正确答案，而“学生”模型只能看到带有缺失部分的局部信息。
在哪里预测（目标支持）： 这是该论文非常巧妙之处。大脑不仅仅是一个随机的传感器网格；它具有特定的形状和拓扑结构（例如左右半球协同工作）。团队创建了一种新的掩码策略，称为 N-MET（神经拓扑感知多尺度电极-时间掩码）。N-MET 不再像玩俄罗斯方块那样随机删除数据块，而是删除具有特定意义的块。它可能会隐藏一整条“时间带”以测试模型是否能猜出节奏，或者隐藏大脑相对两侧的一对传感器，以测试模型是否理解大脑的对称性。这迫使 AI 学习不同的大脑区域是如何相互交流的。
看多深（目标深度）： 模型不仅仅在测试结束时得到一个成绩。它在“大脑”的多个层级（编码器层）都受到监督。它必须在早期预测简单的模式，并在后期预测复杂的抽象模式。这确保了模型能够学习完整的层次结构，从简单的节律到复杂的认知状态。

研究发现

团队使用一个名为 EEG-FM-Bench 的大规模基准测试（包含从检测睡眠阶段到识别情绪和运动想象等 14 种任务）来测试 EEG-JEPA 与其他顶尖脑电 AI 模型的表现。

结果令人印象深刻。当他们冻结模型（即不针对特定任务进行重新训练，仅使用其已有的知识）时，EEG-JEPA 在 14 项任务中的平衡准确率达到了 52.94%。这是所有测试的基础模型中最高的得分，明显超过了之前的领先者 (EEGPT)。更重要的是，当他们针对特定任务进行微调时，平均准确率从 68.98% 提升到了 70.65%。

论文指出，成功的关键不仅在于拥有更大的模型，而在于改变了模型“被要求学习的内容”。通过迫使 AI 推断结构化的、高层级的状态，而不是仅仅复制原始信号，它学习到的表征在处理不同类型的脑电数据时表现得更好。

排除的可能性

作者谨慎地证明了他们的成功并非仅仅因为使用了更好的教师或不同的随机掩码。他们进行了一系列“消融实验”（通过移除系统中的部分组件来观察变化）：

他们证明了仅仅使用“潜在”目标（预测状态而非原始信号）本身是不够的；特定的掩码结构（N-MET）至关重要。
他们展示了随机掩码（以杂乱、无结构的方式隐藏数据）的表现明显逊于其神经拓扑感知的掩码。
他们证明了仅在网络的最后层进行预测，其效果不如在多个深度（L3、L6、L9 及最终层）进行监督。

总结

这篇论文并不声称已经解开了大脑之谜，但它确实提出了 AI 的一个强大新方向。它表明，如果我们希望机器理解大脑，我们不应只要求它们成为嘈杂信号的完美复印机。相反，我们应该教它们成为侦探，从噪声留下的线索中推断出神经活动的隐藏故事。通过构建尊重大脑自然形态和层次结构的学习过程，EEG-JEPA 创建了一个比以往任何模型都更擅长将其知识迁移到新的、现实世界的脑电任务中的模型。

技术摘要：EEG-JEPA

问题陈述

脑电图（EEG）基础模型旨在从大规模无标签数据中学习可重用的表示，以支持包括临床监测、脑机接口和认知神经科学在内的多种下游应用。然而，现有的预训练策略面临一个根本性的局限：模型应该预测什么？

目前主流的方法（如掩码波形重建，例如 CBraMod）直接对带有噪声的原始信号进行监督。作者认为，这会促使模型去恢复可预测的背景活动、采集伪影以及设备特定的模式，而不是学习能够跨任务迁移的底层神经结构。同样，对比学习和对齐类方法依赖于对正负样本对或信号变换的假设，而这些假设可能并不具备任务无关性。虽然潜变量预测（Latent Prediction）通过在表示空间中运行提供了一种替代方案，但现有的 EEG 研究尚未展示出一致的迁移改进，也未明确定义如何构建潜目标（Latches），以强调跨通道和时间尺度的可重用神经结构。

方法论：EEG-JEPA

作者引入了 EEG-JEPA，这是一个结构化潜变量预测框架，它将预训练从恢复缺失的测量值转向从结构化的电极-时间上下文（electrode–time context）中推断潜状态。该框架由三个耦合的设计维度驱动：

1. 目标内容：EMA 上下文状态

EEG-JEPA 预测的是上下文潜状态，而非原始电压样本。

目标编码器（Target Encoder）： 一个指数移动平均（EMA）编码器处理完整的 EEG 切片，以生成参考表示。
上下文编码器（Context Encoder）： 一个独立的编码器处理相同的切片，但将目标补丁（patches）置零（即掩码处理）。
预测器（Predictor）： 预测器仅利用可见的上下文表示和位置查询（positional queries）来推断目标潜状态（由 EMA 编码器产生）。这迫使模型整合来自完整输入的信息，以推断掩码区域的状态，而非仅仅是插值局部信号值。

2. 目标支撑：神经拓扑感知的多尺度电极-时间掩码（N-MET）

为了应对 EEG 特有的时空语义，掩码策略超越了随机补丁采样。N-MET 根据六个原语（primitives）选择结构化目标位置：

时间条带（Temporal stripes）： 模拟缺失事件间隔，以推断形态和节律连续性。
通道条带（Channel stripes）： 模拟区域传感器丢失，以推断相邻的头皮场。
局部块（Local blocks）： 针对特定电极和时间窗口内的局部活动。
拓扑对条带（Topo-pair stripes）： 探测双侧对应性和半球不对称性。
全通道 / 全拓扑对（Full channel / Full topo-pair）： 模拟需要全局上下文信息的传感器脱落。
这种混合机制确保了模型能够在多个尺度上学习时间连续性、空间相关性和传感器鲁棒性。

3. 目标深度：分层监督

EEG-JEPA 不仅在最终的编码器层进行监督，而是在多个深度（ $L3, L6, L9$ 以及最后一层）应用监督。

机制： 预测器接收融合的分层上下文特征，并使用独立的头部来估计每个特定深度的目标。
益处： 这使得模型能够学习不同抽象层级的表示（从局部信号结构到深层上下文组织），并允许通过使用中间编码器前缀进行参数高效的迁移。

训练目标

总损失结合了：

潜变量预测损失 ( $\mathcal{L}_{latent}$ )： 在受监督深度上，预测的潜状态与目标潜状态之间的 Smooth L1 损失。
方差-协方差正则化（VCReg）： 防止特征坍缩并减少预测器输出中的冗余。

核心贡献

形式化定义： 本文将 EEG 预训练定义为一个结构化潜变量预测问题，明确定义了目标内容、神经拓扑感知支撑和表示深度，超越了简单的波形重建。
实例化实现： 作者通过 EMA 上下文目标、N-MET（编码了双侧对称性和区域丢失等神经拓扑结构）以及深度特定的分层预测实现了这一框架。
验证： 通过严格匹配的对比和消融实验，本文证明了这些设计选择共同驱动了性能提升和广泛的迁移能力。

实验结果

作者在 EEG-FM-Bench（14 个任务）和一组用于全量微调的 9 个任务上评估了 EEG-JEPA，使用了与基线模型相同的骨干网络、语料库（TUEG, TDBRAIN, HBN）和训练时长。

冻结多任务迁移： EEG-JEPA 在 14 项任务基准测试中实现了 52.94% 的宏观平衡准确率（BA）。这优于表现最好的掩码波形重建基线（CBraMod: 40.49%），并超过了其他基础模型如 EEGPT (52.15%) 和 REVE (51.50%)。
全量微调： 在协议匹配的条件下，EEG-JEPA 将 9 个任务的平均 BA 从 68.98% (CBraMod) 提升至 70.65%。在运动想象和想象语言任务中观察到的增益最为显著。
参数效率： 通过利用中间编码器前缀（L3, L6, L9），EEG-JEPA 提供了一种灵活的准确率-容量权衡，较小的前缀（例如具有 1.26M 参数的 L3）仍能达到与较大的基于重建的模型相比具有竞争力的性能（48.87%）。
消融研究：
- 将随机掩码切换为 N-MET 带来了显著提升（+1.35%）。
- 加入分层预测带来了最大的单项增益（+3.66%）。
- 多源持续学习（加入 TDBRAIN 和 HBN 数据）进一步提升了性能 2.52%。

意义与主张

论文声称，EEG-JEPA 证明了结构化潜变量预测是比直接信号重建更优越的 EEG 基础模型预训练目标。通过将学习目标从恢复噪声测量值转向从结构化上下文中推断潜状态，模型学习到的表示对噪声、伪影和领域偏移更加鲁棒。

作者强调，性能的提升不仅仅是因为更大的模型规模或更多的数据，而是源于对目标的特定设计：

N-MET 迫使模型学习神经拓扑相关的结构（例如双侧对称性）。
分层监督确保了局部信号属性和全局上下文关系能在适当的深度被捕获。

层级分析表明，EEG-JEPA 发展出了一种选择性深度组织：基础信号统计特性在浅层保持可访问，而复杂的信号内交互和跨通道关系在深层得到丰富。这种结构化组织与其在多样化临床和认知任务中表现出的卓越迁移能力相关。作者总结道，EEG-JEPA 树立了 EEG-FM-Bench 冻结迁移的新高度，并为异构 EEG 应用提供了强大的基础。