🤖 machine learning

A foundation model with multi-variate parallel attention to generate neuronal activity

本文介绍了 MVPFormer，一种用于人类电生理学的生成式基础模型，该模型利用一种新颖的多变量并行注意力（MVPA）机制来有效处理异构通道配置，在癫痫检测和解码任务中实现了最先进的性能，同时发布了最大的公开可用 iEEG 数据集 SWEC，以支持未来的研究。

原作者： Francesco Carzaniga, Michael Hersche, Abu Sebastian, Kaspar Schindler, Abbas Rahimi

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Francesco Carzaniga, Michael Hersche, Abu Sebastian, Kaspar Schindler, Abbas Rahimi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类大脑是一个庞大且复杂的电信号网络，不断地进行放电和通信，以维持思维、运动和感觉。为了理解这一机制如何运作，并检测其何时发生故障，医生经常将微小的电极直接置入颅内。这种被称为颅内脑电图（iEEG）的程序，能够以惊人的精度捕捉大脑的原始电活动。然而，它产生的数据在分析上是出了名的困难。不同于使用固定传感器组的标准心电监护仪，iEEG 的设置对每个患者都是独一无二的。一名医生可能会在一个人脑中放置 20 个电极，而在另一个人脑中放置 80 个，这取决于怀疑癫痫发作起源的位置。这种变异性意味着通道的数量及其特定位置因人而异，使得传统的计算机模型几乎无法从一个患者身上学习知识并将其应用到下一个患者身上。多年来，这种缺乏统一方法来解读这些变化的电信号图谱的问题，成为了开发能够帮助医生更有效地诊断和治疗癫痫的智能工具的主要障碍。

现在，一组研究人员构建了一种新型的人工智能，专门旨在克服这一障碍。他们创建了一个名为 MVPFormer 的系统，它充当了人类脑活动的“基础模型”。可以将其想象为一个通用的学习者，能够阅读大脑的电信号语言，无论连接了多少个传感器或它们被放置在何处。该系统的核心是一种被称为“多变量并行注意力”的新型信息处理方式。这种方法并没有试图将每个患者独特的电极布局强行塞入一个单一、僵化的网格，而是允许计算机同时从三个独立的维度来观察数据：它分析信号本身的内容、事件发生的时间，以及不同通道之间的空间关系。通过分离这些元素，该模型可以学习脑活动的底层模式，而无需知道每个电极的精确物理位置。它学会了识别大脑的一个部分发出的信号如何与另一部分相连，即使这两个部分相距甚远，它仅仅是通过观察电波如何传播和相互作用来实现这一点。

为了教导这个系统，研究人员需要海量的数据，但此类脑电记录的大型公开数据集一直非常稀缺。作为回应，他们发布了 SWEC iEEG 数据集，这是有史以来向公众开放的最大同类数据集。该数据集包含了来自 68 名不同患者的近 10,000 小时记录，这些数据是在临床环境中经过十余年收集而成的。它包括数千小时的正常脑活动记录以及数百次记录在案的癫痫发作。研究人员在这些数据的部分内容上训练了他们的模型，教它预测大脑电信号在几秒钟后的样子。这一训练过程迫使模型理解脑活动随时间演变的复杂动态。训练完成后，他们将模型测试在从未见过的患者身上，要求它执行两项关键任务：首先，检测癫痫发作是否正在发生；其次，解码特定的认知任务，如识别语音或音量。

结果令人瞩目。当被要求在这些新患者中识别癫痫发作时，该模型的表现达到了人类专家的水平。在医学领域，专家们对于癫痫发作的确切起始和结束时间往往存在分歧，但该模型与医生的吻合度之高，足以被视为专家级表现。它成功地识别了各种不同患者的癫痫发作，即使这些患者具有非常不同的电极设置和癫痫模式。此外，该模型的表现优于依赖旧有数据处理方法的现有最先进系统。这些旧系统在面对新的、未见过的患者时往往会完全失效，因为它们无法泛化所学知识。然而，新模型保持了其准确性，证明了它学习的是大脑活动的根本规则，而非仅仅记住了特定的患者设置。它在解码其他脑功能方面也表现出色，例如区分不同的声音音量或识别一个人何时开始说话，在这些领域也超越了以往的模型。

研究人员还测试了这种新方法是否能在特定脑信号语境之外发挥作用，将其应用于标准的时间序列数据，如天气预报和能源消耗记录。在这些通用任务中，该模型的表现达到或超过了现有的最佳工具，这表明他们开发的方法是一种强大的、灵活的工具，适用于分析任何随时间变化且涉及多个来源的复杂数据。至关重要的是，团队发现模型从原始数据中学习的能力是必不可少的；一个未经预先训练去预测未来脑状态的模型，在执行癫痫检测任务时的表现明显较差。这表明，初始阶段的学习——即预测大脑下一步动作的过程——对于构建一个能够真正理解人类生理复杂性的系统至关重要。

通过向公众发布该模型和庞大的数据集，研究人员为该领域提供了一个新的基础。他们证明了构建一种能够应对临床脑数据中混乱、多变现实的人工智能是可能的，且不需要为每个患者准备完美的标准化设置。该系统不需要知道患者电极的具体地图就能理解正在发生的情况；它能自行学习其中的联系和模式。这项工作预示着这样一个未来：计算机模型可以协助医生进行实时监测，为不同患者提供可靠的脑活动洞察，从而可能实现更快速的诊断和更好的神经系统疾病管理。这种方法的成功标志着在将大脑那些混乱的、针对特定患者的数据转化为机器可以读取并从中学习的连贯、可理解信号的过程中，迈出了重要的一步。

技术摘要：一种具有多变量并行注意力机制的生成神经活动基础模型

问题陈述

本文解决了深度学习在多变量时间序列领域中的一个根本挑战：通道异质性（channel heterogeneity）。在脑电图（iEEG）等领域，由于临床需求，不同受试者的传感器（通道）数量、位置和配置存在显著差异。现有模型通常需要针对特定受试者进行适配，或者因为依赖固定的通道位置或未考虑这种变异性的全局位置编码而导致泛化失败。此外，缺乏大规模、公开可用的 iEEG 数据集，阻碍了能够学习可泛化脑活动表示的基础模型的开发。

方法论

1. 多变量并行注意力 (MVPA)

核心技术贡献是多变量并行注意力 (Multi-Variate Parallel Attention, MVPA)，这是一种新型自注意力机制，旨在无需依赖固定通道位置的情况下，解耦内容、时间与空间依赖关系。

分解： 不同于将输入视为平坦序列的普通注意力（vanilla attention），也不同于计算昂贵的二阶相关性的双重编码注意力（dual-coded attention），MVPA 将注意力分数分解为三个加性组件：
1. 基于内容的注意力 (Content-based attention)： 纯粹基于原始段嵌入 ( $x_{c,t}$ ) 计算相似度，忽略位置信息。
2. 基于时间的注意力 (Time-based attention)： 仅取决于查询与键之间的相对时间距离 ( $t - t'$ )，在所有通道间共享。
3. 基于通道的注意力 (Channel-based attention)： 仅取决于通道间的相对空间距离 ( $c - c'$ )，在所有时间步间共享。
相对编码： MVPA 使用可学习的偏置项和相对距离编码（受 Transformer-XL 启发），而非绝对位置编码。这使得模型能够动态学习空间位置之间的隐藏连接图谱，使其对特定的电极布局具有不可知性（agnostic）。
效率： 为了处理 2D 注意力的二次方复杂度，作者采用了以下手段：
- 局部窗口 (Local windows)： 用于内容组件（侧重于最近的时间段）。
- 移位操作 (Shifting operations)： 以单次传递的方式计算相对嵌入。
- 分组查询注意力 (Grouped Query Attention, GQA) 和 FlashMVPA (基于 OpenAI Triton 实现)： 降低内存使用量和计算成本，使标准 GPU 上的上下文长度可超过 10,000。

2. MVPFormer 架构

作者推出了基于 MVPA 机制的生成式人类电生理学基础模型 MVPFormer。

架构： 基于 Llama2 架构，MVPFormer 通过基于小波的编码器（使用 db4 分解）处理 iEEG 信号以生成连续嵌入。解码器利用 MVPA 来建模依赖关系。
训练策略：
- 生成式预训练： 模型通过预测连续嵌入空间中下一个时间段的演化来预测神经活动的演变。这是通过对比损失 (contrastive loss) 函数实现的，该函数在最大化与真实未来目标相似度的同时，最小化与“混淆因子”目标（来自同一批次的随机段）的相似度。
- 微调： 对于下游任务，模型使用 LoRA (低秩适配) 在特定的分类头进行微调，仅需更新约 0.1% 的参数。

3. SWEC iEEG 数据集

为了支持 MVPFormer 的训练与评估，作者发布了 SWEC iEEG 数据集。

规模： 这是迄今为止最大的公开可用 iEEG 数据集，包含来自 68 名受试者 的 9,328 小时 记录以及 704 次发作性（癫痫）事件。
特征： 数据具有异质性，采集自各种临床来源，通道数不等（从 22 到 128 个电极）且采样率各异。数据由经验丰富的临床医生进行了完整的整理与标注。

关键结果

1. 癫痫检测 (SWEC, MAYO, FNUSA)

MVPFormer 在多个数据集上展示了专家级性能：

SWEC 数据集： MVPFormer 在 50 名未见受试者上实现了 0.61 的 Cohen's Kappa 值，达到了人类专家水平（通常为 0.53–0.58）。相比之下，SOTA 基准模型如 Brant-2、BrainBERT 以及 vanilla-attention 变体 (MV-Llama) 无法实现泛化，Kappa 值接近 0.00–0.11。
泛化能力： 该模型在包含大量噪声且受试者较少的 MAYO 和 FNUSA 数据集上保持了强劲性能，在噪声较大的 MAYO 数据集上显著优于 Brant-2（F1 分数 0.36 对比 0.19）。
消融实验： 未经过生成式预训练的纯判别式模型其 Kappa 值较低 (0.52)，验证了生成式预训练阶段对于泛化能力的必要性。

2. Brain TreeBank 解码任务

MVPFormer 在来自 Brain TreeBank 的四个高层认知解码任务（音量、音高、起始、语音）上进行了评估。

它在音量 (volume) 和 音高 (pitch) 任务上超越了所有 vanilla-attention 基准模型 (Brant, BrainBERT, MV-Llama)。
它在起始 (onset) 和 语音 (speech) 任务上达到了 SOTA 性能，表现优于显式利用绝对电极位置的模型 (带有编码的 PopT)，证明了 MVPA 的隐式通道图谱是足够且灵活的。

3. 通用时间序列基准测试

作者在标准时间序列预测（ETTh1, ETTh2, Weather）和分类任务（EthanolConcentration, FaceDetection 等）上验证了 MVPA。

MVPA 匹配或超过了 SOTA 模型，如 PatchTST、TimesFM 和 TimeMixer。
消融研究证实，完整的 MVPA（包含内容 + 时间 + 通道组件）优于仅使用单一组件的变体，尤其是在通道数较高的数据集（如 Weather 数据集）上。

意义与主张

本文声称将 MVPA 确立为一种通用的注意力机制，能够在不牺牲局部性或泛化性的情况下处理异质性的多变量时间序列。

这项工作的核心意义在于实现了 MVPFormer，它被描述为首个开源、权重开放且数据开放的 iEEG 基础模型，具备 SOTA 临床性能。通过发布 SWEC 数据集和模型权重，作者旨在克服此前限制 iEEG 基础模型进展的数据稀缺障碍。结果表明，在大规模、异质性 iEEG 数据上的生成式预训练能够使模型学习到稳健的生理及病理脑状态表示，从而实现跨不同受试者和临床设置的零样本泛化，而此前的模型在这些场景下均表现失败。