🤖 machine learning

NeuroAtlas: Benchmarking Foundation Models for Clinical EEG and Brain-Computer Interfaces

本文介绍了迄今为止规模最大的脑电图基准 NeuroAtlas，该基准包含 42 个数据集和 26 万小时数据，旨在证明当前的基础模型在临床应用中尚未能持续超越监督基线或通用时间序列模型，从而凸显了采用专用临床评估指标而非标准机器学习评分的迫切需求。

原作者： Konstantinos Kontras, Trui Osselaer, Stylianos G. Mouslech, Angeliki-Ilektra Karaiskou, Guido Gagliardi, Thomas Strypsteen, Mohammad Hossein Badiei, Anku Rani, Maarten Vanmarcke, Miguel Bhagubai, Chan

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Konstantinos Kontras, Trui Osselaer, Stylianos G. Mouslech, Angeliki-Ilektra Karaiskou, Guido Gagliardi, Thomas Strypsteen, Mohammad Hossein Badiei, Anku Rani, Maarten Vanmarcke, Miguel Bhagubai, Chanakya Ekbote, Jaedong Hwang, Christos Chatzichristos, Paul Pu Liang, Maarten De Vos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个来自数千人的海量脑电波（EEG）记录图书馆。多年来，科学家们一直试图为这些脑电波构建一个“通用翻译器”——一个单一的、超级智能的人工智能模型（称为基础模型），它能够读取任何脑电波，理解正在发生的情况，并帮助医生诊断癫痫、分析睡眠，甚至通过思想控制计算机。

论文《NeuroAtlas》就像是为这些人工智能模型准备的一份大规模、严谨的“成绩单”。作者们构建了迄今为止为脑电波人工智能创建的最大测试套件，以检验这些模型是否名副其实，还是仅仅被过度炒作。

以下是他们发现的要点，使用了简单的类比：

1. 设置：一场巨大的“味觉测试”

将研究人员想象成美食评论家。他们不是品尝一道菜，而是准备了42 道不同的“菜肴”（数据集），代表四道主菜：

癫痫：检测癫痫发作（就像在脑中发现突发的风暴）。
睡眠：分析睡眠阶段（就像将一夜的睡眠整理为深度、浅度和梦境阶段）。
大脑年龄：根据大脑活动估算大脑看起来的“年龄”（就像检查引擎的声音是属于新车还是旧车）。
BCI（脑机接口）：尝试读取思想以移动光标（就像将“我想向左移动”翻译成鼠标点击）。

他们在所有这些“菜肴”上测试了20 种不同的人工智能模型（包括新的“脑特异性”模型和通用的时间序列模型）。关键的是，他们没有让模型“备考”；他们冻结了模型，只是要求它们立即开始工作，模拟现实世界中“开箱即用”的场景。

2. 重大惊喜（发现）

惊喜 #1：“脑特异性”厨师并不总是最好的。
你可能会认为，只烹饪脑电波的厨师（EEG 基础模型）会比烹饪一切的厨师（通用时间序列模型）更好。

现实情况：论文发现，“脑专家”厨师并没有 consistently 胜过“通才”厨师。有时通才做得一样好，甚至更好。事实证明，仅仅因为一个模型是专门在大脑数据上训练的，并不意味着它自动成为大脑的专家。

惊喜 #2：“成绩单”的评分具有误导性。
过去，科学家们使用标准数学分数（如“准确率”或"AUROC”）来给这些模型打分。

类比：想象给一位诊断心脏病的医生打分。如果你只计算他们猜对“生病”或“健康”的次数，你可能会忽略他们把健康人送往急诊室（误报）或漏掉真正心脏病发作的事实。
现实情况：作者发现，标准数学分数往往掩盖了真正的问题。当他们切换到临床指标（如“我们在不发出误报的情况下实际捕捉到了多少次癫痫发作？”或“模型是否正确计算了处于深度睡眠的总时间？”）时，排名完全改变了。一个在纸面上看起来像"A"学生的模型，在真实的医院环境中却变成了"C"学生。

惊喜 #3：目前不存在单一的“超级模型”。
梦想是拥有一个能完美适用于所有情况的模型。

现实情况：结果很混乱。在一个医院数据集中擅长检测癫痫发作的模型，在另一个医院的数据集中往往惨败。没有单一的“山中之王”。癫痫的最佳模型不是睡眠的最佳模型，睡眠的最佳模型也不是大脑年龄的最佳模型。
结论：目前，这些模型尚未准备好成为医生“开箱即用”的工具。它们仍然对使用的特定设备类型或特定患者群体过于敏感。

3. “大脑年龄”的转折

对于“大脑年龄”任务（预测大脑的年龄），研究人员发现了一些有趣的事情：

预测一个人的确切年龄对于复杂的人工智能模型来说很难。
然而，这些模型在判断大脑看起来是否“比实际年龄更老”（认知问题的迹象）方面表现得还算可以。
但是：即使在这里，“开箱即用”的模型也难以可靠地将健康大脑与认知受损的大脑区分开来。健康大脑与患病大脑之间的“差距”不够清晰，人工智能无法一致地识别出来。

4. “眼动追踪”陷阱（BCI）

在脑机接口测试中，研究人员发现一些模型在作弊。

类比：想象一个参加考试的学生，他不是在阅读问题，而只是在看老师指的方向。
现实情况：一些模型是在捕捉眼动或肌肉伪影（噪声），而不是实际的脑信号。当研究人员清理数据以去除这些“作弊”行为时，模型的性能显著下降，证明它们并没有按照我们希望的那样“思考”。

最终裁决

NeuroAtlas是一次现实检验。它说：

“我们构建了针对脑电波人工智能最大、最诚实的测试。结果表明，虽然这些模型很有前景，但它们还不是我们希望的灵丹妙药。它们并没有 consistently 胜过更简单的模型，当你关注真实的临床问题时它们经常失败，而且如果没有大量的定制，它们很难在不同的医院和患者之间工作。”

该论文得出结论，如果我们希望这些模型在未来帮助医生，就必须停止仅仅关注标准数学分数，转而使用现实世界的临床指标来测试模型。在那之前，“开箱即用”的统一大脑模型仍然是一个承诺，而非产品。

技术摘要：NeuroAtlas

问题陈述

基础模型（FMs）承诺提取能够泛化至下游任务的统一表征，这一能力在计算机视觉和自然语言处理等领域已取得显著成功。在脑电图（EEG）领域，已有若干基础模型被提出，旨在从大规模、多样化的数据集中推导跨域可泛化的嵌入表示。然而，现有对 EEG 基础模型的评估存在三个关键局限，掩盖了其真实的临床效用和泛化能力：

域内泛化性：大多数基准测试将临床领域简化为单一数据集，未能考虑因采集设备、电极布局、参考方案及人群表型差异所导致的显著性能波动。
指标的临床相关性：标准聚合指标（如 AUROC、准确率）往往掩盖了对现实世界部署至关重要的失效模式，例如癫痫检测中的高误报率，或在睡眠分期中无法恢复具有临床意义的睡眠结构（hypnogram）特征。
与替代方案的对比：现有基准测试通常仅将 EEG 基础模型彼此相互比较，未验证 EEG 特定预训练相对于通用时间序列基础模型（TS-FMs）以及在特定 EEG 任务上进行监督预训练的模型（Supervised-Pre）的价值。

因此，目前的 EEG 基础模型是否真正发挥了其潜力，或其性能是源于通用的时间预训练而非 EEG 特定的架构选择，仍不明确。

方法论

作者推出了NeuroAtlas，这是迄今为止规模最大的 EEG 基准测试，旨在严格评估基础模型在四个不同的临床领域中的表现：癫痫、睡眠、脑龄和脑机接口（BCI）。

基准测试范围

NeuroAtlas 涵盖42 个数据集和约260,000 小时的 EEG 数据：

癫痫：7 个数据集（约 5.8 万小时），涵盖新生儿、儿童和成人队列的癫痫发作检测。
睡眠：15 个数据集（约 20.1 万小时），包括睡眠分期、微觉醒检测、呼吸事件及认知障碍诊断。
脑龄：10 个队列（约 19.3 万小时），专注于实际年龄预测以及作为认知障碍标志物的“脑龄差”（BAG）。
BCI：17 个数据集（约 170 小时），涵盖运动想象（MI）、事件相关电位（ERP）、稳态视觉诱发电位（SSVEP）以及认知/情感任务。

评估的模型家族

该基准测试在统一的冻结编码器探针（frozen-encoder probe）协议下比较了三类不同的模型，以将预训练表征的质量与微调或特定架构的调优隔离开来：

EEG 基础模型（EEG-FMs）：10 个模型（如 BIOT、LaBraM、EEGPT、NeuroLM、REVE），通过自监督目标（掩码重建、对比学习）在 EEG 数据上进行预训练。
时间序列基础模型（TS-FMs）：3 个家族（Chronos、Moirai、MOMENT），在非 EEG 的多样化时间序列语料库上进行预训练，且不具备 EEG 特定架构。
监督预训练模型（Supervised-Pre Models）：7 个特定任务模型，在特定 EEG 任务上进行预训练（如 Seizure-TF、SleepTransformer、EEGNet），作为专用基线。

随机初始化：包含一个随机初始化的 CBraMod 版本，以将预训练的贡献与架构本身隔离开来。

评估协议

统一线性探针：所有模型均作为固定特征提取器进行评估。在每个折（fold）上，对冻结的嵌入拟合线性探针（逻辑回归或岭回归），不对骨干网络进行微调。
领域特定指标：除标准指标外，该基准测试采用基于临床的测量指标：
- 癫痫：在固定误报率下的事件级灵敏度（Event-Sens@FA），而不仅仅是窗口级 AUROC。
- 睡眠：源自睡眠结构图（hypnogram）的宏观结构特征（如 REM 潜伏期、总睡眠时间）及事件检测（微觉醒）。
- 脑龄：预测实际年龄和脑龄差（BAG），以评估认知障碍的区分能力。
- BCI：归一化平衡准确率，辅以严格的统计显著性检验（二项检验）以应对有限样本量和变化的类别数量，并包含混杂因素过滤分析以检测对非神经伪迹的依赖。

主要结果

评估得出了三个主要发现：

数据集间的不一致性：在同一领域内，模型排名和绝对性能在不同数据集间存在显著差异。在一个数据集中排名第一的模型，在另一个数据集中往往表现不佳，这使得单一数据集的基准测试成为不可靠的通用行为预测指标。
EEG 基础模型 vs. 时间序列基础模型：EEG 特定基础模型并未始终优于通用时间序列基础模型。在许多情况下，缺乏 EEG 特定架构或预训练的时间序列基础模型（TS-FMs）实现了与 EEG 基础模型相当的性能。这表明 EEG 基准测试中报道的增益可能源于通用的大规模时间预训练，而非特定领域的设计。
聚合指标的局限性：标准指标往往无法捕捉临床效用。
- 在癫痫中，具有高 AUROC 的模型可能会产生不可接受的误报率；事件级指标揭示了不同的模型排名。
- 在睡眠中，高 epoch 级一致性（Cohen's $\kappa$ ）并不能保证准确恢复具有临床关键意义的睡眠结构特征（如 REM 潜伏期）。
- 在脑龄中，能良好预测实际年龄的模型，未必能产生稳健的脑龄差以区分认知障碍患者与健康对照组。
- 在BCI中，性能往往由非神经混杂因素（如眼动）驱动；当过滤掉这些因素后，许多模型的性能降至或低于随机水平。

只有少数特定模型（ notably NeuroLM 和 REVE）在多个数据集和领域中 consistently 排名靠前，但即使它们也未展现出通用的“开箱即用”能力。

意义与主张

该论文声称，NeuroAtlas 揭示了统一 EEG 基础模型的承诺与其当前现实之间的差距。作者得出结论：

预训练模型彼此表现大致相当，仅少数特定模型具有狭窄的优势。
目前的模型尚未兑现统一、开箱即用且能在多样化临床任务和数据集中稳健泛化的 EEG 模型的承诺。
该基准测试提供了必要的数据集、预处理流程和基于临床的指标，以指导下一代统一 EEG 基础模型的发展。

该工作强调，未来的进步需要超越单一数据集评估和聚合指标，转向严格的、多数据集的测试，并采用能够反映现实世界临床决策的测量指标。