Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

本文提出了首个在 fMRI、EEG 和 MEG 三种模态上联合预训练的通用脑基础模型 Brain-OF，通过引入任意分辨率神经信号采样器、DINT 注意力与稀疏混合专家架构以及掩码时频建模目标，有效解决了多模态数据时空分辨率异质性问题，并在大规模数据集上展现了卓越的下游任务性能。

要点

这篇论文介绍了一个名为 Brain-OF 的超级大脑模型。为了让你轻松理解，我们可以把它想象成一位**“全能的脑科学超级侦探”**。

在此之前，科学家们研究大脑时，就像是用不同的“单眼眼镜”在观察：

• fMRI（功能磁共振）：像是一个高清广角相机。它能拍到大脑内部哪里在“发光”（空间分辨率高），知道具体是哪个房间（脑区）在干活，但它的照片是慢动作的，就像看延时摄影，看不清瞬间的动作。
• EEG（脑电图）和 MEG（脑磁图）：像是超高速摄像机。它们能捕捉到大脑里电流和磁场的瞬间变化（时间分辨率极高），知道大脑“下一秒”在做什么，但画面有点模糊，很难 pinpoint 具体是哪个房间在动（空间分辨率低）。

以前的困境：
以前的 AI 模型，要么只擅长看“慢动作高清图”（只懂 fMRI），要么只擅长看“瞬间模糊图”（只懂 EEG/MEG）。它们就像只会用一种眼镜的侦探，无法同时利用两种信息的优势，导致对大脑的理解不够全面。而且，因为每种数据都很稀缺，单独训练一个模型很难。

Brain-OF 的突破：
Brain-OF 是第一个**“三合一”的全能侦探**。它同时学习了 fMRI、EEG 和 MEG 三种数据。它的核心目标是：把“高清慢动作”和“瞬间模糊图”完美融合，既知道大脑哪里在动，又知道它什么时候动。

为了实现这个目标，作者设计了三个聪明的“绝招”：

1. 万能翻译官：Any-Resolution Neural Signal Sampler (ARNESS)

比喻： 想象 fMRI、EEG 和 MEG 是三个说着不同方言、语速不同、甚至用不同单位（比如一个用“米”，一个用“英寸”）的人。
作用： Brain-OF 里有一个“万能翻译官”。不管输入的数据是快是慢、是粗是细，它都能把大家强行拉到一个**统一的“语义空间”**里。它把杂乱无章的信号整理成整齐划一的“标准语言”，让后面的大脑模型能听懂所有人的话，而不需要为每种数据单独建一个部门。

2. 专家会诊团：Sparse Mixture of Experts (MoE) + DINT 注意力

比喻： 想象 Brain-OF 的核心是一个大型医院。

• 普通医生（共享专家）：负责处理大家都有的共性知识（比如大脑的基本结构）。
• 专科医生（路由专家）：专门处理特定科室的难题（比如 EEG 的专科医生专门处理电信号，fMRI 的医生专门处理血流信号）。
• DINT 注意力机制：大脑信号里有很多“噪音”（比如肌肉抖动、心跳干扰）。普通的 AI 容易“分心”，盯着噪音看。DINT 就像一位经验丰富的老中医，他能一眼看出哪些是“真脉象”（有意义的信号），哪些是“假象”（噪音），从而忽略干扰，专注于真正的病情。

这种设计避免了“顾此失彼”：以前训练模型时，如果 EEG 数据太多，模型就会变得只懂 EEG，忘了 fMRI。现在有了“专科医生”，大家各司其职，互不干扰，又能互相学习。

3. 双重透视眼：Masked Temporal-Frequency Modeling (MTFM)

比喻： 以前训练 AI 时，通常是把一段视频遮住一部分，让它猜被遮住的部分（就像玩“看图猜词”）。但这通常只看“时间”维度。
作用： Brain-OF 玩的是**“双重猜谜”。它不仅让你猜“时间”上被遮住的部分（下一秒发生了什么），还让你猜“频率”上被遮住的部分（这个动作的音调/节奏是什么）。
这就好比教学生学音乐，不仅要让他记住旋律（时间），还要让他理解和弦的构成（频率）。通过这种“时空双重建构”**，模型被迫去理解大脑信号背后更深层的物理规律，从而变得更聪明。

成果如何？

• 数据量巨大：作者收集了全球 40 多个公开数据集，涵盖了 3 万多名参与者，近 600 万个样本。
• 表现超强：在测试中，Brain-OF 在识别癫痫、诊断阿尔茨海默病（老年痴呆）、预测脑年龄、识别情绪等任务上，都打败了以前那些“单科专家”模型。
• 举一反三：最厉害的是，它不仅能处理单一数据，还能把 fMRI 和 EEG 结合起来（比如用 fMRI 的空间定位能力去修正 EEG 的模糊定位），实现了"1+1>2"的效果。

总结

Brain-OF 就像是一位博学的“大脑全才”。它不再偏科，而是通过独特的架构，将不同视角的脑科学数据完美融合。它不仅看得更清（空间），也看得更快（时间），还能在嘈杂的环境中抓住重点。

这对我们意味着什么？
这意味着未来医生可以用更便宜、更便携的设备（如 EEG 头环）结合 AI 的大模型知识，做出原本只有昂贵核磁共振（fMRI）才能做出的精准诊断。它让高精尖的脑科学研究变得更普及、更快速，有望帮助更多癫痫、抑郁症和老年痴呆患者。

技术摘要

Brain-OF：面向 fMRI、EEG 和 MEG 的全能型脑基础模型技术总结

1. 研究背景与问题 (Problem)

尽管脑基础模型（Brain Foundation Models）在神经科学任务中取得了显著进展，但现有的模型大多局限于单一功能模态（如仅针对 fMRI 或仅针对 EEG）。这种局限性导致了以下核心问题：

• 数据规模受限：单一模态的神经影像数据量远小于自然语言处理（NLP）或计算机视觉（CV）中的大规模语料库，且受限于高昂的采集成本和隐私约束。
• 互补性缺失：不同模态具有截然不同的时空特性。fMRI 具有高空间分辨率但低时间分辨率（基于血流动力学）；EEG 和 MEG 具有高时间分辨率但空间定位相对模糊（基于电磁场）。现有模型无法利用这些互补特性来构建更全面的脑活动表征。
• 异构性挑战：不同模态（甚至同一模态的不同设备）在采样率、通道数、扫描协议和时空分辨率上存在巨大差异，导致语义空间不统一，难以在单一框架下联合训练。
• 信噪比与重建目标：脑信号信噪比低，且现有的预训练目标通常将频域信息仅作为辅助特征，而非主动重建的目标，导致模型难以捕捉神经信号在时域和频域上的耦合动态。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Brain-OF，这是首个在 fMRI、EEG 和 MEG 三种主要功能模态上联合预训练的全能型（Omnifunctional）脑基础模型。其核心架构包含以下创新组件：

2.1 任意分辨率神经信号采样器 (ARNESS)

• 功能：解决输入数据的异构性问题（不同的通道数 $N$ 和时间长度 $T$）。
• 机制：采用类似 Perceiver 的交叉注意力机制（Cross-Attention），将不同分辨率的神经信号序列投影到一个共享的语义空间中。
• 优势：通过固定数量的可学习潜在 Token（Latent Tokens），将高维、变长的原始信号重采样为紧凑的固定长度序列，不仅统一了输入格式，还显著降低了计算成本，并支持多模态信号的串行融合。

2.2 骨干网络架构

• DINT 注意力机制：
  • 针对脑信号中残留噪声导致标准注意力机制关注无关波动的问题，引入了**微分 - 积分（Differential-Integral, DINT）**注意力。
  • 微分分量：通过计算两个注意力分布的差值来抑制噪声。
  • 积分分量：通过平均第一注意力图来捕捉全局重要性。
  • 两者结合，既保留了局部依赖，又增强了全局相关性，有效抑制了“注意力噪声”。
• 稀疏混合专家模型 (Sparse MoE)：
  • 为了解决不同模态语义差异导致的“模态跷跷板”效应（即优化一个模态会损害其他模态），采用了稀疏 MoE 架构。
  • 共享专家 (Shared Experts)：捕捉模态不变的特征（Modality-invariant）。
  • 路由专家 (Routed Experts)：专门处理特定模态的语义（Modality-specific）。
  • 通过动态路由和无需辅助损失的负载均衡策略，确保模型在异构语义空间中的平衡学习。

2.3 掩码时频建模 (Masked Temporal-Frequency Modeling, MTFM)

• 创新点：提出了双域预训练目标，强制模型在时域和频域同时重建原始信号。
• 流程：
  1. 对信号进行傅里叶变换（fMRI 沿空间维度，EEG/MEG 沿时间维度）。
  2. 在频域应用随机掩码，然后逆变换回时域。
  3. 在时域再次应用随机掩码。
  4. 模型需同时重建被掩码的时域片段和频域分量。
• 目的：迫使模型内化脑活动的耦合物理动态，利用 EEG/MEG 的高时间分辨率补偿 fMRI 的延迟，反之亦然。

3. 主要贡献 (Key Contributions)

1. 统一的全能框架：Brain-OF 是首个整合 fMRI、EEG 和 MEG 三种模态的脑基础模型。构建了包含 37 个公开数据集、超过 3.2 万名参与者、近 590 万样本的大规模预训练语料库。
2. 异构对齐架构：提出了 ARNESS 实现任意分辨率信号的语义统一，结合 DINT 注意力抑制噪声，并利用稀疏 MoE 解决模态间的语义冲突和负迁移问题。
3. 联合时频预训练：首创 MTFM 目标，通过双域重建机制，使模型能够学习到比单一时域重建更丰富、更具生物学意义的神经表征。
4. 大规模开源：发布了 Brain-OF Base (47.5M)、Large (331M) 和 Huge (1.7B) 三个版本，其中 Huge 版本是目前最大的开源脑基础模型之一。

4. 实验结果 (Results)

模型在 7 个下游任务（涵盖情感识别、癫痫检测、异常检测、阿尔茨海默病诊断、ADHD 识别、脑龄预测等）的 11 项实验中进行了评估：

• SOTA 性能：Brain-OF Huge 在 9 项任务中的 7 项取得了最佳性能（SOTA），平均排名为 1.8。
• 跨模态泛化：相比单模态预训练模型（如 LaBraM, BrainHarmonix-F），Brain-OF 在跨模态任务上表现出更强的鲁棒性，避免了因过度专业化导致的负迁移。
• 规模扩展性：从 Base 到 Huge，模型性能在所有任务中均呈现单调提升。例如，在 CamCAN 脑龄预测任务中，MAE 从 8.99 降至 7.87。
• 消融实验：
  • 移除 MTFM 会导致性能显著下降，证明双域重建的必要性。
  • 移除任一特定模态（如 fMRI）并不总是导致该模态任务性能崩溃，证明了模型学习到了强大的模态不变表征，且跨模态数据提供了互补信息。
• 多模态融合：在融合任务（如 fMRI+MEG）中，Brain-OF 的表现优于单模态基线，证明了其有效整合互补时空信息的能力。
• 可解释性：可视化分析显示，模型关注的脑区（如 AD 任务中的梭状回、颞叶）与已知的神经生物学特征高度一致。

5. 意义与影响 (Significance)

• 神经科学研究的范式转变：Brain-OF 证明了在单一框架下联合处理多种异构脑信号是可行的，为构建通用、可扩展的脑 AI 模型铺平了道路。
• 临床应用的潜力：通过整合 fMRI 的高空间精度和 EEG/MEG 的高时间精度，模型有望提高癫痫、神经退行性疾病（如阿尔茨海默病）和认知障碍的诊断准确性。
• 降低技术门槛：通过知识迁移，将高成本模态（fMRI/MEG）学到的知识转移到可穿戴、低成本的 EEG 设备中，加速了高性能神经技术在现实场景和便携式设备中的部署。
• 社区资源：作为目前最大的开源脑基础模型之一，Brain-OF 为缺乏大规模预训练资源的神经科学和脑机接口社区提供了可靠的骨干网络，推动了数据驱动的神经影像研究生态发展。

综上所述，Brain-OF 通过创新的架构设计和大规模多模态预训练，成功解决了脑信号异构性和数据稀缺的挑战，为下一代通用脑智能模型树立了新的标杆。