🤖 AI

Coarse-to-fine Hierarchical Architecture with Sequential Mamba for Brain Reconstruction

本文介绍了 CHASMBrain，这是一种利用双流 Mamba 架构的创新型由粗到精分层框架，旨在实现 NSD 数据集上最先进的图像到 fMRI 编码，并因果验证了人类视觉皮层中局部空间处理流与全局语义处理流之间截然不同的功能角色。

原作者： Hoang-Son Vo, Van-Hung Bui, Minh-Huy Mai-Duc, Tien-Dung Mai, Soo-Hyung Kim

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hoang-Son Vo, Van-Hung Bui, Minh-Huy Mai-Duc, Tien-Dung Mai, Soo-Hyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的大脑是一台高清摄像机，它不仅是在拍摄照片，而是在记录你每一个念头和感官体验的复杂 3D 电影。科学家们长期以来一直想制造一个“解码器”，能够通过你看到的一张照片，精准预测你的大脑是如何被点亮的。

这篇论文介绍了 CHASMBrain，这是一个全新的 AI 系统，旨在实现这一目标：将一张简单的图像转化为详细的大脑活动图谱。以下是通过简单的类比对它的工作原理进行的解释。

核心问题：嘈杂的信号

把大脑的信号（fMRI）想象成试图在嘈 la 嘈杂的体育场里听清一场特定的对话。信号确实存在，但它被静电和干扰掩盖了。以往尝试进行这种解码的方法，就像是试图通过倾听整个体育场的声音来猜测对话内容——这太模糊且不准确了。

解决方案：两阶段“由粗到精”的方法

CHASMBrain 通过扮演一名两步走的侦探来解决这个问题，将任务分解为易于处理的部分。

第一阶段：“草图”（粗略步骤）

系统并没有试图立即预测大脑反应的每一个微小细节，而是首先画出一张粗略的草图。

类比： 想象一位艺术家先勾勒出脸部的轮廓（鼻子、眼睛、嘴巴），而不去纠结毛孔或皱纹。
工作原理： AI 将数千个微小的脑部传感器（体素）组合成较大的“邻域”，称为“感兴趣区域”（ROIs）。它预测这些邻域的整体活动水平。这起到了“去噪”的作用，过滤掉了静电，使系统能更清晰地观察大局。

第二阶段：“高清晰度润色”（精细步骤）

一旦完成了草图，系统就会放大并添加细节。

类比： 现在，艺术家拿着那张草图并填充细节：皮肤的纹理、眼睛里的反光以及嘴唇的具体颜色。
工作原理： 利用一种名为 Mamba-VAE 的特殊 AI 类型，系统利用粗略草图和原始图像来预测大脑中每一个传感器的精确活动。它使用了一种“变分”方法，这就像是承认大脑具有一定的不可预测性（比如你每次看到同一张照片时，心情都会有轻微的变化），并对这种自然的变异性进行建模。

秘诀：双流思维

CHASMBrain 最独特之处在于它并不只用一双眼睛来看待图像。它采用了 双流（Dual-Stream） 设计，模拟了人类大脑的实际运作方式。

“全局”流（CLS Token）：
- 类比： 这就像看着一幅画并说：“那是一辆红色的双层巴士。”它理解场景的“大意”和“意义”。
- 角色： 该流关注“是什么”。它有助于预测处理复杂概念和物体识别的高级大脑部分的活动。
“局部”流（Patch Tokens）：
- 类比： 这就像看着画作并注意到：“这里有一个锐利的边缘，那里有一种特定的蓝色，那里有一个曲线。”它关注的是“细节”和“形状”。
- 角色： 该流关注“在哪里”。它有助于预测处理原始视觉数据（如边缘和纹理）的早期大脑部分的活动。

分离的魔力： 研究人员证明，这两个流并非随机产生的；它们在因果关系上锁定在特定的脑区。当他们强迫“全局”流去做“局部”的工作（反之亦然）时，系统在早期脑区表现得非常糟糕。这证实了该 AI 已经学会了像我们的大脑一样分离“意义”与“形状”。

为什么它比以前更好

更少的噪声，更清晰的图像： 通过将“粗略草图”与“精细细节”分离，该系统处理嘈杂脑信号的能力远强于以往的方法。
更智能的架构： 它使用了一种新型的 AI 引擎（Mamba），这种引擎在过滤无关信息方面效率更高，类似于你的大脑如何忽略背景噪音来专注于朋友的声音。
泛化能力： 该系统学习了一种“通用”的观察方式。如果你用一个人的大脑进行训练，它可以仅需极少的额外调整就能预测另一个人的大脑活动。这就像是如此熟练地掌握了语法规则，以至于你可以直接学习一种新的方言，而无需重新学习整门语言。

结果

在针对人们观看自然场景的大规模数据集进行测试时，CHASMBrain 达到了 0.429 的相关性得分。

这意味着： 在大脑解码领域，这是一个显著的飞跃。它超越了依赖简单数学（岭回归）的旧方法，甚至超越了更复杂的近期 AI 模型。
视觉证明： 当科学家使用 AI 的预测结果尝试重建原始图像时，结果出人意藉地准确。例如，它可以重建出一辆清晰的红色巴士或飞机的图像，捕捉到的主要形状和颜色比以往的尝试都要好。

总结

CHASMBrain 是一个通过先理解“大局”再填充“细节”来将图像转化为大脑活动图谱的新工具。它的成功在于模仿了大脑自身的两步过程：将我们所看到的“意义”与“视觉细节”分离。这使得它成为目前为止最准确且最具生物学真实性的解码器。

技术摘要：CHASMBrain

问题陈述

本研究解决的核心挑战是理解深度视觉表示与人类视觉系统层级组织之间的对应关系。虽然现代视觉模型在图像识别方面表现出色，但它们与人类视觉皮层功能组织的对齐程度仍是一个开放性问题。具体而言，现有的编码模型往往难以同时捕捉以下特征：

局部空间细节：对于早期视觉区（如 V1/V2 等视网膜拓扑区域）至关重要。
全局语义上下文：对于高阶皮层区域至关重要。
高内在噪声：fMRI 信号中的高噪声使得直接进行体素级回归变得复杂。

目前的方法通常依赖于手工设计的特征或缺乏生物学解释性的单体深度网络，或者无法将空间位置与特征调谐（feature tuning）解耦。

方法论：CHASMBrain

作者提出了 CHASMBrain，一种用于“图像到 fMRI”编码的新型层级两阶段框架。该架构受视觉皮层功能组织的启发，采用了由粗到精（coarse-to-fine）的策略以及双流 Mamba 设计。

1. 输入表示

模型利用预训练的 DINOv2 编码器（ViT-B/14）来提取视觉特征：

CLS Token：一个总结全局图像语义的单一向量。
Patch Tokens：一组保留局部空间结构的 256 个向量序列。

2. 第一阶段：粗略预测（双流 Mamba）

第一阶段旨在预测 感兴趣区域（ROI） 级别的去噪激活值，而非单个体素，以减轻噪声影响。

双流架构：
- 全局分支（Global Branch）：使用 Mamba 模块处理 CLS token，以建模高层语义。
- 局部分支（Local Branch）：使用更深的 Mamba 模块堆栈处理 patch tokens，以建模细粒度的空间结构。
自适应融合：通过一个可学习的门控机制动态融合两个分支的输出（ $\hat{r} = \alpha \cdot r_g + (1-\alpha) \cdot r_l$ ），使模型能够针对简单场景强调全局上下文，或针对复杂场景强调局部细节。
ROI 聚合：将体素聚类为互不重叠的组。模型并非采用简单的平均法，而是聚合每个簇内前 $p\%$ （设定为 70%）的激活值，以保留具有信息量的峰值并抑制噪声。
训练目标：结合了均方误差（MSE）、皮尔逊相关性对齐以及对比性 InfoNCE 损失，以实现图像特征与大脑响应的对齐。

3. 第二阶段：精细预测（Mamba-VAE）

第二阶段将第一阶段的粗略 ROI 预测细化为完整的体素级预测。

输入融合：将第一阶段的 ROI 预测与原始视觉特征（池化后的 patch 特征和 CLS token）相结合。
Mamba-VAE：
- 编码器：由 Mamba 模块堆栈组成，对融合后的序列进行编码。
- 变分潜在空间：VAE 头通过学习潜在分布（ $\mu, \sigma$ ）来建模 fMRI 响应中的试次间（trial-to-trial）变异性。在推理过程中，使用均值（ $\mu$ ）进行确定性预测。
双重解码：
- 整体体素解码器（Holistic Voxel Decoder）：通过可学习的查询 token（query tokens）从全局上下文中联合预测完整的体素向量。
- ROI 残差解码器（ROI Residual Decoder）：预测相对于第一阶段粗略值的局部残差，专注于精细修正。
幅度恢复：一个可学习的幅度恢复层根据刺激复杂度调整输出量级。

核心贡献

层级两阶段框架：CHASMBrain 在自然场景数据集（NSD）上实现了 0.429 的皮尔逊相关性和 0.261 的 MSE，超越了近期的深度模型（如 SynBrain、MindSimulator）以及强大的线性基线（如 Ridge Regression、DINOv2 线性探针）。
顺序式由粗到精机制：通过将稳健的语义对齐（在 ROI 层面）与细粒度的体素细化（通过 Mamba-VAE）分离，模型有效地解决了 fMRI 信号的高内在噪声问题。
因果流专业化：通过分支消融实验和输入路由实验，作者证明了其具有非对称专业化特征：
- Patch（局部）流在因果上锁定在早期视觉皮层（视网膜拓扑区域）。移除该分支会不成比例地损害早期区域的预测性能。
- CLS（全局）流为高阶区域提供了更广泛的语义上下文。
- 交换这两个流会导致显著的非对称性能下降（早期区域相对性能下降 1.9 倍），这证实了这种对应关系是因果性的，而非仅仅是相关性的。
跨受试者泛化性：所学习的骨干网络可以在个体间泛化。当在源受试者上训练并冻结后，仅通过微调轻量级的每受试者头部，模型即可在留出的受试者上达到接近受试者内的性能，这表明该表示是与受试者无关的。

结果

定量性能：在 NSD（受试者 1, 2, 5, 7）上，CHASMBrain 比最强的 DINOv2 线性探针（第 12 层）降低了 26.9% 的 MSE，并显著优于之前的研究工作（如 SynBrain 和 MindSimulator）。
定性分析：预测的 fMRI 图保留了清晰的区域边界和局部峰值，高度模拟了真实的神经响应。下游图像重建（通过 MindEye2）展示了稳健的语义保留能力，能够比基线模型更好地重建刚性物体的连贯结构。
消融实验：
- 双流 Mamba 设计在减少参数量和 FLOPs 的同时，性能优于单流 Mamba 和 Transformer。
- 基于 VAE 的细化策略显著优于基于扩散模型的细化策略，后者由于无法区分人工噪声与生物噪声而表现不佳。
- 研究确定了 30 个体素/簇的最佳聚类粒度，在第一阶段的降噪效果与第二阶段的空间分辨率之间取得了平衡。

意义

本文声称，通过引入皮层先验（cortical priors），CHASMBrain 弥合了人工视觉表示与人类神经活动之间的鸿沟。通过显式地将空间位置参数与特征权重参数分离，该模型能够直接检查感受野结构。关于流专业化的因果证据表明，该模型捕捉到了一种生物学上合理的视觉表示，镜像了人类大脑中的“哪里”（背侧/早期）和“什么”（腹侧/高阶）通路。此外，跨受试者的泛化能力表明，该模型学习的是基本的视觉原理，而非过拟合于特定受试者的噪声。

局限性

作者承认存在以下局限性：

预测上限受限于 fMRI 的生理噪声天花板（ $r \approx 0.60$ ）。
该流程依赖于偏向静态、以物体为中心的图像的冻结 DINOv2 编码器，可能缺乏时间动态特性。
由于采集协议不同，尚未进行跨数据集评估。
下游视觉重建受到 fMRI-to-image 解码器生成先验的限制。