Towards Interpretable Visual Decoding with Attention to Brain Representations

本文提出了 NeuroAdapter 框架，通过直接将脑表征条件化于潜在扩散模型并引入双向可解释性分析（IBBI），在实现高质量视觉重建的同时，有效揭示了不同脑区对图像生成过程的贡献。

要点

这篇论文介绍了一项名为 NeuroAdapter 的新技术，它的核心目标是：直接“读取”人脑的视觉信号，并把它变成我们看得懂的图像，而且还能让我们明白大脑的哪些部分在“指挥”图像的生成。

为了让你轻松理解，我们可以把这项技术想象成**“从大脑的模糊日记到高清电影的翻译过程”**。

1. 以前的做法：像“传话游戏” (Two-Stage Pipeline)

在以前的研究中，科学家想从大脑里读出图像，通常要经过两个步骤，就像玩“传话游戏”：

1. 第一步（翻译）： 先把大脑复杂的电信号（fMRI 数据）翻译成一种“中间语言”（比如 AI 模型能听懂的“特征代码”或“文字描述”）。这就像把中文翻译成一种只有 AI 懂的“加密代码”。
2. 第二步（作画）： 再让 AI 根据这个“加密代码”去画出一张图。

问题出在哪？
这就好比你想让画家画一只猫，但你先告诉翻译官“画一只猫”，翻译官再告诉画家“画一只猫”。如果翻译官理解错了（比如把猫理解成了狗），画家画出来的就是狗。更糟糕的是，你根本不知道是翻译官（中间步骤）出了问题，还是画家（生成模型）出了问题。你看不清大脑的哪个区域真正决定了“猫耳朵”还是“猫尾巴”。

2. 新做法：NeuroAdapter (端到端直连)

这篇论文提出的 NeuroAdapter 就像是一个**“超级翻译官兼导演”**，它跳过了中间的“加密代码”环节。

• 直接连线： 它直接把大脑的电信号（fMRI）连接到 AI 画家的“指挥棒”上。
• 如何工作？ 想象大脑里有 200 个不同的“部门”（比如负责看颜色的、负责看形状的、负责看人脸的）。NeuroAdapter 让这些部门直接给 AI 画家发指令：“这里要画个红色的圆”，“那里要画个眼睛”。
• 结果： 不需要中间翻译，大脑怎么想，AI 就怎么画。这不仅画得更准（在测试中表现很好），而且过程透明。

3. 核心亮点：IBBI 框架 (大脑的“指挥棒”地图)

这是这篇论文最酷的地方。以前的方法画完图就结束了，但你不知道大脑的哪个部分起了作用。

作者发明了一个叫 IBBI 的“透视眼镜”：

• 大脑视角（谁在指挥？）： 它可以告诉你，在画图的每一瞬间，大脑的哪个“部门”（比如负责看人脸的区域）正在大声发号施令。就像看一场交响乐，你能看到是小提琴手在拉，还是鼓手在敲。
• 图像视角（指挥哪里？）： 它还能告诉你，大脑的这个“部门”具体在指挥图像的哪一部分。比如，当你看到“人脸”区域的大脑信号时，IBBI 会显示 AI 正在专注于画“眼睛”或“嘴巴”。

比喻：
想象你在指挥一个巨大的乐高积木搭建过程。

• 以前的方法： 你只给总指挥一个模糊的指令“搭个房子”，然后看着房子搭好，但你不知道是谁负责搭屋顶，谁负责搭墙。
• NeuroAdapter + IBBI： 你直接拿着对讲机，看着每个工人（大脑区域）在做什么。你能看到：“哦，负责‘颜色’的工人正在给墙壁上色”，“负责‘形状’的工人正在搭屋顶”。如果某个工人偷懒了（比如被屏蔽了），你立刻就能发现房子缺了哪一块。

4. 实验效果：真的能“读心”吗？

研究人员用真实的实验数据（让人看图片时的大脑扫描数据）测试了这个系统：

• 还原度高： 即使没有中间翻译，它也能还原出相当清晰的人脸、物体和场景。
• 通用性强： 它不仅能在看真实图片时工作，甚至在人**“想象”**图片（闭眼想象）时也能还原出大概的样子。
• 可解释性： 通过“指挥棒地图”，他们发现：
  • 如果屏蔽大脑中负责“低层次视觉”（如线条、颜色）的区域，画出来的图虽然模糊，但内容（比如是猫还是狗）还在。
  • 如果屏蔽负责“高层次视觉”（如物体识别、人脸）的区域，画出来的图就完全变了，甚至变成了乱码。这证明了大脑的不同区域确实分工明确。

总结

这篇论文就像给“读心术”装上了高清摄像头和说明书。
它不再只是黑箱操作地“猜”你在想什么，而是直接连接大脑和图像生成器，并且能实时展示大脑的哪些部分在“指挥”图像的生成。这不仅让“读心”更准，更重要的是，它让我们第一次能清晰地看到大脑是如何一步步构建出我们眼中的世界的。

一句话概括： 以前是“大脑 -> 翻译 -> 画图”，现在是“大脑 -> 直接指挥画图”，而且我们还能看到大脑的每个零件在指挥什么。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为《Towards Interpretable Visual Decoding with Attention to Brain Representations》（面向脑表征注意力的可解释视觉解码）。以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：利用深度生成模型从人类脑活动（如 fMRI）中解码视觉刺激是神经科学和人工智能交叉领域的前沿。现有的方法通常采用两阶段（Two-stage）流水线：首先将脑信号映射到中间特征空间（如 CLIP 或 DINO 的嵌入向量），然后利用这些嵌入向量指导生成模型（如扩散模型）进行图像重建。
• 痛点：
  1. 信息瓶颈：中间特征空间可能无法完全保留脑信号中的丰富信息，导致重建质量受限。
  2. 缺乏可解释性：由于引入了中间特征层，难以追踪不同脑区（Brain Areas）对最终重建图像的具体贡献。现有的解码模型通常是一个“黑盒”，无法解释大脑信号是如何驱动生成过程的动态轨迹的。

2. 方法论 (Methodology)

作者提出了 NeuroAdapter，一种端到端的视觉解码框架，并配套提出了 IBBI（Image-Brain BI-directional）可解释性框架。

A. NeuroAdapter 模型架构

• 核心思想：绕过中间特征空间，直接将脑表征（Brain Representations）作为条件输入，指导潜在扩散模型（Latent Diffusion Model, 基于 Stable Diffusion）的去噪过程。
• 数据处理：
  • 使用基于表面的 fMRI 数据（fsaverage 空间）。
  • 采用 Schaefer 脑区划分（将皮层划分为 500 个脑区/半球），并基于信噪比（SNR）筛选出高质量的脑区（例如每半球前 100 个，共 200 个）。
  • 将每个脑区的顶点响应向量填充并映射为 fMRI Token Embeddings。
• 模型训练：
  • 基于 IP-Adapter 架构，将 Stable Diffusion 的 Cross-Attention 层替换为可训练的模块，用于接收 fMRI Token。
  • 冻结参数：仅训练脑区线性映射模块（Parcel-wise Linear Mapping）和新的 Cross-Attention 模块，冻结预训练的扩散模型主干。
  • 正则化策略：
    • fMRI Token Dropout：随机丢弃部分脑区 Token，增强模型对脑信号缺失的鲁棒性。
    • Min-SNR Loss Weighting：平衡去噪过程中不同信噪比步骤的损失权重，防止模型过度拟合简单步骤。
• 图像选择：在推理阶段，生成多个候选图像，利用一个预先训练的**全脑编码器（Brain Encoder）**预测这些图像对应的脑活动，选择与真实 fMRI 测量值相关性最高的图像作为最终输出。

B. IBBI 可解释性框架

为了揭示脑信号如何驱动图像生成，作者提出了双向可解释性分析：

1. 脑导向视角 (Brain-directed View)：
   • 分析 Cross-Attention 权重矩阵，计算每个脑区（Parcel）在去噪过程中的贡献向量。
   • 将贡献权重投射回皮层表面，可视化哪些脑区在生成轨迹中起主导作用。
2. 图像导向视角 (Image-directed View)：
   • 分析特定感兴趣区（ROI，如面部区、场景区）的注意力在图像空间中的分布。
   • 生成 ROI 注意力图 (ROI Attention Maps)，展示不同脑区在去噪的不同时间步（Timesteps）关注图像的哪些具体像素区域。

3. 主要贡献 (Key Contributions)

1. NeuroAdapter 框架：提出了首个直接基于脑表征条件化潜在扩散模型的端到端框架，无需依赖外部中间特征空间（如 CLIP/DINO），实现了更直接的“脑 - 图”映射。
2. 高性能重建：在公共 fMRI 数据集（NSD）上，该方法在语义指标上达到了与现有两阶段方法（如 MindEye1, Brain Diffuser）相当甚至更优的性能，证明了无需中间嵌入空间也能实现高质量重建。
3. IBBI 可解释性框架：建立了首个结合 Cross-Attention 动态分析的脑 - 图双向解释框架。它不仅量化了不同脑区的相对贡献，还揭示了脑信号如何在生成过程中逐步塑造图像的空间结构，为神经解码提供了机制性的洞察。

4. 实验结果 (Results)

• 数据集：在 NSD (Natural Scene Dataset, 7T fMRI)、NSD-Imagery (心理意象任务) 和 Deeprecon (包含自然图像和人工形状) 上进行了评估。
• 重建质量：
  • 在 NSD 数据集上，NeuroAdapter 在高层语义指标（如 CLIP, Inception, AlexNet 分类准确率）上表现优异，与 MindEye1 等 SOTA 方法持平或超越。
  • 在低层指标（如像素相关性 PixCorr）上表现略低于部分专门优化低层特征的模型（如 Brain Diffuser w/o VDVAE），但作者指出这是为了保持端到端可解释性而做出的权衡。
  • 在 NSD-Imagery 任务中，模型展现了良好的泛化能力，能够解码心理意象。
  • 在 Deeprecon 数据集（训练与测试类别不重叠）上，模型能推断出形状、朝向和颜色等低级视觉属性。
• 可解释性验证：
  • 脑区贡献：可视化显示，高层脑区（如面部、场景选择区）在生成过程中起主导作用，且不同脑区在不同去噪步骤中发挥不同作用。
  • 注意力图：ROI 注意力图成功定位了图像中的语义区域（如人脸、身体），并与 SAM3 (Segment Anything Model 3) 生成的分割掩码有较高的 IoU 和 Dice 分数。
  • 因果扰动：通过掩蔽特定脑区（如低层视觉区 vs 高层语义区），发现掩蔽高层脑区会彻底改变生成图像的语义内容，而掩蔽低层脑区主要影响细节，验证了模型对脑功能分区的敏感性。

5. 意义与展望 (Significance)

• 科学意义：该工作打破了“脑信号必须通过中间特征空间才能解码”的范式，证明了端到端直接解码的可行性。更重要的是，它提供了一种机制性解释，让研究者能够观察大脑如何“指导”生成模型一步步构建图像，从而深入理解视觉信息的神经编码格式。
• 技术影响：IBBI 框架为神经解码领域引入了动态的、时空结合的可解释性分析工具，有助于解决当前解码基准测试中仅依赖图像质量指标（可能受预训练模型偏差影响）的局限性。
• 未来方向：作者指出，未来的工作应致力于提高生成图像的一致性（减少随机性带来的波动），并进一步利用可解释性工具探索更复杂的神经 - 生成界面。

总结：这篇论文通过提出 NeuroAdapter 和 IBBI 框架，成功实现了高质量且高度可解释的端到端脑 - 图解码，不仅提升了重建性能，更重要的是打开了理解大脑视觉表征与生成模型动态交互过程的黑盒，为神经科学和生成式 AI 的融合研究开辟了新路径。