💻 computer science

Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

本文表明，利用对抗鲁棒变体 CLIP 而非标准模型，通过促进与神经活动更佳对齐的稳定且具有感知结构的表征，显著提升了基于 fMRI 的大脑解码性能。

原作者： Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：用 AI 读取思想

想象一下，科学家们正试图制造一台“读心术”机器。他们使用 MRI 扫描仪，在一个人注视图片时观察其大脑活动。目标是仅仅通过观察大脑活动，就能准确判断出这个人正在看什么样的图片。

为了实现这一目标，他们需要一个“翻译官”。大脑使用的是“神经信号”（fMRI 数据），但我们需要将其翻译成我们能理解的东西，比如对图像的描述。长期以来，科学家们一直使用一种非常流行的 AI 翻译官，叫做 CLIP。CLIP 非常擅长理解图片与文字之间的联系。

问题所在： 尽管 CLIP 很流行，但它并不是一个完美的脑部翻译官。这篇论文指出，CLIP 就像一个通过记忆“技巧”或“捷径”（比如注意到一张狗的照片通常背景里会有草地）来通过特定考试的优等生，而不是真正理解了“狗”这个核心概念。然而，人类的大脑并不依赖这些捷径；大脑看到的是狗本身。因为 AI 和大脑观察图片的方式略有不同，导致这种翻译并不完美。

解决方案：“压力测试”翻译官

作者提出了一个简单的问题：如果我们使用一个经过“压力测试”、能够忽略这些技巧的 AI 版本，情况会怎样？

在 AI 世界中，有一种技术叫做对抗训练（Adversarial Training）。想象你在教一个学生识别停止标志。

标准学生 (CLIP)： 你给他看一个停止标志，他学会了。但如果你在上面贴一个微小的、肉眼几乎看不见的贴纸，让它在计算机看来像是一个限速标志，他可能会感到困惑，误以为那是限速标志。他依赖的是脆弱的细节。
压力测试过的学生 (Robust CLIP)： 你给他看停止标志，但你同时也给他看成千上万个带有奇怪贴纸、模糊或扭曲的版本。你强迫他学习标志的“本质形状”，从而忽略掉杂乱的背景或微小的把戏。他变得更加“鲁棒”（稳健）。

论文认为，这个“压力测试过的学生”（即具有对抗鲁棒性的 CLIP）比标准学生更能更好地理解人类大脑的语言。

他们做了什么（实验）

研究人员设置了一场公平的竞赛。他们保持所有内容完全一致——大脑扫描器数据、计算机代码和训练方法。他们唯一改变的是“翻译官”（目标表示）。

A 队： 使用标准的 CLIP 模型。
B 队： 使用“压力测试”过的版本（称为 FARE 和 TeCoA）。

他们在两组不同的脑部数据（数据集）上进行了测试，以观察谁能更准确地根据脑部扫描结果猜出图像。

结果：压力测试团队获胜

结果清晰且一致：

更高的猜测准确率： “压力测试”模型在根据大脑活动猜测人正在看哪张图片方面表现得更好。在其中一项测试中，准确率提升了 13%，这在这一领域是一个巨大的突破。
更好的对齐度： 当他们测量 AI 的内部图谱与大脑图谱的匹配程度时，鲁棒模型与大脑的匹配度更高。这就像是 AI 和大脑终于在同一个频道上交流了。
零样本成功（Zero-Shot Success）： 即使面对 AI 从未见过的脑部图像，鲁棒模型依然比标准模型能更频繁地正确猜测。

为什么：观察地图

研究人员不仅停留在“它效果更好”这一层面。他们想知道“为什么”。他们使用了一种叫做**归因图（Attribution Map）**的工具，这就像一张热力图，显示了 AI 正在关注图像的哪些部分。

标准 CLIP： 热力图有些分散。它似乎在观察整张图片，包括可能作为“技巧”存在的背景细节。
鲁棒 CLIP： 热力图更加集中且具有结构性。它忽略了背景“噪声”，专注于主要物体，就像人类一样。

最有趣的发现是，这两个模型观察图像的方式是完全不同的。它们不仅仅是微调了特征，而是重新组织了看待世界的方式。鲁棒模型停止依赖标准模型所使用的“捷径”，这种转变正是它能更好地与人类大脑对齐的原因。

总结

论文得出结论：如果你想解码人类大脑活动，选择合适的 AI 模型比你想象的要重要得多。

你不需要建造一台全新的机器，也不需要更换脑部扫描仪。你只需要将标准的 AI 翻译官更换为经过“压力测试”、能够抵御各种干扰的鲁棒版本。通过这样做，AI 会停止寻找简单的捷径，转而开始像我们的大脑一样观察世界，从而实现更好的“读心”效果。

简而言之： 要读取人类的思想，请使用一个学会了忽略干扰并专注于真相的 AI。

技术摘要：重新思考基于 CLIP 的大脑解码：对抗鲁棒性的作用

问题陈述

大脑解码旨在从脑信号中推断出与刺激相关的表征，通常是通过将 fMRI 响应映射到计算模型的潜在嵌入（latent embeddings）空间来实现的。近年来，对比语言-图像预训练（CLIP）模型因其丰富的视觉-语言嵌入空间而成为了标准的靶向表征目标。然而，将 fMRI 信号与标准 CLIP 表征进行对齐仍然具有挑战性。

作者认为，标准 CLIP 是针对大规模网络图像-文本对比学习而优化的，而非针对神经对齐。因此，其嵌入可能会捕捉到“非鲁棒”或由捷径驱动（shortcut-driven）的特征，这些特征在统计上对于图像-文本匹配具有预测性，但并不能忠实地反映人类大脑活动。以往的研究尝试通过添加生物约束（例如视觉注意力机制）或强制要求嵌入与 fMRI 响应之间的几何相似性来改进解码效果。本文指出，问题不仅在于流水线本身，更在于目标表征本身的内在属性。具体而言，作者假设对抗鲁棒表征（即抑制了非鲁棒特征并更多依赖于稳定的、感知结构化线索的表征）可能能更好地与人类神经表征中所观察到的不变性相匹配。

方法论

本研究采用了一种受控实验设计，其中 fMRI 解码器和整个训练流水线保持固定，仅改变目标表征模型。

数据集：
- NSD (Natural Scene Dataset, 自然场景数据集)： 一个大规模视觉-fMRI 数据集，包含 73,000 张图像和来自 8 名受试者的 fMRI 数据。作者在受试者 1、2、5 和 7 上进行评估。
- GOD (Generic Object Decoding Dataset, 通用物体解码数据集)： 旨在测试具有非重叠训练-测试语义的零样本泛化能力，包含 1,250 张图像和来自 5 名受试者的数据。
目标模型：
- 基准模型 (Baseline)： 标准 CLIP (ViT-L/14 骨干网络)。
- 鲁棒变体： 两种经过对抗训练的 CLIP 变体：
  - TeCoA： 一种在文本引导监督下进行对抗微调的鲁棒变体。
  - FARE： 一种使用无文本监督的无监督对抗微调的鲁棒变体。
- 作者根据扰动预算 ( $\epsilon$ ) 评估了不同的对抗强度水平（例如 FARE-2/4, TeCoA-2/4）。
解码器架构：
- 一个线性解码器将 fMRI 体素数据映射到预测的嵌入。
- 训练目标： 研究使用了两种目标：
  1. InfoNCE Loss (对比损失)： 使用对比损失优化预测嵌入与目标嵌入之间的对齐。
  2. 岭回归 (Ridge Regression)： 大脑解码中的标准基准。
评估指标：
- 解码性能： 在 NSD 和 GOD 数据集上进行 fMRI-图像检索的 Top- $k$ 准确率 (Recall@k)。
- 神经对齐： 计算 fMRI 响应与目标表征之间的 Pearson 相关系数、余弦相似度和表示相似性分析 (RSA)。
- 归因分析： 使用来自 Palazzo 等人 [40] 的框架，作者计算像素级归因图，以分析解码器依赖哪些图像特征。指标包括归一化熵、前 $k$ 个归因区域的交并比 (IoU) 以及归因图之间的 Spearman 秩相关。

关键结果

实证结果表明，使用对抗鲁棒变体替换标准 CLIP 可以一致地提高大脑解码性能和神经对齐度。

提升对齐与检索：
- 在 NSD 数据集上，鲁棒变体 (FARE 和 TeCoA) 比标准 CLIP 实现了更高的对齐得分（Pearson 相关系数、余弦相似度和 RSA）。TeCoA-4 始终取得了最高的对齐得分。
- 在 fMRI-图像检索方面，鲁棒解码器的表现优于标准 CLIP 基准。值得注意的是，在对比解码模式下，FARE-4 相较于 CLIP 基准将 Top-1 准确率提高了 13%。
- 这些改进在对比学习和岭回归目标下均成立，表明目标表征的选择比训练目标更为关键。
零样本泛化 (GOD 数据集)：
- 这些改进在强制执行严格零样本条件的 GOD 数据集上也是可复现的。与标准 CLIP 相比，鲁棒解码器保持了更高的检索准确率和零样本 fMRI-文本分类性能。
- 在零样本文本分类任务中，TeCoA 解码器通常优于 FARE 解码器。
归因分析：
- 空间结构： 虽然所有模型都表现出高度的全局空间扩散性（高熵），但鲁棒变体显示出更强的尺度相关结构变化。随着空间分辨率变粗，它们的熵随之降低，这表明与标准 CLIP 稳定的熵相比，它们具有更具结构的归因模式。
- 特征差异： 标准 CLIP 与鲁棒变体之间存在持续的低一致性。高归因像素的 Top- $k$ 交并比 (IoU) 极低（低于 0.1），且 Spearman 秩相关性较弱或为负。这表明对抗训练不仅是精炼了特征的使用，而且诱导了特征重要性的系统性重组，使其依赖于结构上截然不同的图像特征。

贡献

本文做出了以下具体贡献：

证明了鲁棒性的益处： 研究表明，对抗训练的 CLIP 变体 (FARE 和 TeCoA) 提高了 fMRI 响应与模型表征之间的对齐度，从而在 NSD 数据集上显著提高了 fMRI-图像检索准确率。
零样本验证： 验证了这些改进在 GOD 数据集的零样本设置中具有泛化性，证实了增益并非源于特定数据集的过拟合。
归因见解： 通过归因分析，揭示了鲁棒模型在特征使用上与标准 CLIP 存在低一致性，产生了空间集中且独特的模式，从而表明对抗鲁棒性重构了视觉特征的重要性。

重要性与主张

作者得出结论，目标表征的选择是神经解码流水线中的关键因素。他们认为，对抗鲁棒性作为一种有用的归纳偏置 (inductive bias)，可以提高计算模型与大脑活动之间的对齐度。

本文主张，由于人类神经表征对微小扰动相对具有不变性，且较少依赖非鲁棒线索，因此通过对抗训练来抑制此类线索的模型，会自然地产生与 fMRI 信号更兼容的表征。这一发现表明，未来的大脑解码工作应考虑目标模型的内在属性（如鲁棒性），而非仅仅关注架构修改或流水线工程。该研究强调，鲁棒性不仅影响预测精度，还影响解码大脑活动时视觉特征利用的基本方式。