🤖 AI

BRAIN: Bias-Mitigation Continual Learning Approach to Vision-Brain Understanding

该论文针对脑信号随时间推移产生的不一致性及其导致的视觉 - 脑理解模型偏差问题，提出了一种名为 BRAIN 的偏差缓解持续学习方法，通过引入去偏差对比学习损失函数和基于角度的遗忘缓解机制，在防止灾难性遗忘的同时实现了跨基准的领先性能。

原作者： Xuan-Bac Nguyen, Thanh-Dat Truong, Pawan Sinha, Khoa Luu

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuan-Bac Nguyen, Thanh-Dat Truong, Pawan Sinha, Khoa Luu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“大脑记忆衰退如何影响 AI 学习”**的有趣故事，并提出了一个聪明的解决办法。

我们可以把这项研究想象成**“教一个 AI 学生如何像人类一样，在漫长的学习岁月中保持聪明”**。

1. 核心问题：大脑也会“记性变差”

想象一下，你让一个人连续几个月每天看很多张图片，并记录他看图片时的大脑活动（就像用摄像机拍大脑一样）。

刚开始时：这个人精神饱满，对图片印象很深，大脑信号清晰有力。
几个月后：因为人脑有“记忆衰退”的自然规律，这个人再看到同样的图片时，可能已经模糊了，或者不确定自己以前是不是看过。这时候，他的大脑信号就会变得微弱、混乱、不自信。

之前的 AI 模型犯了什么错？
以前的科学家在训练 AI 时，把**“刚开始清晰的大脑信号”和“几个月后模糊的大脑信号”**混在一起，一视同仁地喂给 AI 学习。

比喻：这就像老师教学生，把“第一天精神饱满时做的完美笔记”和“期末考试前因为太累、记不清而写的潦草笔记”混在一起，让 AI 同时学习。结果，AI 被那些“潦草笔记”（模糊的信号）搞晕了，导致它学歪了，甚至把以前学好的东西也忘了（这叫“灾难性遗忘”）。

2. 解决方案：BRAIN 方法（给 AI 装上“防偏眼镜”和“记忆保鲜盒”）

为了解决这个问题，作者提出了一个叫 BRAIN 的新方法。它包含两个核心“法宝”：

法宝一：去偏对比学习（De-bias Contrastive Learning）—— “给信号打分”

原理：既然知道后面的信号因为记忆衰退变得“不靠谱”，那我们就不能把它们和前面的信号同等对待。
比喻：想象你在批改作业。
- 如果学生（受试者）在回答时非常自信（大脑信号强），你就给这道题高权重，认真学。
- 如果学生犹豫不决、记不清了（大脑信号弱），你就给这道题低权重，告诉 AI：“这道题可能不太准，别太当真，稍微参考一下就行。”
效果：这样 AI 就不会被那些“记不清的模糊信号”带偏了，能更专注于高质量的学习材料。

法宝二：基于角度的遗忘缓解（Angular-based Forgetting Mitigation）—— “只记方向，不记大小”

原理：在持续学习新东西时，AI 很容易把旧知识忘掉。以前的方法是用“距离”来约束 AI，不让它改得太远。但作者发现，用“角度”来约束更好。
比喻：
- 旧方法（距离）：就像要求 AI 必须站在离旧知识“1 米远”的地方。如果新知识的“音量”（信号强度）变了，这个距离标准就不好用了。
- 新方法（角度）：就像要求 AI 记住知识的**“方向”。比如，以前学的是“向东走”，现在学新东西，只要“大体还是向东”**，哪怕你走快了点或慢了点（信号强弱变化），都没关系。
效果：这种方法让 AI 在吸收新知识的同时，能牢牢守住旧知识的“大方向”，不会因为信号强弱变化而彻底迷路。

3. 结果：AI 变得更聪明了

通过这种“持续学习”（像人类一样一天天学，而不是一次性把所有数据塞进去）加上上述两个法宝，实验结果显示：

这个 AI 模型在**“看图猜脑”（根据大脑信号还原图片）和“看图找脑”（根据图片找到对应的大脑信号）的任务上，表现都超越了以前的所有最先进方法**。
它成功克服了因为人类记忆衰退带来的干扰，学会了如何在数据质量随时间下降的情况下，依然保持高水平的理解能力。

总结

这就好比教一个 AI 学生：
以前的老师不管学生是“精神好”还是“犯困”，都一视同仁地教，结果学生学糊涂了。
现在的 BRAIN 老师很聪明：

看人下菜碟：学生精神好就多教点，犯困了就少教点（去偏）。
抓大放小：只要大方向没变，细节有点波动没关系，保证学生不会把以前学的忘光（防遗忘）。

最终，这个 AI 不仅学会了新知识，还完美保留了旧知识，成为了真正的“过目不忘”的学霸。

这篇论文提出了一种名为 BRAIN (Bias-Mitigation Continual Learning Approach to Vision-Brain Understanding) 的新方法，旨在解决视觉 - 大脑理解（Vision-Brain Understanding, VBU）任务中因人类记忆衰退导致的脑信号偏差问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心问题：脑信号的不一致性与偏差 (Inconsistency & Bias)
- 现有的 VBU 研究（如 MindEye, MindEye2 等）通常假设数据集是静态的，将所有会话（sessions）的数据混合训练。
- 然而，人类记忆会随时间自然衰退。在长达数月甚至数年的数据采集过程中（如 Natural Scenes Dataset, NSD），受试者对之前见过的视觉刺激的反应准确性和自信心会逐渐下降。
- 后果：后期采集的 fMRI 信号包含的视觉上下文信息更少，不确定性更高，导致数据分布随时间发生漂移（Distribution Shift）。这种**表示偏差（Representation Bias）**使得模型在训练后期难以学习，且传统模型会忽略这种偏差，导致性能下降。
灾难性遗忘 (Catastrophic Forgetting)
- 在增量学习（Continual Learning）设置下，模型在学习新会话数据时，容易遗忘早期会话中学到的知识。
现有方法的局限
- 大多数现有方法将所有数据视为同等重要，未考虑时间维度上的信号质量差异。
- 传统的持续学习方法（如基于重放或正则化的方法）未能针对脑信号特有的“记忆衰退导致的偏差”进行优化。

2. 方法论 (Methodology)

作者提出了一种偏差缓解的持续学习框架，主要包含两个核心创新组件：

A. 去偏差对比学习 (De-bias Contrastive Learning, DCL)

动机：由于后期会话的脑信号质量下降（受试者反应准确率 $r(t)$ 降低），直接应用标准对比学习会导致模型被低质量数据误导。
机制：
- 引入一个偏差因子 (Bias Factor) $w_t$ 来量化不同会话数据的可靠性。
- 基于观察到的现象（反应准确率随时间下降），定义 $w_t = e^{1-r(t)}$ ，其中 $r(t)$ 是受试者在步骤 $t$ 的反应准确率。
- 加权损失函数：在对比损失（Contrastive Loss）中引入该权重。当受试者表现出低置信度（高不确定性）时，赋予该样本更高的权重（或者更准确地说是通过重采样/加权机制调整分布，论文公式中体现为 $1/p(t)$ 的估计），以纠正分布偏差。
- 公式核心： $\mathcal{L}_C = -\log \frac{\exp(z_t \cdot c_t)}{\sum \exp(z' \cdot c_t) e^{1-r(t)}}$ 。

B. 基于角度的遗忘缓解 (Angular-based Forgetting Mitigation, AFM)

动机：传统的持续学习遗忘缓解方法（如知识蒸馏）通常使用欧几里得距离（ $L_2$ 范数）来约束新旧模型特征的差异。然而， $L_2$ 对特征的幅度（Magnitude）敏感，而脑信号在持续学习中幅度的变化可能很大，导致过正则化或无法有效保留知识。
机制：
- 提出使用**角度度量（Angular Metric）**来衡量新旧特征之间的差异，而非幅度差异。
- 利用余弦相似度或向量夹角的几何性质，因为下游任务（如 fMRI 到图像检索）通常更关注特征的方向（Direction）而非绝对大小。
- 损失函数： $\mathcal{L}_{CL} = \frac{1}{L} \sum \| \frac{z_{t-1}^i}{\|z_{t-1}^i\|} - \frac{z_t^i}{\|z_t^i\|} \|_2^2$ 。
- 这种方法允许模型在更新特征幅度以适应新数据的同时，保持特征方向（即语义知识）的稳定性，从而更有效地防止灾难性遗忘。

C. 整体目标函数

模型的总损失函数结合了去偏差对比损失和基于角度的遗忘缓解损失：
$\mathcal{L} = \mathcal{L}_C(x_t, y_t) + \lambda_{CL} \mathcal{L}_{CL}(x_t)$

3. 主要贡献 (Key Contributions)

首次揭示并量化脑信号偏差：通过统计和实验证明了 fMRI 信号随时间推移存在显著的不一致性（由记忆衰退引起），并指出这是现有 VBU 模型性能瓶颈的关键原因。
提出 BRAIN 框架：首个针对 VBU 任务的持续学习框架，能够适应数据分布随时间的动态变化。
创新损失函数设计：
- DCL：利用受试者反应准确率动态调整对比学习权重，缓解数据偏差。
- AFM：引入角度度量进行知识蒸馏，比传统的 $L_2$ 正则化更鲁棒，有效防止遗忘。
SOTA 性能：在多个持续学习基准测试中，该方法的表现超越了现有的非持续学习方法（如 MindEye）和其他持续学习基线（如 LwF, PLOP）。

4. 实验结果 (Results)

数据集：使用 Natural Scenes Dataset (NSD)，包含 8 名受试者在 30-40 个会话中观看 10,000+ 张自然场景图像的数据。
实验设置：
- 任务：脑到图像检索 (Brain-to-Image) 和图像到脑检索 (Image-to-Brain)。
- 设置：不同的增量学习配置，如 (20, 2) 表示前 20 个会话训练初始模型，之后每 2 个会话作为一个增量步骤。
关键发现：
- 性能提升：在 (20, 2) 设置下，BRAIN 方法在脑到图像检索任务中，从第 1 步到第 40 步的性能下降仅为 3.6%（从 57.97% 降至 54.37%），而无需持续学习的方法（W/o CL）性能下降了 43.57%。
- 消融实验：
  - 加入 DCL 比标准对比学习提升了 1%-4%。
  - 加入 AFM 比 $L_2$ 正则化提升了 1%-3%，证明角度度量在脑信号处理中的优越性。
  - 即使不使用重放（Rehearsal-free），BRAIN 也能取得最佳效果；加入重放反而可能因数据子集代表性不足而降低性能。
- SOTA 对比：在脑 - 图像检索任务上，BRAIN 达到了 95.3% 的准确率，超越了 MindEye (90.1%) 和 MinD-Vis (85.9%) 等现有最先进方法。

5. 意义与影响 (Significance)

理论贡献：打破了 VBU 领域长期假设数据分布静态不变的惯例，首次将“记忆衰退”这一认知科学现象引入深度学习建模，为理解人脑信号的时间动态特性提供了新视角。
实际应用：
- 使得脑机接口和神经解码模型能够适应长期数据采集过程中的个体差异和状态变化。
- 提出的持续学习策略无需存储大量历史数据（Rehearsal-free），解决了 fMRI 数据隐私和存储成本高的问题。
通用性：虽然针对 fMRI 设计，但提出的“基于可靠性的加权对比学习”和“基于角度的知识蒸馏”思想可推广至其他存在数据分布漂移的持续学习场景。

总结：BRAIN 论文通过敏锐地捕捉到人类记忆衰退对脑信号质量的影响，设计了一套专门的持续学习机制，成功解决了长期脑信号解码中的偏差积累和遗忘问题，显著提升了视觉 - 大脑理解模型的性能和鲁棒性。