🤖 AI

From Clever Hans to Scientific Discovery: Interpreting EEG Foundational Transformers with LRP

本文证明，将逐层相关性传播（LRP）扩展至脑电图基础模型，能够通过揭示“聪明汉斯”行为等伪影来有效验证其决策过程，并生成关于大脑活动模式的新颖且符合生物学原理的假设。

原作者： Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对这篇论文的解释。

宏观图景：“黑箱”问题

想象你有一个超级聪明的机器人，它能观察脑电波（EEG）并猜测一个人在想什么或感觉什么。这个机器人是一个“基础模型”，意味着它是在海量数据上训练出来的——其数据量之大，远超任何人类专家所能看到的。

问题在于，这个机器人是一个黑箱。它会给你一个答案（比如“这个人很生气”或“他们正在想象移动自己的手”），但它不会告诉你为什么。这就像魔术师从帽子里变出一只兔子；你看到了结果，却不知道戏法是怎么变的。

在科学和医学领域，我们不能仅仅信任答案；我们需要知道戏法，以确保机器人没有作弊或犯错。这篇论文就是关于教导我们如何向帽子里窥探，从而看到那只兔子。

工具：LRP（“荧光笔”）

作者使用了一种称为**逐层相关性传播（LRP）**的技术。把 LRP 想象成一支神奇的荧光笔。

当机器人做出决定时，LRP 会回溯机器人的“大脑”，并高亮显示脑电波数据中对该决定最为关键的具体部分。

如果机器人说“这个人很兴奋”，LRP 可能会高亮显示后脑勺的某个特定位置。
如果机器人说“这个人正在移动他们的手”，LRP 可能会高亮显示耳朵附近的区域。

作者将这支此前仅用于较简单机器人的荧光笔进行了改进，教会了它如何在这类新的、复杂的“Transformer"机器人上工作。

实验：检查机器人的三项测试

研究人员进行了三项不同的测试，以查看他们的“荧光笔”是否有效，以及它揭示了什么。

1. 心跳测试（“真相”核查）

任务： 他们要求机器人在脑电波数据中寻找隐藏的心跳。
原因？ 心跳会在头部底部的脑电波中产生微小的电涟漪。科学家们已经确切知道这种涟漪应该出现在哪里。
结果： 机器人找到了心跳，而荧光笔准确地指向了心脏信号最强的头部底部。
启示： 荧光笔有效！当答案已知时，它能正确识别机器人正在观察的内容。

2. “聪明汉斯”测试（“作弊”核查）

任务： 他们要求机器人猜测一个人是在想象移动左手还是右手。
问题： 在这个实验中，电脑屏幕上会显示一个左侧或右侧的标记，用来告诉这个人移动哪只手。
发现： 荧光笔揭示，许多版本的机器人正在作弊。机器人没有观察手部运动的脑信号，而是在观察眼睛。
- 类比： 想象一个学生在参加考试。他们不是去解数学题，而是仅仅看老师指向哪个方向。机器人做的也是同样的事：它看到了屏幕上的标记，猜测那个人朝那个方向看，并假设这意味着“左手”或“右手”。
- 这被称为**“聪明汉斯”行为**（得名于一匹著名的马，它似乎会做数学题，但实际上只是在阅读老师的肢体语言）。
启示： 荧光笔揭露了机器人依赖捷径（眼球运动）而不是它本应学习的实际脑信号。

3. 情绪测试（“发现”核查）

任务： 他们要求机器人在人们观看虚拟现实电影时，猜测其处于“高唤醒”（兴奋/激动）还是“低唤醒”（平静）状态。
发现： 荧光笔发现了“高唤醒”的一个一致模式。它点亮了头部中心（运动皮层）的一组特定传感器。
假设： 作者提出这可能是一个新线索。这可能意味着当人们感到兴奋时，他们的大脑会进入“准备行动”的状态（就像起跑线上的赛跑者），即使他们实际上并没有在移动。
启示： 荧光笔不仅验证了机器人，还帮助科学家们提出了关于大脑如何运作的新想法。

局限性：并非总是清晰明了

论文承认，解读这些“高亮”地图并不总是容易的。

类比： 想象你看一张城市的热力图。你看到一个明亮的红点。那是一场火灾？一个繁忙的十字路口？还是一场音乐会？如果不熟悉这座城市，很难百分之百确定。
在情绪测试中，机器人高亮了面部和颈部附近的区域。这可能是脑活动，也可能是肌肉紧张（比如兴奋时咬紧牙关）。荧光笔显示了机器人看了哪里，但有时仍然很难确切地说出它看到了什么。

总结

这篇论文是一本指南，教导如何使用新的“手电筒”（LRP）照亮先进人工智能模型中那些黑暗、令人困惑的“大脑”。

它有效： 手电筒正确找到了已知信号（心跳）。
它抓住作弊者： 它揭示了一些模型通过观察眼球运动而非脑电波来作弊。
它激发灵感： 它在与兴奋相关的脑中心发现了一种新模式，科学家们现在可以对此进行进一步研究。

作者总结道，虽然我们需要人类专家来解读这些图像，但这一工具对于确保这些强大的 AI 模型实际上正在学习我们认为它们正在学习的内容至关重要。

技术摘要：利用 LRP 解释 EEG 基础 Transformer 模型

问题陈述

基础模型（FMs）在脑电图（EEG）中的应用，为深度学习诊断和脑机接口（BCI）中的数据稀缺问题提供了潜在的解决方案。然而，这些模型（尤其是基于 Transformer 架构的模型）的“不透明”特性阻碍了其更广泛的采用和临床信任。尽管特征归因方法（如层间相关性传播 LRP）已成功应用于 EEG 中的卷积神经网络（CNN）和多层感知机（MLP），但其在现代基于 Transformer 的 EEG 基础模型（EEG-FMs）中的应用尚未被探索。核心挑战在于确定 LRP 能否有效探测这些复杂模型的决策过程，以验证其有效性或揭示虚假的学习策略（例如“聪明汉斯”效应），而无需依赖每个任务的真实标签。

方法论

作者提出将感知注意力的 LRP [8] 应用于LaBraM 模型 [2]，这是一个著名的 EEG 基础模型。该方法包含三个主要组成部分：

模型配置：研究在三种配置下评估 LaBraM，以隔离预训练效果：
- 微调（Finetuned）：标准方法，调整整个模型。
- 冻结（Frozen）：冻结预训练骨干网络，仅训练可分类的头部。
- 从头训练（From Scratch）：随机初始化，无预训练。
  每种配置均训练五次，以考虑 dropout、初始化和数据采样的变异性。
归因与可视化：
- 应用 LRP 为每个分类决策生成每个输入元素（时间步和通道）的相关性分数。
- 为了管理 EEG 数据的高维度（ $n_{channels} \times t_{in}$ ）和生成的分数量，作者采用了一种聚合策略。他们跨时间聚合归因以分析空间模式（地形图），并跨通道聚合以分析时间模式。
- 空间可视化利用离散沃罗诺伊单元（Voronoi-cell）着色来保留电极拓扑结构，避免矩形热力图造成的失真。
实验范式：
- R 波检测（验证）：一个二元分类任务，用于预测原始 EEG 中的心脏场伪影（CFA）。由于生理来源（心脏）和预期的电极位置（Iz）是已知的，这作为真实标签验证。
- PhysioMI L/R（既定范式）：使用 PhysioNet 数据集的运动想象/执行任务（左手 vs. 右手握拳）。这测试了模型的泛化能力，并揭示了潜在的捷径学习。
- AffectiveVR（探索性）：一个自然主义范式，预测 VR 体验期间的主观唤醒度和效价。该任务缺乏清晰的真实标签，作为探索性假设生成的试验台。

主要贡献

本文提出了三项具体贡献：

EEG-FMs 上 LRP 的验证：首次证明感知注意力的 LRP 能在基础 EEG Transformer 上产生合理的归因。这通过 R 波检测任务得到验证，其中相关性正确地集中在 Iz 电极上，即最靠近心脏的位置。
虚假行为的检测：该方法成功识别了运动想象模型中的“聪明汉斯”行为。它揭示了泛化能力差的模型严重依赖眼部（眼动）伪影，而非运动皮层信号，这可能是利用了实验设计中的视觉线索。
新假设的探索：在缺乏复杂情感状态既定直觉的情况下，作者刻画了 LRP 的独特潜力和局限。他们识别出唤醒度预测中重复出现的、具有生物学合理性的中央电极相关性模式（C2, Cz, FC2, CP2），这表明了一种区别于效价的独特感觉运动唤醒特征。

结果

性能：
- R 波检测：微调后的 LaBraM 实现了约 75% 的平衡准确率（BAC），证实模型学习了正确的生理信号。
- PhysioMI L/R：性能参差不齐。五次微调运行中有两次实现了超过 70% 的 BAC，而其他运行表现接近随机猜测。关键在于，归因图区分了这些组别：成功的运行显示出侧化的颞 - 额模式，而不成功的运行则集中在眼部区域。
- AffectiveVR：所有模型（微调、从头训练、冻结）以及 CSP-LDA 基线模型表现相似，BAC 约为 55%（略高于中位数分割二元分类的 50% 随机基线）。
归因模式：
- 符号反转：模式在空间结构上是一致的，但偶尔会出现符号反转（颜色反转），这不影响相关性的幅度。
- 运动想象：成功的模型显示出侧化模式，但即使是这些模型，也集中在比手部运动区域更接近眼动区域的颞部电极上，表明其依赖于与任务相关的眼动，而非纯粹的运动神经特征。
- 唤醒度 vs. 效价：唤醒度预测一致地突出了中央电极簇（感觉运动皮层），这可能与受情感背景调节的准备电位有关。这种模式在效价预测中缺失，支持了这是一种唤醒特异性特征而非一般运动解码伪影的假设。
- 效价预测：模式与既定文献的一致性较差且表现出模糊性，突显了在低直觉领域中解释热力图的困难，因为在该领域中，虚假伪影（例如面部肌肉的肌电图 EMG）很难与神经信号区分开来。

意义与主张

本文将 LRP 定位为 EEG-FMs 的双用途工具：验证和探索。

验证：LRP 可以验证模型是否在学习预期的生理信号（如 R 波检测所示），并暴露过拟合或捷径学习（如失败的运动想象模型对眼部的依赖所示）。这在 EEG 中至关重要，因为信号不可直接解释，且捷径学习在历史上曾使研究路线失效。
探索：通过将学到的表征转化为神经科学假设，LRP 可以揭示新颖的、具有生物学合理性的关系（例如唤醒度中的中央感觉运动特征）。作者声称，这将 EEG-FM 研究从纯粹的预测性能推进到理解脑 - 行为关系。

局限性与谦逊声明：
作者明确承认三个注意事项：

可解释性：EEG 中的热力图解释仍然是主观的，需要领域专业知识；与自然景观图像相比，荒谬的策略更难识别。
方法论基础：选择 LRP 是基于在非 Transformer 模型上进行的比较；需要在 EEG-FMs 上进一步进行忠实度测量（例如 AOPC）。
模型能力：缺乏相对于“从头训练”或专用模型（如 CSP-LDA）的一致性能提升，表明当前的 EEG-FMs 尚未充分利用其对 EEG 的“潜在理解”。因此，LRP 的发现潜力目前受限于底层模型的能力。

本文结论认为，虽然 LRP 是 EEG-FM 发展轨迹的有力工具，但其用于临床部署或确定性发现的效用，目前受限于基础模型本身的成熟度。