Exploring EEG and Eye Movement Fusion for Multi-Class Target RSVP-BCI

本文针对多类快速序列视觉呈现脑机接口（RSVP-BCI）中单一脑电模态解码性能受限的问题，构建了包含 43 名受试者的眼动与脑电融合开源数据集，并提出了一种结合双互补模块、基于理论模态贡献比的动态重加权融合策略以及层级分类器知识迁移的 MTREE-Net 网络，显著提升了多类目标 RSVP 的解码精度。

要点

这篇论文讲述了一项关于**“读心术”的升级研究**。简单来说，科学家们想开发一种更聪明的“脑机接口”（BCI），让你只用“想”就能在海量图片中快速找出特定的东西。

为了让你更容易理解，我们可以把这项研究想象成**“在拥挤的火车站找朋友”**。

1. 背景：以前的“找朋友”有多难？

想象一下，你站在火车站的显示屏前，屏幕上像流水一样快速闪过成千上万张人脸照片（这就是RSVP，快速序列视觉呈现）。

• 以前的系统（单类目标）： 你只需要找“穿红衣服的人”。只要看到红衣服，大脑就会发出一个特殊的信号（就像大脑按了一个“叮！”的按钮，科学家叫它P300）。系统通过监测你的脑电波（EEG）来识别这个“叮！”，从而帮你找到目标。
• 现在的挑战（多类目标）： 现实世界更复杂。你不仅要找“穿红衣服的人”，还要同时区分“穿蓝衣服的人”和“穿绿衣服的人”。这就好比你要在人群中同时认出三个不同的朋友。
  • 问题： 当你看到红衣服、蓝衣服或绿衣服时，大脑发出的“叮！”信号非常相似，就像三个朋友都穿着相似的制服，光靠听大脑的“叮”声，很难分清是谁。

2. 新招数：给大脑装个“眼睛”

研究者发现，除了大脑会发出信号，我们的**眼睛（眼球运动，EM）**也会“出卖”我们。

• 当你看到感兴趣的目标时，瞳孔会放大，视线会停留得更久。
• 比喻： 如果大脑是“指挥官”，眼睛就是“侦察兵”。以前我们只问指挥官（脑电波），现在我们把侦察兵（眼动数据）也叫来一起开会。

3. 核心发明：MTREE-Net（超级翻译官）

为了解决“信号太像分不清”的问题，作者设计了一个名为 MTREE-Net 的人工智能模型。我们可以把它想象成一个**“超级翻译官团队”**，它由四个聪明的部门组成：

A. 双路情报收集（特征提取器）

• 脑电波部门： 像是一个经验丰富的老侦探，用多倍放大镜（多尺度卷积）去捕捉大脑信号中细微的时间变化和空间位置。
• 眼动部门： 像是一个敏捷的速记员，快速记录瞳孔大小和视线方向。
• 作用： 确保两种不同的情报都被完整、清晰地记录下来。

B. 互助互补小组（双互补模块 DCM）

• 痛点： 脑电波信号很强，眼动信号相对较弱。如果让它们直接合作，弱的一方容易被强的一方“带偏”，导致眼动信号没被充分利用。
• 比喻： 这就像让一个强壮的拳击手和一个瘦弱的武术家组队。如果只让拳击手指挥，武术家的技巧就浪费了。
• 解决方案： 这个模块让两者互相学习。拳击手（脑电波）教武术家（眼动）如何发力，武术家也提醒拳击手注意细节。这样，两个信号都变得更清晰、更有区分度。

C. 动态加权委员会（贡献引导重加权模块）

• 痛点： 有时候“红衣服”主要靠大脑信号判断，有时候“蓝衣服”主要靠眼睛信号判断。如果给两者的权重（投票权）固定不变，效果就不好。
• 比喻： 这是一个智能投票系统。系统会实时计算：“这次判断，大脑的贡献大，还是眼睛的贡献大？”
• 创新点： 以前的系统只是瞎猜谁重要，而这个系统通过理论计算，明确知道谁在当前的判断中贡献更大，然后动态调整权重，把更多的“信任票”投给贡献大的那个信号。

D. 师徒教学系统（分层自蒸馏模块）

• 痛点： 最难的是把“非目标”（路人）和“目标”（朋友）区分开。系统容易把路人误认成朋友。
• 比喻： 这是一个**“先学走，再学跑”**的策略。
  1. 第一步（二元分类）： 先教模型最简单的任务——“这是朋友吗？”（是/否）。这一步准确率很高，像个好老师。
  2. 第二步（三元分类）： 再教模型复杂的任务——“这是红衣服朋友、蓝衣服朋友还是路人？”
  3. 自蒸馏： 让那个“好老师”（二元分类器）把它的经验传授给“学生”（三元分类器），告诉它：“看到这种信号，大概率是路人，别搞错了。”从而大大减少把路人认成朋友的错误。

4. 成果：真的有效吗？

作者找了 43 个人做了实验，收集了他们的脑电波和眼动数据，建立了一个开源数据库。

• 结果： 使用这个“超级翻译官”（MTREE-Net），系统识别不同类别目标的准确率，比之前所有只用脑电波的方法，或者只用简单融合的方法都要高。
• 关键发现： 加入“眼睛”的数据后，系统不仅看得更准，而且能更好地区分那些长得像的目标（比如红衣服和蓝衣服）。

总结

这项研究就像给未来的“意念控制”系统装上了一双**“慧眼”。
以前，我们只能靠大脑的“模糊信号”来猜你想找什么；现在，通过脑电波 + 眼动的双模态融合，加上智能互补和动态投票**的算法，系统能更精准、更快速地在海量信息中帮你找到真正想要的东西。

这不仅让脑机接口在现实应用（比如快速筛选监控视频、辅助搜索）中变得更实用，也为未来开发更智能的人机交互系统打下了坚实的基础。

技术摘要

论文技术总结：基于 EEG 与眼动融合的多类目标 RSVP-BCI 研究

1. 研究背景与问题定义

背景：
基于快速序列视觉呈现（RSVP）的脑机接口（BCI）通过识别脑电（EEG）信号中的事件相关电位（ERP，主要是 P300 成分）来检测图像流中的目标。传统的 RSVP-BCI 系统通常仅能进行单类目标检测（即二分类：目标 vs. 非目标），这限制了其在现实复杂场景中的应用。

核心问题：

1. 多类目标识别的局限性： 现有的多类目标 RSVP 解码算法主要依赖单模态（仅 EEG）解码。由于不同类别的目标（如“人”和“车”）诱发的 ERP 信号高度相似，导致类别间的区分度低，解码性能难以满足实际应用需求。
2. 多模态融合的挑战： 虽然眼动（EM）信号（如瞳孔大小、注视点位置）在 RSVP 任务中也能提供区分性信息，但现有的多模态融合方法存在以下不足：
   • 缺乏高质量的多类 RSVP 多模态数据集。
   • 融合策略多依赖简单的重加权，缺乏理论指导，未能充分利用各模态对分类结果的贡献差异。
   • 未针对多类 RSVP 数据中“非目标样本易被误判为目标”的特性进行优化。

2. 方法论：MTREE-Net 模型

为了解决上述问题，作者提出了多类目标 RSVP 脑电与眼动融合网络（MTREE-Net）。该模型包含四个核心模块：

2.1 双流特征提取器 (Two-Stream Feature Extractor)

• EEG 分支： 采用多尺度卷积神经网络（Multi-scale CNN）。利用不同大小的卷积核（从 $T/2$ 到 $T/16$）提取 EEG 信号中不同时间尺度的局部和全局特征，并结合深度可分离卷积（Depthwise Separable Convolution）捕捉通道间关系。
• EM 分支： 采用单层卷积网络。由于眼动信号（瞳孔面积、水平/垂直坐标）的时间模式相对简单，单层卷积足以提取判别特征，同时保持计算效率。
• 设计目标： 确保 EEG 和 EM 提取的特征维度一致，便于后续融合。

2.2 双互补模块 (Dual-Complementary Module, DCM)

• 机制： 基于**交叉注意力（Cross-Attention）**机制。
• 功能： 解决多模态训练不平衡问题。由于 EEG 信息量通常大于 EM，直接融合可能导致 EM 分支优化不足。DCM 让两个模态相互提取共同特征，增强单一模态特征在不同类别间的区分度（即利用强模态辅助弱模态，反之亦然），实现特征互补。

2.3 贡献引导的重加权模块 (Contribution-Guided Reweighting Module, CG-RM)

• 创新点： 引入**模态贡献比（Modality Contribution Ratio）**作为显式指导。
• 原理： 理论分析表明，单模态对最终分类 Logits 的贡献大小反映了其判别能力。
  1. 计算 EEG 和 EM 各自对正确分类的贡献分数（基于 Softmax 后的 Logits）。
  2. 计算贡献比（$r_{eeg}, r_{em}$）。
  3. 设计一个权重预测网络，通过**贡献引导损失（$L_{cg}$）**强制模型学习到的融合权重与理论贡献比一致。
• 优势： 动态调整融合权重，使对分类贡献更大的模态获得更高权重，避免盲目融合。

2.4 层次化自蒸馏模块 (Hierarchical Self-Distillation Module, HSM)

• 结构： 包含两个分类器：
  1. 二元分类器： 区分“目标”与“非目标”。
  2. 三元分类器： 区分“非目标”、“目标 1"和“目标 2"。
• 机制： 利用自蒸馏（Self-Distillation）。将表现更稳健的“二元分类器”的知识（通过 KL 散度损失）迁移给“三元分类器”。
• 目的： 利用二元分类器对“非目标”的高判别力，指导三元分类器减少非目标样本被误判为目标的错误，同时保持目标类别间的区分度。

2.5 损失函数

总损失函数由三部分组成：

1. 分类损失 ($L_{cls}$)：包含三元交叉熵、二元交叉熵及单模态内部损失。
2. 贡献引导损失 ($L_{cg}$)：约束融合权重与理论贡献比一致。
3. 自蒸馏损失 ($L_{sd}$)：基于对称 KL 散度，对齐二元与三元分类器的输出分布。

3. 数据集构建

• 数据集名称： NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset。
• 规模： 43 名受试者，包含 3 个独立的多类目标任务（Task A: 军用/民用飞机; Task B: 储油罐/中心; Task C: 港口/停车场）。
• 模态： 同步采集 64 通道 EEG 和眼动信号（瞳孔面积、水平/垂直注视坐标）。
• 开源性： 数据集和代码均已开源。

4. 实验结果

4.1 性能对比

在三个任务上，MTREE-Net 在平衡准确率（BA）、召回率（Recall）和 F1 分数上均显著优于现有的 8 种 EEG 解码方法和 3 种多模态融合方法（如 EEGNet, MDCNet, CMGFNet 等）。

• 关键数据： 在 Task B 中，MTREE-Net 的 BA 达到 74.42%，显著高于次优方法（约 70.58%）。
• 消融实验： 移除 DCM、CG-RM 或 HSM 任一模块均导致性能显著下降，证明了各组件的有效性。

4.2 关键发现

1. 眼动模态的有效性： 引入 EM 信号显著提高了多类目标的区分能力，特别是降低了非目标被误判为目标的概率。
2. 互补方向： “双向互补”（Dual complementarity）效果最好。有趣的是，利用较弱模态（EM）增强较强模态（EEG）的效果略优于反向操作。
3. 特征可视化： t-SNE 显示，HSM 模块显著减少了“非目标”与“目标”特征簇的重叠，提高了线性可分性。
4. 显著性分析： EEG 信号在顶叶和枕叶的 N200/P300 时间段存在显著差异；眼动信号中，瞳孔面积和水平位置在刺激后 400-900ms 存在显著差异。

5. 主要贡献

1. 首个多模态多类 RSVP 数据集： 构建了包含 43 名受试者、同步 EEG 和 EM 信号的大规模开源数据集。
2. 首创融合模型： 提出了 MTREE-Net，是首个将 EEG 与 EM 融合用于多类目标 RSVP 解码的模型。
3. 理论驱动的融合策略： 提出了基于理论推导的“模态贡献比”来指导重加权模块优化，解决了传统融合方法缺乏显式指导的问题。
4. 层次化自蒸馏： 设计了针对多类 RSVP 数据特性的 HSM 模块，有效降低了非目标样本的误报率。

6. 意义与展望

• 科学意义： 证明了眼动信号与 EEG 信号在多类目标检测中具有显著的互补性，为多模态 BCI 研究提供了新的视角。
• 应用价值： 提出的框架和开源资源为开发实用的多类目标检测 BCI 系统（如遥感图像分析、异常检测）奠定了坚实基础。
• 未来工作： 计划探索不同 RSVP 呈现速率的影响，并研究在模态数据缺失（部分缺失）情况下的鲁棒性模型。

总结： 该论文通过构建高质量数据集和提出创新的 MTREE-Net 架构，成功解决了多类目标 RSVP-BCI 中类别区分度低和非目标误报率高的问题，显著提升了多模态融合解码的性能。