Brain-inspired Spiking Neural Network Frameworks for Multimodal Spatiotemporal Brain Data Integration: A Case Study on EEG-fMRI Data
本研究提出了一种受生物启发且利用早期、中期以及一种新颖的可解释 X-Meta 后期融合策略的脉冲神经网络框架，旨在有效整合异构的 EEG 和 fMRI 数据，并证明在解码睁眼与闭眼大脑状态方面，该框架相比于传统的机器学习方法具有更高的准确性和生物可解释性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
人类大脑是一个庞大且复杂的网络，它同时以两种截然不同的方式处理信息：它追踪毫秒级的快速电信号脉冲，并绘制反映哪些区域活跃的较慢、更广泛的血流变化图谱。科学家们长期以来一直试图结合这两种视角，以获得关于大脑运作方式的完整图景。一种工具是脑电图（EEG），它通过头皮捕捉快速的电脉冲，提供了详细的时间线，但在确定信号确切来源方面视图较为模糊。另一种工具是功能性磁共振成像（fMRI），它能提供活跃脑区的高分辨率地图，但其运动速度极慢，捕捉的是以秒而非毫秒计的变化。由于这两类数据在时间和空间语言上完全不同，将它们融合起来极其困难，然而这样做可以以前所未有的清晰度揭示大脑如何协调复杂的各项功能。
奥克兰理工大学的一个研究团队开发了一种新方法来弥合这一差距，其灵感来自于大脑本身的生物结构。他们并没有强行将两种数据流塞入一个单一、僵化的格式中，而是构建了一个模拟神经元通过短暂电脉冲进行通信的系统。这种被称为“脉冲神经网络”的方法，使计算机能够像真实大脑一样从事件的时序中学习。研究人员在了一组健康志愿者的数据集上测试了该系统，这些志愿者在睁眼和闭眼之间交替进行，这是一个会触发已知大脑活动变化的简单任务。他们将来自EEG的快速电信号记录和来自fMRI的慢速血流图谱同时输入计算机，但尝试了三种不同的组合策略。在第一种策略中，他们在最初阶段就将原始数据混合在一起。在第二种策略中，他们让每种类型的数据先各自建立理解，然后再合并结果。在第三种策略中，他们让每种数据类型先做出自己的判断，然后使用一种智能投票系统，根据每个来源看起来有多可靠来权衡这些判断。
研究发现，让数据在合并结论之前先“各抒己见”的策略效果最好。当研究人员使用这种最终的决策级方法时，当使用基于频率的EEG特征时，计算机模型正确识别个人睁眼或闭眼的准确率约为80%，而使用原始电信号时约为77%。这比过早合并数据（这往往会使模型产生混乱）有了显著提升，并且优于那些不模拟大脑结构的常规机器学习方法。更重要的是，该系统不仅得出了正确答案，还解释了原因。通过将决策回溯到模型中，研究人员可以清楚地看到哪些大脑部分最具影响力。他们发现，模型高度依赖大脑后部，即枕叶区域，该区域负责处理视觉信息，并在睁眼或闭眼时改变其电律。它还利用了与静息状态相关的深层大脑网络以及涉及运动和情绪的区域，这表明即使是像眨眼这样简单的任务，也涉及广泛且协调的大脑功能网络。
研究人员还发现，电信号的呈现方式取决于它们是如何被组合的。当数据被早期合并时，原始电信号的效果更好；但当数据在末端组合时，基于频率的信号呈现方式则能获得更高的准确度。这表明不存在一种完美的处理大脑数据的单一方法；最佳方法取决于所使用的具体工具。他们称之为“X-Meta分类器”的最成功的模型，其运作方式就像一个委员会，其中每一位专家（分别代表快速电信号和慢速血流）投出一票，然后由一位最终决策者学习如何信任每一位专家。这一过程不仅提高了准确性，还确保了最终决策植根于生物学现实，指向了科学家已知对视觉和注意力至关重要的特定脑区。
这项工作证明，通过尊重不同大脑测量值的独特时序和结构，我们可以构建出比以往任何时候都更能理解大脑的计算机模型。研究结果表明，大脑在执行一项简单任务期间的活动不仅仅是视觉皮层中的一道闪光，而是多个区域间电律与血流变化的复杂相互作用。虽然本研究是在执行基础任务的健康志愿者身上进行的，但该框架为整合不同类型的医学数据提供了一种强大的新途径。研究人员指出，这种方法最终可能帮助医生理解更复杂的情况，例如在癫痫或精神疾病中，大脑的电信号和血流信号可能会讲述不同的故事。目前，这项研究足以证明，受大脑启发的计算可以成功融合思维的“快”与“慢”两种视角，将混沌的信号组合转化为清晰、可解释的人类大脑功能图景。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。