Seeing Like a Brain: Predicting Subject-Specific EEG Responses to Natural Visual Stimuli
本文介绍了一个开源的多目标深度学习框架，该框架能够以毫秒级的推理速度，准确预测受试者针对自然图像的特定个体全脑脑电（EEG）响应，并展示了强大的零样本泛化能力，同时保留了关键的时空与频谱神经动力学特征。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
人类大脑是一个广阔而寂静的剧场，外界的信息在这里不断被转化为电信号。当你注视一个场景时，光线击中了你的眼睛，但真正的运作发生在你的头颅内部——在那里，数十亿个神经元以复杂且快速的模式放电，从而理解你所看到的内容。几十年来，科学家们一直试图通过脑电图（EEG）来倾听这种电信号的对话，这是一种通过在头皮上放置传感器来记录这些微小电压变化的测量方法。虽然脑电图在捕捉大脑活动的速率方面表现出色（精确到毫秒级），但传统上它一直是一条“单行道”：研究人员记录大脑对图像的反应，然后尝试推测这个人当时在看什么。这就像是仅仅通过观察观众在演出结束后的反应，来试图理解一部电影。一个更强大、但也更困难的目标是逆转这个过程：在一个人看到图片之前，就精准地预测其特定的脑电活动将如何反应。这需要一个不仅能理解图像，还能理解每个人独特大脑连接方式的模型。
在一项新的研究中，研究人员构建了一个计算机系统，实现了这一目标，有效地教会了机器像人类大脑一样去“看”。由复旦大学和上海交通大学科学家领导的团队创建了一个框架，该框架以自然照片作为输入，并生成一份关于一个人整个头部会发生何种详细电活动的预测。他们不仅仅是在猜测一种通用的模式；他们训练该系统为十个不同个体生成特定的、包含63个通道的电信号图谱。该系统的工作原理是首先分析图像的视觉细节，然后利用复杂的神经网络来模拟这些视觉信息如何在脑电回路中传播。其结果是，预测的脑电信号与真实信号高度吻ard，能够捕捉到大脑反应的节奏、时序和含义。
研究人员使用大量自然图像和来自十名志愿者的脑电记录对该系统进行了测试。他们让计算机展示了志愿者在训练阶段从未见过的动物、车辆和工具的图像。随后，计算机生成了每个人对应的脑电波预测。当他们将这些预测与实际的脑电记录进行对比时，发现匹配度最高的地方是在后脑部，即被称为枕叶的区域，这是大脑的主要视觉中心。在这个区域，预测的电波与真实的电波如此接近，以至于看起来几乎完全一致，保留了大脑对图像初始反应的精确时序。该系统的预测速度在十分钟以内，这一速度表明它未来有望应用于实时应用场景。
这项成就之所以特别重要，是因为计算机生成的不仅仅是模糊的大脑活动平均值。它捕捉到了每个人大脑特有的、独特的特征信号。预测的信号保持了脑电波正确的节奏，包括在不同大脑部位占主导地位的特定频率。它们还保留了大脑对不同类型物体反应的细微差异。例如，该系统可以区分出大脑对汽车图片和狗图片的反应，保持了每种物体信息的独特“形状”。这意味着该模型学习的是视觉信息转化为神经活动的深层结构性规则，而不仅仅是记忆特定的例子。
研究还表明，大脑对图片的反应并非单一、统一的事件，而是一个随时间和空间展开的复杂连锁反应。计算机成功重现了大脑在最初识别形状时发生的瞬时、闪现式的电活动，以及随后大脑处理其含义时产生的更缓慢、更复杂的波动。通过分析不同脑区的数据，研究人员发现，预测在后脑部以及较慢的节律性脑电波方面最为准确，而在前脑部和极快的、高频的信号方面则较难预测。这种准确度的梯度反映了人类视觉系统的自然组织结构，即后脑是接收视觉输入的首要位置。
为了确保他们的模型确实是在学习图像与大脑活动之间的联系，而不仅仅是基于通用模式进行猜测，研究人员进行了严格的检查。他们将针对正确图像预测出的脑电波与针对随机、不匹配图像预测出的脑电波进行了对比。系统始终能为正确的图像产生更好的匹配，证明它已经学会了将特定的视觉细节与特定的神经反应联系起来。此外，当他们在另一组不同人群的脑电记录上测试该系统时，同样的模式依然成立，这表明计算机学到的规则是稳健的，并不局限于单一数据集。
这项工作代表了理解物理世界与我们内在体验之间桥梁的重要一步。通过成功地从图像预测个体大脑反应，研究人员创造了一个工具，可以帮助科学家在无需对每个人都进行记录的情况下研究大脑如何处理视觉。它也为测试人工智能开辟了新途径，允许研究人员观察计算机视觉模型是否表现得像人类大脑一样。尽管目前的系统在后脑部效果最好，且需要针对个人进行训练，但它为实现一个能够高精度模拟人类大脑对世界反应的未来奠定了清晰的路径。该研究证实，大脑对我们所见之物的电信号反应并非随机噪声，而是一种高度结构化、可预测且具有个体化的信号，可以被机器解码并重构。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。