Neural tracking of surprisal and semantic distance in naturalistic movie viewing
通过使用参与者观看长篇电影时的 fMRI 数据，本研究表明，在自然主义视听语言理解过程中，人类大脑在双侧颞叶和额叶区域中，追踪惊奇度（surprisal）和语义距离（semantic distance）作为神经活动的独特预测因子。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
当我们聆听一个故事时，我们的大脑不仅仅是声音的被动记录器；它们是活跃的预测器，不断根据我们已经听到的内容来猜测接下来的内容。这一过程依赖于两种截然不同但又相关的心理工具。第一个是概率感：给定之前的词语，下一个词出现的可能性有多大？如果一个句子以“天空是”结尾，我们的大脑会强烈预期下一个词是“蓝色的”，而那个词的出现会让人觉得并不意外。如果句子以“天空是”结尾，而下一个词是“香蕉”，大脑就会措手不及。这种措手不及的感觉被称为“惊异度”（surprisal）。第二个工具是意义的衡量，即当前的词与我们刚刚处理的思想之间的关联程度。即使一个词在统计学上不是最可能的，它仍可能完美契合对话的主题。理解大脑如何利用这两种不同类型的信息——统计可能性和语义相关性——来理解语言，是神经科学中的一个核心问题，尤其是在我们沉浸在像看电影这样丰富的现实世界环境中时。
一个研究小组致力于探索人类大脑在人们观看完整电影时是如何追踪这两种特定信号的。他们招募了二十名从未看过 2009 年电影《怦然心动》（500 Days of Summer）的成年人，并要求他们在躺在功能性磁共振成像（fMRI）扫描仪内时观看这部时长超过九十分钟的整部电影。这台机器让科学家们能够在故事展开的过程中实时观察大脑的活动。为了理解大脑正在做什么，研究人员首先将电影的音频和视频轨道分解为数千个微小的特征点。他们测量了从屏幕亮度、摄像机运动到对话音量以及特定词汇出现频率的一切数据。随后，他们为电影中说出的每一个词计算了两个复杂的数值：一个代表基于前文语境该词的惊异程度，另一个代表该词与之前词语之间的语义距离或接近程度。
利用一种先进的计算机建模技术，研究人员建立了一系列逐步预测的模型，以观察哪些数据点能最好地解释他们在脑中观察到的活动模式。他们从最简单的因素开始，例如屏幕上的视觉变化和原始音量。这些基础特征成功预测了大脑后部（视觉处理发生处）以及大脑侧部（声音最初接收处）的活动。随着他们加入更复杂的语言特征，例如一个词在一般情况下的使用频率或有多少个同音词，预测效果得到了提升，并扩展到了涉及语言和记忆的区域。最后，他们加入了两个最感兴趣的变量：词语的统计惊异度和它们的语义距离。结果显示，加入这两个因素显著提高了预测大脑活动的能力，特别是在负责处理言语的大脑侧部区域——颞上回，以及左前额叶。
最关键的发现是，这两个因素并非在做同样的工作。即使在研究人员考虑了一个因素的影响之后，另一个因素仍然能解释独特的脑活动变化。这表明，大脑在同时追踪词语出现的统计概率和概念之间的联系，并使用两个互补的系统。虽然这两种信号都激活了颞叶中的相似区域，但词语的统计惊义度还显示出与小脑的一个特定区域的独特联系，小脑位于颅骨底部，通常与协调和计时有关。这一发现表明，大脑的预测机制是非常细致的，它将“什么很可能发生”和“什么符合意义”作为两个独立但平行的信息流进行处理。
这些结果具有重要意义，因为它们超越了传统实验室研究中受控且安静的环境。以往关于语言预测的研究通常依赖于人们听取孤立的句子或在静默中阅读文本。通过使用一部完整的电影，研究人员证明了即使在大脑受到复杂的视觉场景、音乐和情感叙事轰炸时，它仍然在追踪这些微妙的语言信号。这项研究证实，大脑预测语言的能力是稳健的，并且深度整合到我们体验世界的方式中，即使在输入信息丰富、多模态且不可预测的情况下也能有效运作。这项工作并不声称已经解开了语言处理的所有谜团，但它提供了强有力的证据，证明我们的大脑在不断对听到的词语进行两种不同类型的检查，以确保我们不仅理解正在说什么，还理解这些话在故事流中为何具有意义。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。