Visual speech enhances phoneme separability in human superior temporal gyrus

人类语言是多感官工程的一项卓越成就。虽然我们通常认为听觉是一种纯粹的听觉行为，但我们的大脑一直在不断地将声音与视觉编织在一起，以理解所说的话语。这在嘈杂的环境中尤为明显，因为看到说话者的嘴唇运动可以从背景杂音中拯救一个模糊的词汇。几十年来，科学家们一直知道这种视觉信息有助于我们更好地理解语言，但其在大脑内部的具体机制一直是一个谜。看到嘴巴运动仅仅是让声音的原始声学细节变得更清晰，就像调大收音机的音量一样吗？还是它帮助大脑将声音组织成有意义的类别，例如不同的字母或单词，甚至在我们意识到自己在聆听之前就已经完成了这一过程？理解这一区别至关重要，因为它揭示了人类大脑是如何从我们每天接收到的混乱感官输入中构建意义的。

为了回答这个问题，研究小组转向了一群独特的志愿者：十二名患有癫痫的成年人，他们当时正在接受植入大脑电极的临床监测。这些身为英语母语者的患者同意参与一项研究，并在研究过程中记录其大脑活动。研究人员将注意力集中在一个被称为颞上回的特定区域，该区域已知对语言处理至关重要。参与者被要求观看并聆听一系列短促的单音节词汇。这些词汇经过精心挑选，由四种不同的起始音和四种不同的结尾音组成，从而创造了十六个独特的单词。这些单词以三种不同的方式呈现：仅声音、只有说话者面部的视频（无声音），以及声音与视频同步结合的形式。在结合条件下，说话者嘴部的视觉线索在声音到达之前稍稍提前开始，模拟了看到手势与听到声音之间的自然延迟。

实验的核心在于聆听患者在处理这些单词时发出的电信号。研究人员不仅观察患者是否能听到这些单词；他们还使用一种计算机算法来解码大脑信号本身。通过分析电活动的模式，该算法试图猜测患者正在听到或看到的单词。这使得科学家能够精确观察大脑在任何给定时刻保留了哪些信息。他们从三个不同的细节层面检查了大脑的反应：声音的具体物理特征、被称为音素的离散字母单元，以及完整的单词本身。

结果显示出一个清晰且特定的模式。当患者在看到说话者面部的同时听到声音时，他们的大脑在区分不同单词和不同音素方面的能力显著增强。大脑信号变得更加清晰，使得计算机能够以更高的置信度识别出正确的单词。然而，这种提升并没有发生在最基础的声学特征层面。视觉信息并没有使语音的原始声学细节变得更尖锐或更清晰。相反，视觉输入充当了一个过滤器，帮助大脑将声音分类到正确的类别中。看起来，看到嘴部运动有助于大脑做出决定：“这是一个‘b’而不是‘p’”，而不是仅仅让‘b’的声音变得更大或更清晰。这表明大脑利用视觉线索来解决相似类别之间的歧义，有效地锐化了它们之间的边界。

这项研究还揭示了这一过程的时序性。大脑在视觉和听觉线索结合时，比仅呈现声音时能更早地成功识别单词。这种加速在单词的起始音（即出现在音节开头的辅音）上最为显著。视觉线索在声音之前到达，似乎预先引导了大脑去预期一种特定类型的声音，使其能够更快速地处理传入的音频。有趣的是，这种优势并未强烈地延伸到单词的结尾部分，即韵部。视觉益处在对语音进行初始的、范畴性的识别方面表现得最为有力，随后这种识别过程级联式地提升了对整个单词的识别。

这些发现挑战了“视觉仅仅增强原始感官输入”的观点。相反，证据表明，大脑利用视觉信息来完善其内部的语言范畴图谱。通过观察说话者，大脑可以更有把握地将一种声音分配给特定的音素，这反过来又使得识别单词变得更容易。这一过程发生得迅速且自动，发生在作为整合听觉与视觉枢纽的颞上回。这项研究证实，虽然大脑擅长处理声音的物理属性，但它依赖视觉线索将这些属性组织成具有意义的单元，从而实现对语言的理解。这一机制解释了为什么即使在音频失真的情况下，只要能看到对方的脸，我们通常也能完美地理解说话者的意思。视觉输入不仅仅是为声音增添了内容；它从根本上改变了大脑对我们所听到的语音进行分类和解释的方式。