Hierarchical Uncertainty Transformation During Multimodal Comprehension

人类的交流很少是简单的语言流。在面对面的交谈中，意义是通过言语和手势交织而成的复杂网络传递的，两者各自以不同的速度运动并承载着各自的分量。有时，一个手势能澄清模糊的词汇；有时，一段话语能让混乱的动作变得有意义。大脑必须将这些独立的线索编织成一个连贯的理解，即使来自每个来源的信息是不完整或模糊的。几十年来，科学家们一直认为大脑将这一过程视为一个概率问题：它同时在大脑中保留多种可能的含义，权衡每种含义的可能性，并在更多证据到达时确定最佳匹配。主流观点认为，随着我们接收到更多信息，大脑只是在减少不确定性，不断缩小可能性范围，直到答案变得清晰。

一项新的研究挑战了这种简单的“稳步减少”的想法。中国科学院心理研究所的研究人员提出，大脑不仅仅是在降低不确定性的音量，它实际上在处理不同的计算层级时，改变了不确定性的本质。通过观察人们如何实时解读手势和语音片段，研究团队发现不确定性以三种截然不同且相互关联的方式发生转化。它始于单一感官内部的困惑，随着感官之间的相互作用而发生转变，最后在脑部将两者融合成单一意义时，沉淀为一种新的形式。这一过程并非固定的步骤序列，而是一个根据每个来源可用信息的多少而进行自我重组的灵活系统。

为了揭示这一隐藏的架构，研究人员设计了一系列实验，使他们能够精确控制手势与语音片段中各自包含的意义量。他们记录了人们做手势动作的视频以及说话时的音频。在初步测试中，他们确定了手势或单词变得足够清晰以供人识别其含义的精确时刻。随后，他们将视频和音频切割成三种类型的片段：长度短到无法理解的片段、长度刚好足以识别的片段，以及较长且完全清晰的片段。通过将这些片段进行混合匹配，他们创造了各种场景：两种信号都不清晰、其中一种清晰而另一种不清晰，以及两者都清晰的情况。

在行为实验中，研究人员通过命名任务（naming task）来评估不确定性。参与者被要求说出他们所看到和听到的内容。研究人员利用基于信息论的数学方法，测量不确定性不是一个单一的数字，而是一个不断变化的可能性的景观。对于每种刺激条件，研究人员汇总了参与者在相关行为实验中的命名反应；通过报告的动词相对频率估计出一个概率分布，并从中计算出香农熵（Shannon entropy）来表征不确定性。他们发现，不确定性的表现方式取决于大脑处于处理过程中的哪个计算层级。

研究人员通过另一项独立的脑电（EEG）实验来观察大脑的神经活动。在这一实验中，参与者被要求判断说话者的性别，这使得研究人员能够在不需要显式语义判断的情况下，检查手势与语音的隐式语义整合。

该研究框架区分了三个相互依赖的计算层级。第一个计算层级涉及每个感官自身的内部不确定性。研究人员发现，随着手势或语音片段变得越来越长、越来越清晰，可能的含义数量就会下降，大脑的不确定性也会随之降低。这是熟悉的缩小选项的过程。然而，当两种感官同时呈现时，情况发生了变化。当清晰的语音信号与模糊的手势配对时，大脑并不仅仅忽略那个模糊的手势，而是根据语音主动重塑了该手势的不确定性。反之，清晰的手势也可以重塑模糊单词的不确定性。至关重要的是，这种重塑是非对称的，每种模态对另一种模态解释的影响取决于每种模态中可用的语义信息。

第二个计算层级涉及感官之间的相互作用（即一种信号重塑另一种信号的过程）。第三个计算层级则是多感官融合，即两种信号合并为单一理解。研究人员发现，最终结果的不确定性不能简单地通过累加前几个步骤的变化来解释。相反，大脑创造了一种属于组合系统的、新型的不确定性。

为了观察大脑如何处理这些不同的计算层级，团队使用头皮传感器记录了参与者的脑电活动。他们寻找与计算出的不同类型不确定性相对应的特定脑波模式。结果显示，大脑表达这些不同形式不确定性的方式有着明确的分离，但这些神经关联是部分重叠的，且其时序会根据语义配置而变化。

模态特异性的不确定性（modality-specific uncertainty）的关联并不局限于早期时间窗。双向的跨模态不确定性转化——即手势和语音增益的相互影响——已经与早期 N1-P2 范围内的活动相关联，并且根据模态和语义配置的不同，还伴随着额外的 N400 关联。多感官融合（由对齐的融合熵和单位增益所表征）在 N400 范围内表现出尤为一致的关联。N400 是一种对依赖于语境的语义处理敏感的事件相关电位成分，包括语音和手势间意义的整合。这表明，虽然大脑在处理这些层级时遵循大致的逻辑，但其时序是灵活且高度重叠的。

或许最重要的一点是，这项研究表明整个系统是动态的。大脑表达不同类型不确定性的方式，会根据清晰信号与模糊信号的具体组合而改变。当手势和语音都模糊时，大脑的反应看起来与其中一个清晰而另一个不清晰时不同。神经信号并不遵循一套僵化、不变的剧本。相反，大脑会根据具体情境的需求进行实时重组。这种灵活性表明，大脑并非只是被动地等待信息到达然后减少不确定性，而是在对话展开的过程中，主动重构其处理不确定性的方式。

研究人员还使用统计模型证明了这三个计算层级是深度关联的。大脑在中期层级转化不确定性的方式，与它在最终层级融合信号的方式直接相关。这种联系并非固定不变，而是随着手势或语音中哪一个信号更清晰而发生偏移。这一发现支持了这样一种观点，即大脑作为一个统一的层级系统运行，不同的处理层级不断相互影响。该研究并非否定了证据积累的观点，而是表明多模态理解涉及不确定性计算形式的转化，并伴随着证据积累过程中其量级的变化。

这项工作为理解我们在信息来自多个来源时如何理解世界提供了一个新的框架。它表明，大脑理解复杂交流的能力依赖于其转化不确定性、而非仅仅是减少不确定性的能力。通过认识到不确定性在不同计算层级中会改变其本质，科学家可以更好地理解大脑如何从碎片化和模糊的信号中构建出连贯的现实。这些发现为人类交流的复杂机制提供了洞察，揭示了通往理解之路并非一条递减怀疑的直线，而是一场关于重组与适应的动态旅程。