EEG decodability of facial expressions and their stereoscopic depth cues in immersive virtual reality
本研究表明，尽管具有立体视觉深度线索的沉浸式虚拟现实会引发独特的深度处理神经特征，但面部表情的神经表征对于这些深度变化保持稳健且不变，从而验证了在全沉浸式虚拟现实中利用脑电图（EEG）来研究自然主义面部感知的可行性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
人类的面孔是我们所遇到的最重要的视觉信号。它们让我们能够识别朋友、陌生人以及他们正在感受的情绪，且通常只需极短的时间。尽管我们对大脑如何处理这些信号已有深入了解，但大多数科学研究仍依赖于在电脑屏幕上展示的扁平二维图像。这种方法忽略了现实生活中视觉的一个关键部分：深度。在自然界中，我们以三维方式观察面孔，我们的双眼捕捉到略有差异的图像，大脑将这些图像融合在一起，从而创造出空间感和形状感。这种被称为立体视觉深度的融合，是帮助我们理解周围世界的强大线索。然而，目前尚不清楚这种额外的深度信息层是否会改变大脑识别微笑、皱眉或惊讶表情的具体方式，或者大脑是否将情绪和深度作为两个独立的流进行处理。
为了回答这个问题，研究人员设计了一个实验，将面部感知带回了三维世界。他们邀请了三十四名参与者佩戴虚拟现实（VR）头显，同时记录他们的脑电活动。在虚拟世界中，参与者看到计算机生成的面孔漂浮在他们面前。这些面孔展示了四种截然不同的情绪：快乐、愤怒、惊讶和中性表情。实验设计了一个巧妙的转折：在一半的实验次数中，面孔以完整的立体深度呈现，这意味着虚拟摄像机模拟了左右眼之间细微的视角差异，创造了真实的3D效果。在另外一半的实验次数中，研究人员展示了完全相同的面孔，但将其压平为二维图像，在保持其他所有视觉细节完全一致的同时，去除了深度线索。参与者的任务仅仅是注视面孔，然后识别它所展示的是哪种情绪。
研究人员使用了一种称为多元解码的方法来分析大脑信号。该技术并非寻找特定时刻的单一电活动峰值，而是观察整个大脑复杂的电活动模式，以查看其中是否包含足以区分一种情绪与另一种情绪的信息。结果清晰且稳健：大脑信号可靠地包含了关于参与者所见情绪的信息。研究人员可以仅根据从头皮记录到的电活动模式，成功区分出快乐的面孔与愤怒的面孔，或者惊讶的面孔与中性面孔。这证实了即使在增加了虚拟现实头显的复杂性后，大脑对面部表情的反应依然足够强烈，可以被测量和解码。
然而，最重要的发现是当研究人员比较两种观看条件时发生的情况。他们曾预期看到全三维的面孔可能会改变大脑处理情绪的方式，例如使识别过程更快或使大脑信号更强。相反，他们发现无论面孔是在3D还是2D状态下，大脑解码情绪的能力都是完全相同的。立体的存在并未改变情绪的神经特征。大脑似乎将情绪表达视为一个稳定的特征，无论深度线索如何变化，该特征都保持不变。这表明，对于从正面观察的清晰静态面孔，大脑提取情绪含义的过程是独立于空间深度信息的。
研究还观察了大脑是否能分辨出3D和2D这两种情况。答案是肯定的。当研究人员训练一个专门用于寻找深度线索的解码器时，他们发现大脑信号中出现了一种独特的模式，这种模式在面孔出现后的极短时间内（不到一秒）就出现了。这一模式表明，大脑确实在处理深度信息，但其处理方式并不会干扰或改变情绪的处理。这两类信息——深度与表情——在脑中同时存在，但似乎是由不同的机制处理的。
为了确保这些发现不是大脑电信号的人为产物，研究人员还追踪了参与者的注视点。他们发现，虽然人们的眼睛会根据情绪产生轻微的不同移动，但这些眼动并不能解释大脑的信号。大脑在眼睛甚至还没来得及移动到聚焦于特定特征之前，就已经解码了情绪；此外，大脑信号中包含的关于面孔深度的信息，也是眼动所无法体现的。这证实了实验结果是人类大脑处理视觉世界的真实反映，而不仅仅是记录了眼睛看向何处。
最终，这项工作表明，我们现在可以在更加自然的三维环境中研究人类大脑，且不会失去传统实验室方法的精确度。它揭示了虽然我们的大脑对面部的深度非常敏感，但面部表情的核心表征却保持着惊人的稳定性。无论我们是在一张扁平的照片中看到朋友的微笑，还是在三维空间中看到它，大脑对于那种情绪的基本编码似乎始终如一。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。