Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

在虚拟现实的共享空间中，人们以数字化身的形式相遇，进行建造、设计或仅仅是聚在一起，但一个根本性的挑战依然存在：当你看不到对方时，你如何知道你的伙伴正在做什么？在物理世界中，我们的感官提供了关于周围人的持续、低水平的信息流。我们会听到脚步的挪动声、椅子的吱呀声或衣物的摩擦声，这些声音在无需直接注视的情况下，就能告诉我们某人在哪里以及正在做什么。这种背景感知让我们能够在无需频繁眼神交流的情况下并肩工作。然而，在虚拟环境中，这些自然的声响往往是缺失的。用户受限于头显提供的狭窄视野，且他们所 inhabits 的数字分身并不会自然地产生移动时的偶然噪音。由于缺乏这些线索，协作人员必须不断转头去查看彼此，从而打破专注力并干扰工作的流畅性。研究人员长期以来一直在寻求填补这一感官空白的方法，探索在虚拟世界中添加人工声音是否能恢复那种失去的共享存在感。

来自筑波大学的一个研究小组试图通过在协作式虚拟现实任务中引入两种不同类型的声音来测试这个想法。他们想看看通过声音听到伙伴的活动是否会改变人们的协作方式、对彼此的感觉以及身体的运动方式。为此，他们邀请了24名学生进入一个虚拟房间执行一个积木组装任务。参与者两人一组，轮流担任“导演”和“执行者”。导演可以看到结构的蓝图，并必须通过语言指导执行者，而执行者则必须在房间内的四个不同桌子之间寻找正确的积木，并将它们带到中央桌子。研究人员为这些配对创造了三种不同的聆听环境。在第一种情境中，除了他们的说话声外，没有任何额外的声音。在第二种情境中，每当有人行走时，系统都会播放脚步声。在第三种情境中，系统生成一种连续的、抽象的声音，这种声音的大小取决于一个人整体身体活动的剧烈程度，而不仅仅是脚步。这种第三种声音旨在作为一种音响化（sonification）手段，即一种将一般的活动水平转化为跟随虚拟分身在房间内移动的噪音音量的手段。

研究表明，添加这些声音并没有显著改变体验的整体感受或配对完成任务的速度。当参与者在事后被问及与伙伴的临场感如何，或者对另一方的喜爱程度如何时，无论是在听到脚步声、抽象噪音还是静默的情况下，他们的回答都是一样的。他们并未报告说某种声音让任务变得更容易，或者让伙伴显得更友好。此外，研究人员发现，这些声音并没有导致人们更频繁地转头去看他们的伙伴。即使当伙伴在他们身后、处于视线之外工作时，听者也没有因为这些新声音而一致地转头。这表明这些声音并不像是一个直接的观察指令，也没有从根本上改变协作中的社交氛围，以至于参与者能够轻易描述出来。

然而，对数据的深入观察揭示了一种更微妙且特定的行为变化。研究人员发现，这些声音确实影响了“执行者”的移动方式，但仅限于非常特定的情况。当执行者在位于导演正后方的桌子旁寻找积木时，他们的运动模式会根据播放的声音而改变。在可以听到脚步声的情境下，执行者在搜索过程中移动的距离明显增加，且移动花费的时间也比静默情境更多。在抽象噪音的情境下，他们也花费了更多时间在移动上，尽管移动的距离不及脚步声情境。这表明，当执行者在导演的视觉盲区工作时，声音的存在似乎鼓励了他们的移动，或许是为了表明自己的存在，或是为了产生声音本身。这种效应并非贯穿整个任务的普遍活动量增加；它似乎只出现在两人空间关系导致视觉接触困难且需要搜索任务的时候。

研究人员还倾听了参与者对自己体验的描述，以理解他们是如何解读这些声音的。许多人将脚步声描述为一种清晰的信号，表明有人正在行走或停止，是声音与特定动作之间的直接联系。相比之下，抽象噪音常被描述为一种背景嗡鸣或环境音，一些参与者不确定它究竟意味着什么，而另一些人则觉得它仅仅是在告诉他们伙伴正处于活跃状态。这种差异凸显了设计中的一种权衡：模仿现实世界事件的声音易于理解，但只能告知关于那单一事件的信息；而抽象声音可以涵盖更广泛的活动，却更难解读。研究表明，在协作式虚拟现实中，这些与活动相关的声音并不是视觉信息的替代品，也不是让每个人都感到更亲近的灵丹妙药。相反，它们充当了一种外周线索，一种微妙的信息层，只有在视觉连接中断且了解伙伴位置的需求变得至关重要时，才会发挥作用。研究结果表明，这类声音的价值在很大程度上取决于工作的语境和协作者的物理关系，而非在整个体验过程中提供持续的益处。