这篇论文介绍了一项名为 ETHOS 的有趣实验,它试图解决虚拟现实(VR)中一个最大的痛点:“看得见,摸不着”。
想象一下,你在 VR 里和一个虚拟朋友击掌。你的眼睛看到了他的手伸过来,但你的手掌却穿过了空气,什么感觉都没有。这种“隔靴搔痒”的感觉会让虚拟世界显得不真实。
为了解决这个问题,研究团队设计了一套系统,让虚拟的互动变成真实的物理接触。
🤖 核心概念:ETHOS 是什么?
你可以把 ETHOS 想象成一个**“隐形的大力士”**。
- 场景:你戴着 VR 眼镜,站在一个虚拟的森林里。
- 角色:一个虚拟的机器人朋友出现在你面前。
- 秘密武器:在你看不见的地方(被虚拟场景挡住了),有一台真实的机械臂。
- 魔法时刻:当虚拟朋友伸出手要和你“击掌”或“递东西”时,那台隐藏的机械臂会迅速移动,把真实的道具(比如一个硅胶拳头或一根棍子)送到你手边。
- 结果:你的眼睛看到虚拟手,你的手却实实在在地摸到了真实的物体。这就叫**“遭遇型触觉显示”**(Encountered-Type Haptics)。
🎮 他们做了什么实验?
研究人员设计了三种常见的社交动作,并测试了三种不同的“物理程度”:
- 纯虚拟(NP):就像普通的 VR 游戏,你伸手去碰,但什么都碰不到(只有空气)。
- 静态物理(SP):机械臂把道具停在那里不动,等你伸手去摸它。就像你伸手去摸桌子上的杯子。
- 动态物理(DP):这是最酷的。机械臂不仅把道具送过来,还会跟着你的手动。比如击掌时,它会主动迎向你的手,模拟真实击掌时的“撞击感”和“跟随感”。
🧪 实验发现了什么?
研究人员找了 55 个人来体验,并问他们感觉如何。结果非常直观:
1. “摸得着”真的比“看不见”好太多!
- 纯虚拟(NP):大家觉得最假,最没意思。就像你在梦里想握手,却握了个空。这种“穿模”的感觉让人瞬间出戏,觉得“这只是一场梦”。
- 加上物理接触(SP 和 DP):只要手能碰到真实的东西,大家的沉浸感(Presence)、真实感和快乐程度都瞬间飙升。
- 比喻:这就好比看 3D 电影(有眼镜但没触感)和去游乐园坐过山车(有风、有震动、有失重感)的区别。一旦有了真实的触感,虚拟世界就“活”了。
2. “会动的”比“不动的”更好吗?
- 大家原本以为,动态物理(DP)(会动的)应该比静态物理(SP)(不动的)体验更好。
- 结果有点意外:虽然动态物理让“总体的沉浸感”稍微高了一点点,但在真实感和舒适度上,它并没有比静态物理好多少,甚至有时候因为配合得不够完美,让人觉得有点“突兀”或“奇怪”。
- 比喻:想象一下,静态物理就像有人把球稳稳地递到你手里;动态物理就像有人试图和你玩抛接球。如果抛接球的人动作稍微慢了一拍,或者力度不对,你反而会觉得“哎?这球怎么撞我手上了?”而不是“哇,好自然!”。这说明,让机器人完美地模仿人类的动态互动,技术难度非常高。
3. 不同的动作,感觉不一样
- 递东西和碰拳:加上物理接触后,感觉非常棒,很真实。
- 击掌(High Five):大家觉得那个硅胶手掌做得还不够像真手,所以即使有物理接触,大家还是觉得“这手感怪怪的”。这说明道具做得像不像也很重要。
💡 这个研究意味着什么?
- VR 的未来需要“触觉”:现在的 VR 太依赖眼睛和耳朵了。如果想让虚拟社交(比如和虚拟朋友握手、拥抱)变得真实,必须要有真实的物理接触。
- 技术已经可行,但还不够完美:这套系统能把虚拟和现实的位置对齐到5 毫米以内(比指甲盖还小),延迟也很低,人类几乎感觉不到。这证明了技术上是行得通的。
- 未来的挑战:现在的难点不在于“能不能碰到”,而在于“怎么碰得自然”。机器人需要更聪明地控制力度和速度,不能只是机械地撞过来,而要像真人一样有“弹性”和“默契”。
🌟 总结
这篇论文告诉我们:在虚拟世界里,如果你能真正“摸”到朋友,你们的关系就会变得真实。
ETHOS 就像是一个神奇的桥梁,它把冰冷的机械臂藏起来,只让你感受到温暖的互动。虽然现在的“动态互动”还有点生涩,但它已经成功证明了:只要加上真实的触感,虚拟世界就不再是冷冰冰的屏幕,而是一个可以真正“生活”其中的地方。
这是一份关于论文《Exploring Immersive Social–Physical Interaction with Virtual Characters through Coordinated Robotic Encountered-Type Contact》(通过协调的机器人遭遇式接触探索与虚拟角色的沉浸式社会 - 物理交互)的详细技术总结。
1. 研究背景与问题 (Problem)
- 现有 VR 的局限性: 当前的虚拟现实(VR)体验主要依赖视听感官,缺乏物理接触。当交互需要物理参与(如传递物体、击掌)时,现有的触觉技术(如振动、电刺激)往往只能提供抽象的反馈,难以模拟真实的力觉和本体感觉,导致沉浸感(Presence)和真实感(Realism)不足。
- 社会 - 物理交互(Social-Physical Interaction)的挑战: 在机器人学(HRI)中,社会 - 物理交互(如握手、击掌、传递物品)已被证明能带来有意义的人类体验。然而,将这些交互引入 VR 环境极具挑战性,因为需要在虚拟环境中重现真实的物理接触,同时保持社交线索的自然性。
- 核心问题: 如何利用“遭遇式触觉显示”(Encountered-Type Haptic Displays, ETHD)技术,在 VR 中实现与虚拟角色的直接、协调的物理接触,并评估这种物理接触如何影响用户的沉浸感、真实感和社会连接?
2. 方法论与系统设计 (Methodology)
研究团队开发了一个名为 ETHOS (Encountered-Type Haptics for On-demand Social interaction) 的实验平台,旨在将物理机器人与虚拟环境无缝结合。
2.1 系统架构
ETHOS 由三个主要子系统组成:
- 物理子系统:
- 机器人: 使用 KUKA LBR iiwa 7 R800 力控机械臂(7 自由度),以 1000 Hz 的频率进行实时控制。
- 道具: 机械臂末端装有可互换的物理道具,包括 3D 打印的接力棒(用于传递)、硅胶拳头(用于碰拳)和硅胶手掌(用于击掌)。道具内部嵌有钢丝以模拟骨骼结构。
- 传感器: 末端装有六轴力/力矩传感器,用于检测接触力并触发交互完成。
- 虚拟子系统:
- 硬件: Meta Quest 3 头显,利用其原生手势追踪功能。
- 环境: 基于 Unity 开发的森林环境,包含一个拟人化的虚拟角色。
- 社交线索: 虚拟角色通过挥手、眼神接触、姿态调整(如伸出手臂)来引导交互,弥补机器人被隐藏后的社交缺失。
- 物理 - 虚拟协调子系统:
- 注册与对齐: 使用 ChArUco 标记板和头显摄像头进行基于标记的物理 - 虚拟空间注册,建立共享坐标系。
- 通信: 通过 UDP 协议在头显(
90 Hz)和机器人(1000 Hz)之间双向传输状态数据。
- 安全机制: 基于用户位置监控,防止用户进入机器人工作空间,并配备紧急停止按钮。
2.2 交互控制策略
研究对比了两种物理渲染策略:
- 静态物理性 (Static Physicality, SP): 机器人将道具移动到预定位置并保持静止,用户主动接触。这代表了传统的 ETHD 方法。
- 动态物理性 (Dynamic Physicality, DP): 机器人根据用户的实时手部位置动态调整轨迹。系统采用加权平均算法,在交互初期平滑过渡到初始轨迹,随后逐渐向用户当前手部位置偏移,以模拟自然的接触和冲击力。
2.3 实验设计
- 用户研究: 招募了 55 名参与者,进行混合因子实验设计。
- 交互类型: 三种社会 - 物理交互:物体传递(Object Handover)、碰拳(Fist Bump)、击掌(High Five)。
- 实验条件: 每种交互类型下,参与者经历三种条件:
- 无物理性 (NP): 纯虚拟交互,无触觉反馈(基线)。
- 静态物理性 (SP): 机器人提供静止的物理道具。
- 动态物理性 (DP): 机器人提供动态移动和冲击的物理接触。
- 评估指标: 使用多模态存在感量表(MPS)评估物理、社会和自我存在感;自定义问卷评估真实感、愉悦度、舒适度和与角色的连接感。
3. 关键贡献 (Key Contributions)
- ETHOS 平台的设计与实现: 构建了一个能够支持 VR 中动态社会 - 物理交互的遭遇式触觉显示系统,成功将力控机器人隐藏在虚拟环境之后。
- 技术可行性表征: 量化了系统的空间对齐精度(平均误差 5.09 ± 0.94 mm)和交互延迟(平均 28.58 ± 31.21 ms),证明其性能低于人类可感知的阈值。
- 实证评估: 首次将社会 - 物理 HRI 范式引入沉浸式 VR,并通过用户研究揭示了不同物理渲染级别(无、静态、动态)对用户主观体验的影响。
4. 研究结果 (Results)
4.1 技术性能
- 空间对齐: 物理与虚拟道具的对齐误差约为 5mm,远低于 1cm 的感知阈值,确保了交互的可行性。
- 时间延迟: 平均交互延迟约为 28.6ms,低于大多数触觉反馈任务的感知阈值(通常为 50-100ms),但在动态追踪下部分样本的标准差较大,表明极端情况下可能存在可感知的延迟。
4.2 用户体验评估
- 物理性的必要性: 与纯虚拟基线(NP)相比,引入物理接触(SP 和 DP)在所有主要指标上均有显著提升。
- 存在感 (Presence): 物理条件显著提高了总存在感、物理存在感、社会存在感和自我存在感。
- 真实感 (Realism): 物理接触显著提升了交互的真实感。
- 连接感 (Connection): 物理接触显著增强了用户与虚拟角色的情感连接。
- 静态 vs. 动态 (SP vs. DP):
- 总体表现: 动态物理性(DP)在总存在感上略优于静态物理性(SP),但在真实感、愉悦度、舒适度和连接感上并未表现出统计学上的显著优势。
- 交互类型差异: 对于“物体传递”和“碰拳”,物理接触显著提升了真实感;但对于“击掌”,不同物理条件下的真实感评分无显著差异,这可能与硅胶手掌道具的保真度不足有关。
- 用户反馈: 部分用户反馈 DP 交互有时感觉“不协调”或“生硬”,表明动态控制策略的精度和时序协调对体验至关重要。
5. 研究意义与结论 (Significance & Conclusion)
- 理论意义: 本研究证实了“物理接触”是构建沉浸式社会 - 物理交互体验的关键要素。即使没有复杂的动态运动,简单的静态物理接触也能显著提升 VR 中的真实感和社交连接。
- 技术启示:
- 隐藏式机器人设计: 证明了将机器人隐藏在虚拟环境后,仅通过虚拟角色引导,依然可以实现高质量的物理交互,这为未来的 HRI 设计提供了新范式。
- 动态控制的挑战: 虽然动态物理性(DP)在理论上更自然,但目前的控制策略(如统一的轨迹生成和简单的力阈值检测)尚不足以在所有交互类型中稳定超越静态方案。未来的系统需要更精细的交互特定轨迹生成和顺应性控制。
- 未来方向: 研究指出需要改进虚拟角色的行为逼真度(目前被部分用户认为“缺乏生气”),优化道具的材料特性,并开发更具适应性的个性化交互策略,以进一步提升用户体验。
总结: 该论文成功展示了通过协调的机器人遭遇式触觉技术,可以在 VR 中实现具有社会意义的物理交互。研究结果表明,引入真实的物理接触(即使是静态的)能极大地增强用户的沉浸感和社交连接,而动态交互的进一步优化则是提升体验的关键方向。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。