A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

想象一下，你正试图驾驶一辆汽车穿过一个由巨大的、充满雾气的管道组成的迷宫，但你只能看到保险杠正前方一小块摇晃不定的路面。现在，再想象一下，每当你转动方向盘时，汽车都要足足一秒钟后才会移动。对于水下机器人（即遥控潜水器，ROV）的操作员来说，这就是噩梦般的场景。这些机器是深海中的潜水员，被派往人类无法到达的地方，去检查沉船、石油钻井平台和淹没的隧道。但控制它们极其困难。水下通常很浑浊，空间狭窄，而且来自表面的信号传输需要很长时间。这造成了“感知瓶颈”：人类的大脑必须去猜测机器人的位置以及周围的环境，从而导致精神疲劳和错误。科学家们长期以来一直试图通过提供更好的摄像头或振动服来解决这个问题，但他们并不确定哪种方法能真正防止人类大脑在压力下崩溃。

这篇论文深入探讨了这一问题，测试了一种帮助人类控制这些水下机器人的新方法。研究人员构建了一个结合了两种技巧的系统：一个能自动寻找最佳观察角度的“魔眼”，以及一个在机器人过于靠近墙壁时会发出嗡嗡声的“振动背心”。他们在模拟的水下迷宫中测试了这个设置，引入了从零秒到足足一秒不等的控制信号延迟。他们不仅观察了机器人的表现，还将志愿者固定在一种特殊的头盔中，通过测量大脑中的血流量来观察他们的思维运作程度。

结果令人惊讶。当信号传输很快时，振动背心非常出色，它能像朋友轻声提醒一样让机器人保持在直线路径上。但当信号变慢（0.5 到 1.0 秒）时，“魔眼”系统则完胜。该系统使用了一种名为“3D 高斯泼溅”（3D Gaussian Splatting）的前沿技术来构建实时的 3D 水下世界模型，并自动移动虚拟摄像机，为操作员提供清晰的第三人称视角，即使机器人躲在管道后面也能看得清清楚楚。研究发现，这种主动式视角防止了操作员大脑的“掉线”。事实上，当延迟较高时，使用标准摄像头视图的操作员出现了“认知脱节”的迹象——他们的大脑基本上放弃了追踪空间的能力。然而，新系统却能让他们的思维保持活跃并处于控制之中，即使在信号滞后时也能安全导航。

问题所在：在雾气弥漫的管道中盲目驾驶

控制水下机器人就像是戴着拳击手套并通过吸管穿针引线。操作员坐在船上或码头上，看着显示机器人摄像头所见画面的屏幕。但那个摄像头固定在机器人的“鼻尖”上。如果机器人在狭窄的隧道里，操作员直到紧贴墙壁时才能看到墙壁。更糟糕的是，声波在水中的传播速度较慢，因此在操作员按下按钮和机器人实际移动之间通常存在延迟。如果延迟达到 1.0 秒，操作员实际上是在驾驶一辆转向和刹车系统断开了一秒钟的汽车。

在这种情况下，人类大脑必须承担大量的重任。它必须想象隧道的 3D 形状，猜测机器人的位置，并预测它一秒钟后会在哪里。这被称为“心理旋转”，是非常消耗精力的。当延迟过长时，大脑会感到不堪重负。研究人员怀疑，如果他们能将部分这种脑力劳动交给计算机，操作员就能保持冷静和专注。

解决方案：神奇相机与嗡嗡背心

团队创建了一个旨在帮助操作员的新系统，该系统建立在一个连接机器人控制系统（ROS）与游戏引擎（Unity）的框架之上。他们将任务分为两部分：一部分用于预先规划，另一部分用于快速反应。

1. 神奇相机 (DAVS)：
系统不再仅仅展示机器人的“鼻尖视角”，而是利用 3D 高斯泼溅技术构建一个实时的 3D 水下世界地图。可以把它想象成由数百万个代表墙壁、管道和机器人本身的微小、彩色且发光的点组成的云团。因为计算机拥有这个 3D 地图，它可以瞬间生成任何角度的新视图。系统使用“动态自适应视角系统”（DAVS）来不断计算虚拟摄像机的最佳位置。它会寻找一个既能看到机器人又能确保前方路径清晰的位置，然后为操作员渲染出该视图。这就像是有一架无人机自动绕着机器人飞行以展示最佳角度，但这一切都在你的屏幕上瞬间完成。

2. 嗡嗡背心 (触觉反馈)：
虽然神奇相机帮助你规划路线，但第二部分则帮助你做出反应。操作员穿着一件在躯干部位带有小型电机（振动器）的背心。如果机器人在左侧离墙太近，背心的左侧就会震动；如果右侧太近，右侧就会震动。这给了操作员一种感知即时危险的“第六感”，而无需将视线从屏幕上移开。

实验：测试大脑与机器人

为了验证这个新系统是否真的有效，研究人员设计了一个受控实验。他们邀请 30 人参加一个视频游戏，在其中他们需要驾驶一艘模拟的 BlueROV2 穿过一个充满了管道和狭窄缝隙的复杂淹没工业设施。

他们测试了三种不同的机器人控制方式：

1. 自我中心视角 (Egocentric - 基准组)： 仅使用机器人鼻尖的标准摄像头视图。
2. 触觉反馈 (Haptic - 反应型)： 标准视图加上嗡嗡作响的背心。
3. 外部中心视角 (Exocentric - 主动型)： 使用神奇的 3D 摄像头视图 (DAVS)，不带背心。

他们还引入了四种不同的“延迟”或控制信号滞后水平：0.0 秒（即时）、0.2 秒、0.5 秒和足足 1.0 秒。

在参与者玩游戏时，他们戴着一顶特殊的帽子，该帽子利用光线测量其前额叶皮层的血流量——这是大脑负责规划、决策和工作记忆的部分。这使得研究人员能够精确观察大脑的工作强度，而不是仅仅询问参与者感觉有多累。

研究结果：当大脑放弃时

结果显示，根据信号传输的速度，呈现出明显的模式。

当信号传输很快时 (0.0 到 0.2 秒)：
嗡嗡背心是赢家。因为机器人几乎是即时移动的，操作员可以利用振动进行微小的、精确的调整。他们比使用其他方法时能更好地保持在完美路径上。神奇相机在这里并没有带来太多优势，因为标准视图已经足够好了。

当信号传输很慢时 (0.5 到 1.0 秒)：
神奇相机占据了上风。在 0.5 秒延迟的情况下，标准视图开始失效。操作员犯错更多，碰撞也更频繁。但最有趣的发现来自于大脑扫描。当使用带有 0.5 秒延迟的标准视图时，前额叶皮层的血流量下降了。研究人员称之为“认知脱节”。这意味着延迟造成的混乱让操作员的大脑停止尝试构建空间的心理地图；他们基本上选择了放弃，从而导致表现不佳。

相比之下，使用神奇 3D 相机的操作员保持了大脑的高度活跃。清晰的第三人称视角帮助他们维持了对环境的心理地图，即使在有延迟的情况下也是如此。他们的大脑在规划中心表现出高度活跃，并且比其他方法更快、更安全地完成了迷宫导航。在 1.0 秒的极端延迟下，神奇相机是唯一一种能让操作员完成任务速度显著加快且碰撞更少的系统。

这意味着什么

这项研究表明，对于水下机器人而言，你需要的帮助类型取决于连接的速度。如果连接是即时的，简单的振动对于保持机器人航向非常有效。但如果连接缓慢且有滞后，你需要一个能提供清晰、全局视野的系统。

最重要的发现是，一个好的交互界面不仅能让机器人的动作更好，还能防止人类操作员的大脑“关机”。通过利用 3D 神奇相机来处理“我在哪里？”以及“我周围有什么？”这类高难度思考，该系统释放了操作员的大脑，使其能够专注于实际的任务。这对于检查水下基础设施可能是一个改变游戏规则的突破，因为在这些场景中，延迟是常态，而错误则是代价高昂的。虽然该系统是在模拟环境中测试的，尚未应用于真实海洋，但其结果为如何让人类更轻松、更安全地控制水下机器人指明了一条充满希望的道路。