想象一下，你正试图操控一支由三台微型遥控机器人组成的队伍，穿梭在一栋复杂的建筑中去寻找隐藏的宝藏。现在，想象你有一个搭档在协助你。挑战不仅在于控制机器人，还在于如何与搭档协作，既不互相干扰，也不给机器人下达冲突的指令。
这篇论文描述了一个构建在混合现实（MR）头显内部的新型“控制室”。把它想象成不是一个扁平的电脑屏幕，而是一个悬浮的、微缩的真实世界3D缩影，机器人就在其中移动。你可以伸手抓取一台微型机器人，并告诉它该去哪里。
研究人员想要回答一个大问题：如果你和你的搭档站在同一个房间里，看着同一张悬浮的地图，还是说你们在不同的房间里，各看各的地图，这会有区别吗？
以下是他们如何测试并利用简单的类比发现结果的：
两种游戏方式
该系统为两名操作员提供了两种不同的“模式”：
“共享桌面”模式（同地协作）：
想象你和你的搭档站在同一个房间里。你们都戴着头显，看到同一张悬浮在两人之间的微缩地图。你可以指向同一个位置，观察同一个机器人，并看到彼此的手势。这就像两个人围着一张放在桌上的实体地图在忙碌。
“私人办公桌”模式（私人工作空间）：
想象你和你的搭档在不同的房间里。你们各自戴着头显，每个人都能看到属于自己的那张悬浮地图。你们在执行同一个任务，但你无法看到搭档正在看哪里，也看不见他们正在指向哪里。你必须根据机器人的动作来推测他们在做什么。
游戏规则（防止冲突）
团队机器人控制中的一个主要问题是“交通堵塞”。如果你告诉机器人向左走，而你的搭档同时告诉它向右走，机器人就会感到困惑。
为了解决这个问题，系统使用了一个**“租约”（Lease）系统**，就像玩“传声筒”或“传热土豆”的游戏一样：
- 当你想要控制某台特定的机器人时，你就“租用”它。
- 系统会将那台机器人对你显示为绿色（你拥有它），对你的搭档显示为红色（他们不能触碰它）。
- 你只能对你正在控制的那台机器人下达指令。无论你在哪种模式下，这都能防止机器人接收到冲突的命令。
实验过程
研究人员让 36 个人（18 对搭档）进入了一个模拟环境。他们需要在两个不同的虚拟环境中寻找隐藏的数字标签（tags），分别是医院和办公室。
- 目标： 在 10 分钟内尽可能多地找到标签。
- 任务： 他们必须在“观察全局”和“直接控制单个机器人以通过狭窄角落”之间进行切换。
结果：哪些方式更有效？
令人惊讶的部分在于：两种模式在实际工作中表现得同样出色。
- 计分板： 无论是在同一个房间还是在不同房间，这对搭档找到的标签数量大致相同。这意味着“私人办公桌”模式足够可靠，你并不一定需要待在同一个房间里也能完成任务。
- 感受： 然而，体验却截然不同。处于**“共享桌面”模式**的搭档感觉更有连接感。他们报告说：
- 更好地理解了彼此的意图。
- 感觉真正“处在同一个空间里”。
- 觉得将机器人的控制权移交给搭档要容易得多。
- 在猜测搭档在做什么时，心理压力更小。
总结
可以这样想：如果你只是为了送达一个包裹，你可以独自完成，也可以通过电话和朋友协作（私人模式）。但如果你正试图一起组装一件复杂的家具，那么如果你们能站在同一个房间里，看着同一份说明书，过程会变得简单且不再那么令人沮丧（共享模式）。
论文的结论是，虽然你可以从不同的房间有效地控制机器人，但身处同一个房间并共享同一个虚拟视角，会让团队协作感觉更加顺畅、清晰且自然。 这并不会让机器人的移动速度变快，但会让人的协作效率更高。
技术摘要：用于多机器人控制与协作的多操作员混合现实界面
问题陈述
将多机器人系统从单操作员监督扩展到团队级协作面临着显著挑战。传统的 2D 地面控制站（GCS）要求操作员在脑中整合零散的数据流（地图、摄像机画面、机器人状态），这种认知负担会随着任务复杂度的增加而加剧，从而降低态势感知能力并增加工作量。虽然混合现实（MR）界面通过提供空间具身视图，在减少单操作员认知负担方面已展现出潜力，但将这些系统扩展以支持多操作员协作则引入了新的复杂性。具体而言，有效的协作需要具备相互意识、分工机制，以及至关重要的——当多个操作员试图同时控制同一个机器人团队时，如何防止指令冲突。此外，目前尚不清楚在物理上将操作员置于共享的 MR 工作空间中，是否比采用私有工作空间模式（即操作员共享任务数据，但通过各自独立的本地界面进行观察）具有切实的优势。
方法论
作者将其先前的 HORUS（统一系统的整体运营现实）界面进行了扩展，以支持多操作员控制。系统架构和实验设计详述如下：
系统架构
所提议的系统采用三层架构：
- SDK 层： 发布机器人元数据、地图和任务能力。
- ROS 2 桥接层： 处理仿真/机器人与界面之间的命令、状态和地图通信。
- Unity MR 运行时： 实例化工作空间、可视化内容和协作逻辑。
关键技术特性包括：
- 注册驱动构建： 场景是根据 SDK 负载动态构建的，而非假设存在一组固定的机器人。
- 双重协作模式：
- 同处一地的共享工作空间： 操作员共享同一个物理位置和一个单一的空间锚定虚拟工作空间。
- 私有工作空间： 操作员共享相同的任务状态，但通过各自独立的本地工作空间进行交互。
- 冲突预防（单机器人租约）： 为了防止冲突性干预，系统采用了基于租约的仲裁机制。当操作员打开控制面板、编写任务或启动遥操作时，机器人会被“租约”给该操作员。租约状态（空闲、本地持有、远程持有）通过视觉编码（白色、绿色、红色）进行表示，并在功能上予以强制执行，从而阻断对同一机器人的冲突操作。
- 同步： 低速率的协作状态（工作空间快照、注册边界）通过 Unity Netcode for GameObjects (NGO) 进行同步，而沉重的机器人数据则保留在 ROS 传输层中。
实验设计
研究人员对 36 名参与者（18 对） 进行了人类受试者研究，由他们控制一组模拟的 Nova Carter 移动机器人 在两个环境（办公室和医院）中进行任务。
- 条件： 每对参与者通过交叉平衡设计，在同处一地和私有两种模式下分别进行试验。
- 任务： 参与者在 10 分钟的试验时间内，结合监督式规划（航点分配）和遥操作，寻找 10 个隐藏的 AprilTag（感兴趣点）。
- 约束： 在私有模式下，参与者处于不同的房间内且无法进行言语交流；在同处一地模式下，他们在同一个房间内，允许自然的面对面交流。
- 指标： 客观性能（发现的标签数量）、系统可用性量表 (SUS)、NASA-TLX（工作量）以及自定义的 8 项协作与共享工作空间问卷。
核心贡献
- 多操作员 MR 架构： 一个通过共享状态同步和单机器人控制租约来支持同处一地及私有工作空间协作的系统。
- 以工作空间为中心的交互设计： 一个具备显式共享任务机制、意识提示（租约状态）和冲突预防功能的界面。
- 动态控制仲裁： 一种基于租约的方法，允许在不同机器人上进行并行工作，同时防止对同一机器人的同时控制。
- 实证评估： 一项隔离了物理位置对影响的研究，将其与私有工作空间替代方案在真实的多机器人场景下进行了对比。
结果
研究得出以下发现：
- 任务性能： 两种模式之间的客观任务性能没有显著差异。同处一地模式下平均发现 3.94 个标签，而私有模式下为 4.22 个 (p=.633)。这表明，即使没有直接的言语交流，私有工作空间模式也足以实现有效的任务执行。
- 可用性与工作量： 感知可用性 (SUS) 和整体工作量 (NASA-TLX) 在两种条件下在统计学上是相当的。
- 协作与意识： 同处一地的共享工作空间在主观协作指标上显著优于私有模式 (p<.001)。参与者报告称：
- 对队友行为的意识更高。
- 对任务状态有更好的共同理解。
- 更容易协调行动并执行控制交接。
- 拥有更强的共享物理空间的感受。
- 偏好： 绝大多数参与者 (21/29) 倾向于在联合操作中使用同处一地模式，理由是其具有更清晰的交接和更好的任务意识。
- 经验效应： 先前的遥操作经验是任务成功的强预测因子，尤其是在同处一地模式下。然而，该界面对于新手而言是可学习的（约 15 分钟的简短教程），且训练时间更多地与通用的控制熟练度相关，而非先前的 VR 接触经验。
重要性与主张
本文主张，物理上使 MR 工作空间处于同一位置可以改善操作员的协调方式，即使底层的控制工具保持不变。同处一地模式的主要价值不在于提高原始的任务吞吐量（这在两种模式下是相当的），而在于增强协作流畅度、共同理解以及控制交接的清晰度。
作者得出结论，虽然私有工作空间模式对于分布式协作是可行的，但共享空间参考是紧密协作的本地团队的一项关键设计原则。研究结果表明，未来的多操作员 MR 系统应同时支持这两种模式：用于高保真本地协作的同处一地共享工作空间，以及用于分布式参与的私有工作空间。研究验证了显式的仲裁机制（租约）对于实现安全并行是必要的，但物理空间的对齐显著降低了维持相互意识所需的认知负荷。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。