想象一下，你是一名机器人侦察小队的指挥官，被派往一座神秘的迷宫式建筑中寻找隐藏的线索。在过去，你不得不盯着一堆扁平的电脑屏幕，试图在脑海中将每个机器人所看到的内容、它们的位置以及它们正在做的事情缝合在一起。这就像是在开车时，既要看地图，又要看后视镜，还要听收音机，却无法直接接触到方向盘一样。
这篇论文介绍了一个名为 HORUS 的全新“混合现实”（MR）工具，旨在让管理机器人团队的感觉就像玩一款高科技策略视频游戏一样。
什么是 HORUS？
把 HORUS 想象成一个就在你眼前闪烁的神奇“小地图”。你不再是盯着桌上的 2D 屏幕，而是戴上一个头显（如 Meta Quest 3），看到一个房间的 3D 全息图。在这张地图上，你可以看到你的机器人模型在实时移动。
该系统的核心理念是：既能为你提供“上帝视角”，又能在情况变得棘手时，让你通过缩放来接管直接控制权。
它是如何工作的？
该界面围绕着一个**“机器人管理面板”**展开，每当你点击地图上的一个机器人时，这个面板就会弹出。它就像是每个机器人的控制仪表盘，拥有四个主要按钮：
- 状态检查（Status Check）： 快速扫一眼，查看机器人的电池电量是否过低、行驶速度如何，或者是否卡住了。
- 数据视觉（Data Vision）： 你可以切换“X射线视觉”。这能让你看到机器人的传感器正在观察的内容，比如墙壁的激光扫描图或实时视频流。你可以选择让视频悬浮在机器人上方，或者直接从机器人的“眼睛”里进行投影。
- 任务控制（Mission Control）： 你不需要一寸一寸地操控机器人转向，而是可以在地图上放置一个“目标标记”。机器人随后会自动行驶到那里。你也可以为它绘制一条特定的路径，或者在地图上标注特定地点（例如“危险区”或“发现线索”）。
- 遥操作（直接控制/Teleoperation）： 如果机器人卡在了狭窄的角落，你可以切换模式。
- 小地图模式（Mini-Map Mode）： 你可以通过控制器，以俯视图的方式像驾驶遥控赛车一样操控机器人。
- 半沉浸模式（Semi-Immersive Mode）： 你会在面前看到一个巨大的平面屏幕（类似于电视机），显示机器人所看到的精确画面，从而实现穿过狭窄走廊时的精准驾驶。
“搜索与救援”测试
为了验证这是否真的有效，研究人员进行了一项测试。他们要求两组人员使用两台机器人，在一栋建筑中寻找五个隐藏的标签（类似于数字宝藏）。
- A 组（HORUS 团队）： 使用了这种全新的混合现实系统。他们可以分配目标、查看全图，并在需要时切换到直接控制模式。
- B 组（传统方式团队）： 使用了一个标准系统，他们只能通过操纵杆手动控制机器人，并在不同的视频流之间进行切换，没有任何地图或目标设定功能。
他们发现了什么？
结果非常清晰，就像一场比赛中，一个选手带着 GPS 导航，而另一个选手只能靠直觉盲猜：
- 完成速度更快： HORUS 团队完成任务的速度快了约 23%。因为他们大部分时间都在设置目标并让机器人自动驾驶，所以不会在手动转向每一个走廊上浪费时间。
- 更易于使用： 尽管 HORUS 系统功能更多，但用户评价其为“优秀”且比基础的操纵杆系统更容易使用。他们感到更有信心，也更少感到挫败。
- 更好的团队协作： HORUS 的用户自然地分工合作，将一个机器人派往建筑左侧，另一个派往右侧。而操纵杆组往往倾向于一次只关注一台机器人，从而忽略了建筑的部分区域。
- 没有“晕动症”： 用户没有感到恶心或头晕，这意味着该系统可以长时间舒适地使用。
总结
论文得出结论，虽然学习使用 HORUS 需要稍多一点的时间（约 18 分钟的培训时间，而简单系统仅需 7 分钟），但其回报是巨大的。它将管理机器人团队这一混乱的工作变成了一种流畅、直观的体验。
研究人员表示，这是人类与机器人协作迈出的重要一步。他们计划未来在不同的机器人类型（如步行机器人或无人机）以及更复杂的场景（如灾区或建筑工地）中进行测试。但就目前而言，他们已经证明了，通过提供一张“神奇地图”，可以让寻找线索——以及管理机器人团队——变得更快、更轻松。
技术摘要：HORUS —— 一种用于管理移动机器人团队的混合现实界面
问题陈述
虽然混合现实（MR）界面在控制单个移动机器人方面已被广泛探索，但在其应用于管理机器人团队的研究领域仍存在显著空白。传统的 2D 控制界面通常迫使操作员在脑中融合不同的数据流（摄像机画面、传感器输出、地图），从而导致认知负荷增加并在动态环境中可能引发错误。现有的 MR 解决方案往往侧重于单机器人场景、模拟环境，或者缺乏有效处理多机器人协作的可扩展性。挑战在于如何创建一个能够实现多种数据源快速同化、清晰可视化任务状态，并能在高层级任务分配与多个智能体同时进行的直接遥控之间进行流畅切换的界面。
方法论
系统架构与硬件
作者开发了 HORUS（Holistic Operational Reality for Unified Systems，统一系统整体操作现实），这是一种旨在管理轮式移动机器人团队的 MR 界面。
- 硬件平台： 系统使用 Husarion ROSbot 2.0，这是一款配备了 2D LiDAR、轮式编码器以及运行 ROS 1 的 Asus Tinker Board (ARM7L) 板载计算单元的紧凑型差分驱动机器人。
- MR 设备： 该界面运行在 Meta Quest 3 上，选择该设备是因为其彩色透视技术以及比 HoloLens 2 更宽的视野（FOV）。
- 软件栈： 使用 Unity 2022.3.34f1 进行开发，并利用 Meta XR All-in-One SDK。头显与机器人之间的通信通过 Unity TCP 连接器和运行在远程机器上的自定义 HORUS Bridge 节点来处理。
- 网络： 系统采用基于
fkie_multimaster 包的**多主（multi-master）**方法，以避免单点故障和拥塞。对于远程部署，通过 Tailscale VPN 创建了一个安全的点对点网状网络，允许操作员通过互联网管理机器人，就像在局域网内一样。
机器人技术与 SLAM
鉴于 ROSbot 2.0 的计算限制，作者实现了一个精简的多机器人 SLAM 和导航框架：
- 局部建图： 每台机器人独立运行 GMapping，利用 2D LiDAR 和里程计创建局部占据网格地图。
- 地图合并： 一个自定义脚本通过应用 ROS TF 进行粗略对齐，随后通过使用 OpenCV 的相位相关细化步骤来统一这些局部地图。这减轻了单个里程计漂移的影响并提高了地图细节。
- 导航： 机器人利用 Timed Elastic Band (TEB) 局部规划器，在合并后的地图上实现实时避障和动态路径自适应。
HORUS 界面
系统的核心是 机器人管理面板（Robot Manager Panel），这是一个锚定在共享**小地图（地面站）**上的全息界面。该面板为每台机器人设有四个专用标签页：
- 状态 (Status)： 显示电池电量、速度、位姿和任务完成状态。
- 数据可视化 (Data Visualization)： 支持切换传感器叠加层，包括 LiDAR 扫描（带有颜色编码的障碍物警告）和摄像机画面。摄像机模式包括投影模式（固定在机器人坐标系上）和俯视图模式（在机器人上方悬浮的窗口）。
- 任务 (Tasks)： 支持任务级命令，例如设置目标位姿、定义航路点、标记特定位姿（例如“受伤的受害者”）以及绘制自定义导航计划。
- 遥控 (Teleoperation)： 提供两种截然不同的模式：
- 小地图遥控： 通过小地图进行第三人称控制（类似于遥控车游戏），使用摇杆控制线速度/角速度。
- 半沉浸式遥控： 提供机器人摄像机画面的扁平化屏幕视图（单屏或立体 3D），用于在狭窄空间进行精确操控，同时保持小地图可见。
核心贡献
- 统一的多机器人管理： HORUS 通过将实时监控、传感器可视化和多机器人任务分配集成到单个空间界面中，填补了单机器人 MR 控制与团队管理之间的空白。
- 混合控制模式： 该系统独特地支持在高层级自主任务分配（设定目标、航路点规划）与低层级直接遥控（小地图和半沉浸式模式）之间进行流畅切换，且无需离开 MR 环境。
- 可扩展架构： 通过利用多主 ROS 架构和基于 VPN 的连接性，该系统旨在扩展到更大的团队和远程作业环境，而不依赖于单一中央服务器。
- 真实世界验证： 不同于许多局限于模拟环境的前期研究，HORUS 在真实的轮式机器人团队环境中得到了验证。
用户研究与结果
研究人员对 20 名参与者进行了用户研究，将其分为两组：HORUS 组（使用完整界面）和 仅遥控组（使用不带小地图或自主任务功能的独立半沉浸式遥控界面）。参与者的任务是使用两台机器人，在走廊和办公室环境中寻找五个隐藏的 ArUco 标签。
主要发现：
- 任务完成时间： HORUS 组完成任务的速度明显更快（平均：8:42），相比之下，仅遥控组（平均：11:17）效率较低。这种差异具有统计学显著性（p<0.001, $Cohen's d = 1.93$）。这代表了约 23% 的效率提升。
- 可用性 (SUS)： HORUS 的平均系统可用性量表（SUS）得分为 82.3（“优秀”），显著高于仅遥控组的 68.5（“良好”）。参与者报告了更高的信心，并认为该系统更易于理解且集成度更高。
- 工作负荷 (NASA TLX)： 虽然整体工作负荷得分相似，但 HORUS 组报告的挫败感水平显著较低（p=0.04）。
- 培训： 尽管 HORUS 需要更长的初始培训时间（18 分钟对比仅遥控组的 7 分钟）来掌握基于目标的导航和小地图控制，但其性能优势证明了这项投入是值得的。
- 协同作用： 定性分析表明，HORUS 用户采用了互补的搜索策略，将机器人分配到不同的区域进行并行覆盖，而仅遥控组用户则倾向于按顺序操作机器人。
重要性与主张
论文声称 HORUS 证明了混合现实界面在多机器人协作中的通用性和有效性。通过将所有机器人的数据融合到一个共同的空间注册地图中，该系统增强了态势感知能力，并允许操作员比传统遥控方式更有效地管理动态的团队化环境。
作者将 HORUS 定位为迈向人机协作的一步，专门解决了 2D 界面和单机器人 MR 系统的局限性。他们断言，能够在自主导航与手动控制之间无缝切换，结合共享的操作图景，能显著提升任务速度并降低操作员的挫败感。研究验证了尽管存在较高的初始学习曲线，但这种全面的 MR 界面所带来的高级功能在现实世界的搜救模拟中产生了卓越的性能表现。
作者概述的未来工作包括将系统扩展到异构团队（足式和飞行机器人）、实现先进的轨迹规划和 AI 副驾驶系统，以及增强 3D 建模能力以提供更丰富的态势感知。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。