⚡ electrical engineering

A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot

本文提出了一种基于视觉的共享控制遥操作系统，该系统利用外部相机和机器学习将操作者的手腕动作直观地映射到四足机器人的机械臂上，同时采用轨迹规划器以确保在危险环境中实现实时避障。

原作者： Murilo Vinicius da Silva, Matheus Hipolito Carvalho, Juliano Negri, Thiago Segreto, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Murilo Vinicius da Silva, Matheus Hipolito Carvalho, Juliano Negri, Thiago Segreto, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图用一只机械臂来控制一只机器狗，但你并非使用带有摇杆和按钮的复杂游戏手柄，而是直接用自己的手。这就是本文的核心思想：一种仅凭你的动作和一台摄像头即可“遥操作”（远程控制）四足机器人的新方法。

以下是其工作原理的分解，辅以简单的类比：

问题：“摇杆”的困境

通常，控制机械臂就像戴着厚实的烤箱手套，透过一个小窥视孔看画布，却试图创作一幅杰作。你必须使用摇杆来让机械臂上下左右移动。这很难学会，让大脑感到疲惫，而且容易出错，尤其是当你身处危险环境、无法看清一切时。

解决方案：“幽灵手”

研究人员创建了一个系统，让机器人的手臂如同你双手的影子或镜像。

摄像头：他们使用了一种特殊的摄像头（Intel RealSense），它能像人眼一样感知深度。它监视你的手腕。
魔法链接：当你向前移动手腕时，机器人的手臂也向前移动。当你倾斜手掌时，机器人的手也随之倾斜。仿佛机器人戴着一只“幽灵手套”，实时模仿你的每一个动作。

机器人如何“思考”

该系统并非盲目地复制你的动作；它内置了一个安全大脑。

碰撞避免：想象机械臂是一位非常谨慎的舞者。即使你快速移动双手，机器人也会检查自身和周围环境，确保不会撞到墙壁或绊倒自己。这就像有一位私人保镖，阻止你撞上门框。
两种操作模式：该系统有一种巧妙的方式，无需按下按钮即可在“手动”和“自动”模式间切换。它使用手指计数：
- 举起 1 根手指：你拥有完全控制权。机器人像忠诚的狗一样跟随你的手腕。
- 举起 2 根手指：你切换到“半自主”模式。现在，如果你对着一个物体（如苏打罐）做出“握拳”手势，机器人会计算出抓取它的最佳方式，并为你完成精细的抓握动作。如果你张开手，它就会松开。

实验：“抓取与放置”测试

为了证明这行之有效，团队在真实的波士顿动力 Spot 机器人（著名的机器狗）上进行了测试。

任务：两名不同的人必须拿起日常物品（一罐薯片和一个清洁瓶），并将它们移入一个盒子中。
结果：两名用户都成功了。他们只需挥动手臂，就能抓取物品、移动它们并将其放入盒子。
精度：他们测量了机器人跟随人手动作的紧密程度。平均而言，机器人的偏差约为 7 厘米（约 3 英寸）。论文指出，人手移动得越快，误差会略微增大，这很合理，因为机器人需要极短的时间来追赶你的速度。

为何这很重要

这种方法就像从复杂的遥控器升级为自然的对话。你无需在身上佩戴特殊传感器，也无需学习新的按钮语言。你只需使用自然的肢体动作。它旨在为人们提供一种更便宜、更简单、更安全的方式来控制机器人，使其适用于工厂或灾区等棘手环境，而无需成为机器人专家。

简而言之：这篇论文表明，你只需在摄像头前挥动手，即可控制高科技机械臂；机器人足够智能，能安全地跟随你，甚至在你要求时帮你抓取物品。

技术摘要：基于视觉的四足机器人机械臂共享控制遥操作方案

问题陈述
在危险或偏远环境中遥操作配备机械臂的四足机器人面临重大挑战。依赖操纵杆或游戏手柄的传统控制方法通常要求操作人员具备高水平专业技能，导致学习曲线陡峭且认知负荷过重。这些接口难以对高自由度（DoF）机械臂提供直观控制，特别是在操作人员缺乏足够情境感知或三维感知时，会导致精度降低、疲劳加剧以及碰撞风险增加。虽然可穿戴传感器（如惯性测量单元 IMU、肌电图 EMG）提供了替代方案，但它们引入了侵入性物理接触、耗时校准以及对运动伪影敏感等部署障碍。此外，单目视觉系统常受深度模糊和尺度漂移困扰，而复杂的视觉流程可能阻碍实时响应能力。

方法论
作者提出了一种基于视觉的共享控制框架，利用外部摄像头将人类手臂运动直接映射到机器人机械臂，无需佩戴任何设备。该系统部署在波士顿动力（Boston Dynamics）Spot 四足机器人上，该机器人配备六自由度机械臂和颚式夹爪。

运动捕捉与姿态估计：
- 硬件： 使用 Intel RealSense D435i 深度相机，以 30 Hz 的频率采集同步的 RGB 和深度图像。
- 校准： 利用 ArUco 标记建立稳定的参考坐标系。系统计算相机坐标系与标记坐标系之间的齐次变换矩阵。
- 跟踪： 采用 MediaPipe Pose 从 RGB 流中提取二维手腕坐标。从对齐的深度图像中采样深度值，使用 5×5 像素窗口的中值滤波器进行优化，并通过反投影获得三维手腕坐标。
- 滤波： 采用指数移动平均滤波器（ $\alpha = 0.5$ ）平滑轨迹，并丢弃超过 25 厘米的跳变更新，以确保鲁棒性。
- 方向： 利用手部关键点（手腕、食指和小指掌指关节）计算手掌法向量和滚动四元数，将相机的偏航轴与机器人的滚动轴对齐，以实现末端执行器的方向控制。
控制架构：
- 共享控制模式： 系统通过数指手势在两种模式间切换：
  - 手动遥操作： 机器人末端执行器实时跟随操作者的手腕位置。张开手掌和握拳手势分别触发夹爪的打开和关闭动作。
  - 半自主模式： 当在检测到物体上方做出握拳手势时触发，机器人自主执行抓取流程。该模式利用基于 YOLOv11 的目标检测网络识别可操作物体并估计其三维姿态。系统根据置信度和邻近度选择目标，随后利用 Spot SDK 自主执行接近和抓取动作。
- 安全性： 轨迹规划器持续检查与障碍物及机器人自身结构的碰撞。
实现：
- 该框架集成了波士顿动力 SDK、ROS Noetic 和 MoveIt。
- 通信通过 ROS 主题进行，控制循环以约 5 Hz 的频率运行位置指令。
- 系统包含调试叠加层，用于可视化感知和控制阶段。

主要贡献

直观接口： 一种非侵入式、低成本的解决方案，仅使用单个深度相机将人类手腕运动映射到机器人机械臂，无需可穿戴传感器或复杂校准。
共享控制框架： 一种混合架构，可根据简单的手势（数指和手形）在直接手动遥操作和半自主抓取之间无缝切换。
鲁棒感知流程： 一种结合 MediaPipe 与单目深度数据（RealSense）进行三维手腕跟踪和手部方向估计的方法，并已通过真值验证。
实时验证： 在真实世界的四足机器人（Spot）上成功部署，执行了抓取 - 放置任务。

实验结果
该系统通过在 Gazebo 中的仿真以及涉及两名用户使用日常物品（薯片罐和清洁产品）进行抓取 - 放置任务的真实世界实验进行了验证。

任务成功率： 两名用户均成功实时抓取并放置了物体，保持了稳定的末端执行器姿态，并按需调整了夹爪方向。
精度分析： 使用 Optitrack 运动捕捉系统作为真值，系统实现了 0.07 米 的平均位置误差。
误差动态： 分析表明，位置误差随手腕速度增加而增大，这归因于机器人末端执行器到达目标位置所需的延迟。
响应性： 系统展示了有效处理连续控制和离散手势命令（抓取/释放）的能力。

意义与主张
本文主张，该框架为复杂遥操作提供了一种具有成本效益且易于获取的替代方案，特别是在传统接口不切实际或认知负荷过高的风险环境中。通过利用深度视觉和简化的手部跟踪，该系统在直观性、响应性和安全性之间取得了平衡。作者强调，该方法既不需要可穿戴设备，也不需要传统接口，降低了操作移动机械臂的入门门槛。

文章最后谦逊地指出，虽然当前系统具有鲁棒性，但未来的迭代将专注于实施先进的路径规划以进行避障，集成势场以提高共享控制的鲁棒性，并与传统接口进行对比研究，以进一步验证系统的有效性。