💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

本文提出了一种使半类人机器人NICO能够利用单目RGB输入、基于MediaPipe的3D姿态估计以及通过解析几何计算并映射关节角度，从而模仿人类手臂手势的系统，展示了在简单手势上的成功表现，同时也承认了在复杂姿态和腕部运动方面的局限性。

原作者： Anastasiya Ihnatovich, Igor Farkaš

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Anastasiya Ihnatovich, Igor Farkaš

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人不再仅仅遵循僵化的指令列表，而是能像蹒跚学步的孩子模仿父母那样，通过观察我们来真正“学习”的世界。这就是人机交互（HRI）的核心，这是一个致力于让机器感觉不再仅仅是工具，而更像是伴侣的科学领域。为了让机器人真正模仿人类动作，它需要两种“超能力”：感知（在2D照片中“看到”并理解人体结构的能力）和运动学（计算如何弯曲自身金属关节以匹配人类姿态的数学方法）。虽然一些科学家试图通过向机器人喂入数百万个视频，并寄希望于复杂的计算机大脑能自行领悟，但另一些人则更倾向于一种更直接的几何方法——利用简单的数学来测量角度和距离。为什么这很重要？因为如果机器人能够自然地模仿我们的手势，它就能在社交场合与我们互动、协助完成任务，甚至教导我们，而无需昂贵、笨重的传感器或长年的训练。

在这项研究中，研究人员 Anastasiya Ihnatovich 和 Igor Farkaš 尝试教会一个名为 NICO 的半类人机器人仅凭一个标准摄像头和一些巧妙的几何学知识来模仿人类手臂手势。把 NICO 想象成一个拥有头部和两条手臂、设计用于与人共处的儿童大小的机器人。团队并没有使用任何高端的3D深度摄像头或动作捕捉服；相反，他们依赖于一个名为 MediaPipe 的免费软件工具，它充当了数字骨骼追踪器的角色。当你向 MediaPipe 展示一张普通的照片时，它能瞬间识别出人体身上的 33 个关键点（如肩膀、肘部和手腕），并估算它们在3D空间中的位置。

研究人员的方法就像是一个“翻译官”。首先，MediaPipe “看到”人类并抓取其手臂关节的坐标。接着，团队使用一套几何公式——基本上是基于点与点之间距离来计算角度的“配方”——来确定人类的手肘是如何弯曲的，或者手腕是如何扭转的。最后，他们将这些人类的角度在数学上“映射”到 NICO 特有的电机上，告诉机器人如何移动自身的关节以匹配人类。这就像是将一个人类姿态放入一张转换表进行处理，从而得到机器人的指令手册。

团队通过六名不同身高的人员测试了这个系统，要求他们保持 11 种不同的手臂姿势，并站在不同的角度（正对着或稍微侧身）。结果既有成功之处，也有诚实的局限性。机器人非常擅长模仿大幅度动作：它能以中等程度的准确性估算肩部俯仰（抬起或放下手臂）、肘部弯曲和腕部弯曲，其误差平均分别约为 10°、20° 和 23°。然而，机器人在肩部旋转（在肩膀处扭转手臂）和前臂旋转（像转门把手一样扭转手部）方面表现得较为吃力。前臂旋转是最棘手的环节；即使借助了手部追踪数据，机器人的猜测平均仍偏差了 50.1°，这是一个显著的晃动。

有趣的是，研究人员发现机器人的表现并不受人类身高或身体转向角度（在 45° 范围内）的影响。相反，最大的影响因素是人类正在做出的动作。如果姿势涉及复杂的前臂扭转，或者手部被手臂遮挡，机器人就会感到困惑。该系统也非常迅速，处理每张图像仅需约 0.0017 秒，足以跟上实时运动。

最终，论文表明这种“仅靠几何学”的方法是让机器人模仿人类手势的一种可行且高效的方式，无需昂贵的硬件或海量的训练数据集。它证明了仅使用普通摄像头，你就能让机器人做出有意义的手臂动作。然而，作者也谨慎地指出，这还不是一个完美的解决方案。该系统在处理复杂的手腕和前臂运动时仍然会出错，并且在被视为稳健的日常工具之前，还需要在更多样化的人群和姿势上进行更多测试。目前，这是一个极具前景的概念验证，它展示了机器人可以“看见”并“模仿”我们，即便它有时会对手腕的扭转理解得有些偏差。

技术摘要：半人型机器人 NICO 的手臂姿态模仿

问题陈述
无缝的人机交互（HRI）要求机器人具备感知和运动能力，特别是模仿人类姿态的能力。虽然基于学习的方法提供了灵活性，但它们通常需要大量的数据集、广泛的训练和显著的计算资源，限制了其实时应用能力。相反，解析法（analytical approaches）提供了高效性和可解释性，但往往依赖于专门的传感硬件（如深度摄像头）或受限于简化的姿态集。本研究旨在解决的问题是：如何在仅使用单目 RGB 输入的情况下，不依赖昂贵的传感器或计算密集型的学习模型，实现对人类手臂姿态的有意义的模仿，并适应半人型机器人的特定运动学结构。

方法论
所提出的系统是一个专为 NICO（Neuro-Inspired COmpanion）机器人设计的流水线，NICO 是一款每条手臂具有六个自由度（DoF）的儿童尺寸半人型机器人。该框架通过三个主要阶段运行：

3D 坐标提取：
系统利用 MediaPipe 框架从单个 RGB 摄像头输入中提取 2D 和伪 3D 关键点。它采用了 pose_landmarker_heavy 模型进行人体姿态估计（33 个关键点）以及专门的手部模型（21 个关键点）。为了提高准确性，系统优先使用手部模型的关键点来确定手腕和手掌（替换相应的姿态关键点），并将手部坐标系进行转换，以与姿态模型的腕部原点对齐。这为相关的手臂关节和手部关键点提供了 3D 坐标 ( $x, y, z$ )。
关节角度重建（解析几何）：
利用提取的 3D 坐标，在假设受试者躯干与摄像头平面大致平行的前提下，通过推导出的几何关系计算关节角度。系统应用了躯干偏航补偿，即根据肩线方向旋转坐标。重建过程包括：
- 腕部屈曲（Wrist Flexion）： 计算为前臂向量与手掌平面法向量之间的夹角。
- 前臂旋转（Forearm Rotation）： 由参考旋转基准（源自上臂向量）与投影的手掌方向向量之间的有符号夹角决定。针对直臂配置应用了特殊的后备逻辑。
- 肘部弯曲（Elbow Bend）： 计算为上臂向量与前臂向量之间的无符号夹角。
- 肩部俯仰（Shoulder Pitch）与横滚（Roll）： 使用 atan2 函数对分解后的向量分量进行处理，以解决象限问题并区分手臂的前后配置。肩部偏航（Yaw）固定在中立位置。
角度映射至 NICO：
重建的解析角度与机器人的电机坐标系并不直接兼容。系统对每个关节进行线性映射，将重建的角度限制在预设的解析区间 $[\theta_{min}, \theta_{max}]$ 内，并将其映射到相应的电机位置 $m(\theta_{min})$ 和 $m(\theta_{max})$ 。这处理了包括匹配和反向电机方向的情况。

核心贡献

仅基于 RGB 的解析流水线： 本工作将基于解析几何的方法扩展到了更广泛的手臂姿态，且仅需单目 RGB 输入，消除了对深度传感器或运动捕捉系统的需求。
运动学适配： 几何公式专门针对 NICO 机器人的运动学进行了适配，其运动学特征不同于其他平台（如 NAO），例如缺少肘部横滚关节，且需要对前臂旋转和腕部屈曲进行特定处理。
集成手部关键点： 系统显式地集成了 MediaPipe 手部关键点，以改进对腕部屈曲和前臂旋转的估计，解决了仅使用姿态关键点时存在的局限性。
无需训练： 与基于学习的方法不同，该方法不需要训练阶段或标注数据集。

实验结果
系统通过六名不同身高参与者进行的 11 种对称上肢姿态，在三种不同视角（ $0^\circ, 30^\circ, 45^\circ$ ）下进行了评估。

准确度： 该方法在肩部俯仰、肘部弯曲和腕部弯曲方面实现了中等的重建准确度，平均绝对误差（MAE）分别约为 $10^\circ$ 、 $20^\circ$ 和 $23^\circ$ 。肩部横滚的准确度较低（ $34^\circ$ MAE）。
前臂旋转局限性： 前臂旋转仍然是主要的误差来源。仅使用姿态关键点时，MAE 为 $67.1^\circ$ 。引入专门的手部关键点后，该误差降至 $50.1^\circ$ （提升了约 25%），尽管其误差仍显著高于其他关节。
腕部依赖性： 腕部弯曲的准确度高度依赖于前臂的方向；在极端腕部屈曲/伸展情况下，由于前臂旋转估计较差，误差明显增加。
鲁棒性因素： 重建准确度与参与者身高没有明显的关联。视角变化（ $0^\circ$ – $45^\circ$ ）与特定姿态和自遮挡带来的变异性相比，影响相对较小。
性能： 该流水线表现出极高的计算效率，平均每帧耗时 0.0017 秒（约 590 FPS），最差情况为 0.0093 秒（约 108 FPS）。

意义与主张
作者将这项工作定位为一种基于解析、单目 RGB 的姿态模仿的“概念验证”。论文声称，该方法能够成功产生有意义的模仿动作，而无需深度学习的计算开销或专门硬件的成本。然而，作者对系统目前的鲁棒性保持了谨慎的态度。他们承认，虽然该方法在受控条件下适用于多种手臂关节，但前臂旋转的估计仍然是一个重大挑战。论文结论指出，该系统目前尚不是一个用于通用姿态模仿的鲁棒解决方案，在进行更广泛的部署之前，需要在更大、更多样化的数据集上进行进一步验证，并改进前臂旋转的估计。

技术摘要：半人型机器人 NICO 的手臂姿态模仿

类似论文