💻 computer science

ExtremControl: Low-Latency Humanoid Teleoperation with Direct Extremity Control

本文提出了 ExtremControl 框架，通过直接控制人体末端执行器的 SE(3) 位姿、采用笛卡尔空间映射及速度前馈控制，实现了端到端延迟低至 50ms 的人形机器人遥操作系统，从而突破了以往 200ms 的延迟限制并支持高动态实时任务。

原作者： Ziyan Xiong, Lixing Fang, Junyun Huang, Kashu Yamazaki, Hao Zhang, Chuang Gan

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyan Xiong, Lixing Fang, Junyun Huang, Kashu Yamazaki, Hao Zhang, Chuang Gan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ExtremControl 的新系统，它的核心目标非常明确：让人类机器人（人形机器人）能像真人一样，以极低的延迟、极其灵敏地响应人的动作。

为了让你更容易理解，我们可以把这项技术想象成给机器人装上了一套“超级神经反射系统”。

1. 核心问题：为什么现在的机器人反应那么慢？

想象一下，你正在玩一个延迟很高的网络视频游戏。当你按下“跳跃”键时，屏幕上的角色要过 0.2 秒（200 毫秒）才跳起来。在这个间隙里，如果你是在打乒乓球，球早就飞过去了，你根本接不住。

目前的机器人遥操作（Teleoperation，即人远程控制机器人）系统也存在同样的问题：

大脑反应慢： 传统的系统需要把人的全身动作“翻译”一遍（比如把你的手臂动作映射到机器人的手臂，还要计算关节怎么转），这个过程太复杂，就像翻译官在逐字逐句地翻译，耗时太长。
肌肉反应慢： 即使翻译完了，机器人的“肌肉”（电机）也是只听从“位置”指令（比如“把手移到这个坐标”），而不听“速度”指令。这就像开车时，你只告诉司机“把车开到那个位置”，却不告诉司机“现在要加速”，车就会反应迟钝，甚至 overshoot（冲过头）。

2. 解决方案：ExtremControl 的三大绝招

作者团队提出了三个创新点，把延迟从 200 毫秒压缩到了惊人的 50 毫秒（几乎是人眼无法察觉的延迟）。

绝招一：只抓“关键点”，不搞“全身翻译”

旧方法： 就像你要教机器人跳舞，必须把人的头、手、脚、腰、膝盖每一个关节的角度都算一遍，再告诉机器人每个关节该怎么动。这太慢了。
新方法（ExtremControl）： 我们只关注** extremities（四肢末端）**。想象一下，你只需要告诉机器人：“手要在这个位置，脚要在那个位置，身体重心要在这里”。至于手肘和膝盖具体怎么弯曲，机器人自己会利用物理规律自动算好。
比喻： 就像指挥乐队，你不需要告诉每个乐手手指怎么按琴弦，你只需要给指挥棒（四肢末端）一个信号，乐队（机器人身体）自然知道怎么配合。这就省去了大量“翻译”时间。

绝招二：直接给“速度指令”，而不是“位置指令”

旧方法： 就像开车只给 GPS 坐标。机器人收到指令后，先算出“我要去那里”，然后慢慢挪过去。
新方法： 直接告诉机器人“现在的速度应该是多少”。
比喻： 这就像你骑自行车，如果你只告诉它“去前面那棵树”，它可能会犹豫。但如果你直接推它一把（给一个速度指令），它瞬间就动起来了。论文中引入的“速度前馈控制”，就是这“推一把”的力量，让机器人能瞬间跟上人的快速动作。

绝招三：像“练肌肉”一样训练 AI 策略

为了让机器人能处理这种快速指令，作者用了一种“师徒教学”的方法：
1. 先教“天才老师”： 给一个拥有“上帝视角”（知道未来动作、知道所有物理参数）的 AI 老师，让它学会如何完美地做高难度动作（比如接飞盘、打乒乓球）。
2. 再教“普通学生”： 把这个老师的知识“蒸馏”给一个只能看到当前瞬间的“学生”AI。
3. 最后实战演练： 让“学生”在海量数据中练习，最终变成一个能在真实世界里快速反应的机器人。

3. 成果展示：机器人能做什么？

因为延迟极低，这台 Unitree G1 机器人现在能完成以前不敢想的任务：

打乒乓球： 能实时接球、回球，甚至能像真人一样在球拍上平衡乒乓球。
接飞盘： 在移动中接住飞来的飞盘。
扔东西： 用篮子接住扔过来的物体。
协作搬运： 两个人（一个真人，一个机器人）一起抬箱子。

这些任务都需要毫秒级的反应速度。如果延迟高，机器人要么接不住，要么把东西打飞。

4. 总结与意义

ExtremControl 就像给机器人装上了“超级神经”。它不再笨拙地计算全身关节，而是直接指挥手脚，并且给机器人加上了“速度感”。

以前： 机器人像是一个反应迟钝的笨拙模仿者，你动它才动，而且慢半拍。
现在： 机器人像是一个默契的舞伴，你动它随动，几乎同步。

这项技术的意义在于，它让机器人能够收集到真正动态、真实的人类操作数据。以前因为延迟高，机器人只能学慢动作；现在它能学打乒乓球、接飞盘这种高难度动作。这为未来训练出更聪明、更通用的机器人打下了坚实的基础。

一句话总结： 作者通过“抓大放小”（只控制四肢末端）和“提速指令”（加入速度控制），把机器人遥控的延迟从“慢动作回放”变成了“实时直播”，让人形机器人第一次真正具备了像人类一样灵活反应的能力。

这是一篇关于ExtremControl的论文详细技术总结，该论文提出了一种低延迟的人形机器人遥操作框架。

1. 研究背景与问题 (Problem)

核心挑战：构建低延迟的人形机器人遥操作系统对于收集多样化的反应性和动态演示数据至关重要。然而，现有的遥操作方法通常依赖重度预处理的人体到人形运动重定向（Retargeting）以及仅基于位置的比例 - 微分（PD）控制。
现有局限：这些方法导致显著的端到端延迟（通常在 200ms 左右），严重限制了系统的响应能力，使得机器人难以执行需要快速反馈和快速反应的任务（如乒乓球回击、接飞盘等）。
具体痛点：
1. 全身体运动重定向计算耗时。
2. 仅使用位置 PD 控制缺乏速度前馈，导致底层控制响应滞后。
3. 现有的延迟瓶颈阻碍了人形机器人在动态交互任务中的硬件潜力发挥。

2. 方法论 (Methodology)

作者提出了 ExtremControl，一个旨在最小化延迟同时保留全身控制能力的低延迟控制框架。其核心包含三个主要部分：

A. 基于笛卡尔空间的直接末端控制 (Direct Extremity Control)

摒弃全身体重定向：不在策略循环内进行耗时的全身体关节空间重定向。
选择关键连杆：仅跟踪和映射人体的关键刚性连杆（末端执行器），包括双手、双脚、骨盆和躯干（共 6 个 SE(3) 位姿）。
笛卡尔空间映射：设计了一个解析的笛卡尔空间映射算子 $M$ $M$ ，直接将人体连杆位姿转换为人形机器人对应连杆的目标位姿。
- 一次校准：通过简单的校准过程处理人体与机器人之间的比例差异（如骨盆高度、臂长）。
- 实时效率：映射过程完全前馈且可并行计算，避免了迭代优化带来的延迟。

B. 速度前馈控制 (Velocity Feedforward Control)

改进底层控制：在传统的 PD 控制基础上引入速度前馈项。
- 传统公式： $\tau = k_p(q_t - q) - k_d \dot{q}$
- 改进公式： $\tau = k_p(q_t - q) - k_d \dot{q} + \eta k_d \dot{q}_t$
- 其中 $\eta$ 是速度前馈比率。
理论分析：通过拉普拉斯变换分析表明，速度前馈可以显著减少相位滞后（即跟踪延迟）。理论推导给出了前馈比率 $\eta$ 的上限，以防止在离散时间控制周期内产生过冲。
全身阻抗校准：提出了一种基于仿真的全身阻抗校准方法，用于确定关节的等效惯性 $M_{eff}$ ，从而计算出具有目标自然频率和阻尼比的 PD 增益，确保底层控制的稳定性。

C. 策略学习框架 (Policy Learning)

三阶段训练：
1. 教师策略 ( $\pi_{teacher}$ )：利用特权观测（Privileged Observations，如未来 32 帧、关节配置、接触力等）和长视野训练，处理高动态运动。
2. 蒸馏学生策略 ( $\pi_{student}$ )：将教师策略蒸馏为可部署的学生策略，仅使用单帧未来信息和非特权观测，以最小化推理延迟。
3. 遥操作策略 ( $\pi_{teleop}$ )：在大规模多样化运动数据集上微调蒸馏后的策略，使其具备任务无关的全身控制能力。
训练范式：采用 RL + BC + RL 的混合范式，结合了强化学习（PPO）的探索能力和行为克隆（DAgger）的稳定性。

3. 关键贡献 (Key Contributions)

统一理论公式：从机器人运动学、动力学和策略学习的角度，统一提出了 ExtremControl 的理论框架。
极低延迟系统：实现了端到端延迟低至 50ms 的遥操作系统（MoCap 模式下 54±4ms，VR 模式下 64±8ms），显著超越了现有工作（通常 >170ms）。
基于光流的延迟评估方法：提出了一种基于视频光流（Optical Flow）的端到端延迟估计方法，无需内部时间戳即可客观测量系统延迟，并验证了现有文献中延迟估计的一致性。
高性能动态任务验证：在真实世界（Unitree G1 机器人）中成功演示了高响应任务，如乒乓球回击、抛接球、动态接飞盘和协同搬运，证明了系统在“感知 - 行动”闭环中的有效性。

4. 实验结果 (Results)

延迟对比：
- 现有系统（如 OmniH2O, TWIST, CLONE 等）延迟普遍在 178ms - 454ms 之间。
- ExtremControl 将延迟降低至 ~54ms，打破了 200ms 的延迟壁垒。
消融实验：
- 速度前馈： $\eta=0.9$ 时效果最佳，平衡了跟踪精度和延迟。 $\eta=1.0$ 会导致过冲。
- 未来视野：教师策略观察 32 帧未来信息是最佳平衡点，过多会导致蒸馏后性能下降。
- 重定向 vs 直接映射：直接映射末端位姿仅带来约 7mm 的位置误差和 0.02 rad 的旋转误差，但换取了约 10ms 的延迟降低，是一个极佳的权衡。
任务表现：机器人能够流畅地执行乒乓球平衡、抛接、动态接物等需要毫秒级反应的任务，这些任务在 200ms 延迟下几乎无法完成。

5. 意义与影响 (Significance)

解锁硬件潜力：通过消除系统延迟瓶颈，使得现有的人形机器人硬件能够执行以前因延迟过高而无法实现的动态、高响应任务。
数据收集革命：极低延迟的遥操作使得收集高质量、高动态的“人机交互”演示数据成为可能，为训练更强大的通用机器人智能（General Robotic Intelligence）提供了关键的数据基础。
控制范式转变：证明了在遥操作中，通过直接控制末端位姿（SE(3)）结合速度前馈，可以替代传统的复杂关节空间重定向，为未来的机器人控制架构提供了新的设计思路。
开源贡献：提供了代码（Genesis-Humanoid）和网站，推动了社区在低延迟遥操作领域的研究。

总结：ExtremControl 通过“直接末端控制 + 速度前馈 + 高效策略蒸馏”的组合，成功解决了人形机器人遥操作中的延迟瓶颈问题，实现了接近人类感知极限的实时控制，为动态人机交互和机器人技能学习开辟了新路径。