💻 computer science

PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis

本文提出了一种名为 PACE 的强化学习框架，通过引入轻量级球体状态预测器与物理引导的密集奖励机制，实现了端到端的人形机器人乒乓球全身体协调控制，并在仿真与真实 Booster T1 机器人上取得了卓越的零样本泛化性能。

原作者： Muqun Hu, Wenxi Chen, Wenjing Li, Falak Mandali, Zijian He, Renhong Zhang, Praveen Krisna, Katherine Christian, Leo Benaharon, Dizhi Ma, Karthik Ramani, Yan Gu

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muqun Hu, Wenxi Chen, Wenjing Li, Falak Mandali, Zijian He, Renhong Zhang, Praveen Krisna, Katherine Christian, Leo Benaharon, Dizhi Ma, Karthik Ramani, Yan Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常酷的故事：研究人员教一个人形机器人像人类一样打乒乓球。

想象一下，乒乓球是一项速度极快、需要全身协调的运动。球飞过来的速度可能比眨眼还快，人需要瞬间判断球会落在哪里，然后脚要快速移动到位，身体要扭转，手臂要精准挥动。对于机器人来说，这就像是在狂风暴雨中走钢丝，同时还要用筷子夹住一颗高速飞行的弹珠。

以前的机器人打乒乓球，大多像是一个“死板的机器”：它们只能站在原地，或者只能横向移动，等着球飞到某个固定的点再打。但这就像是一个只会站在原地挥手的守门员，根本接不到那些刁钻的球。

这篇论文提出的新方法（叫 PACE），让机器人变得像真正的运动员一样聪明和灵活。我们可以用三个生动的比喻来理解它的核心秘密：

1. 给机器人装了一个“水晶球”（预测器）

问题：球飞得太快了，等机器人看到球飞到眼前再反应，早就来不及了。
解决方案：研究人员给机器人装了一个**“水晶球”**（学名叫“预测器”）。
怎么工作：这个水晶球能根据球刚才飞行的轨迹，提前算出球下一秒、甚至下两秒会飞到哪里。
比喻：就像你打网球时，老手不是盯着球看，而是根据对手挥拍的姿势，预判球会飞到哪里，然后提前跑过去。这个“水晶球”让机器人拥有了这种“预判”能力，它能在球还没飞过来时，就提前把脚迈到正确的位置。

2. 给教练发了一张“满分试卷”（物理奖励机制）

问题：在训练机器人时，如果只告诉它“打中了”或“没打中”，就像学生考试只有“及格”和“不及格”两个分数，机器人根本不知道为什么没打中，也不知道怎么改进。这种反馈太少了（稀疏奖励）。
解决方案：研究人员设计了一套**“满分试卷”**（密集奖励机制）。
怎么工作：利用物理模拟，系统会告诉机器人：“你现在的脚迈得不够大”、“你的手臂挥得太低了”、“如果你再往左一点，球就能过网了”。
比喻：这就像一位严厉但热心的教练，在机器人每一次挥拍时，都在耳边实时指导：“重心再低一点！”“手腕再转一点！”而不是等球落地了才说“你输了”。这让机器人能像海绵一样快速吸收经验，学会如何优雅地移动和击球。

3. 全身协调的“舞蹈”（端到端学习）

问题：以前的机器人，手和脚是分开控制的，手想打，脚却还在原地发呆。
解决方案：这篇论文让机器人从头到脚作为一个整体来学习。
怎么工作：机器人不再把“移动”和“击球”分开想，而是把它们当成一个连贯的动作。
比喻：这就像跳探戈。你不需要先想“左脚迈一步”，再想“右手挥一下”，而是随着音乐（球的轨迹），身体自然地流动、旋转、移动。在这个实验中，机器人学会了根据球是近是远，灵活地向前冲或者向后撤，甚至能像人类一样调整身体姿态来保持平衡。

实验结果：真的能行吗？

研究人员把这个“大脑”装进了一个名叫 Booster T1 的 23 个关节的人形机器人身上。

在电脑模拟中：机器人面对各种刁钻的球，96% 都能接住，92% 都能成功回击到对方桌上。
在现实世界中：虽然现实比模拟更复杂（比如摩擦力不同、传感器有误差），机器人依然成功接住了 93.5% 的球，并成功回击了 61%。
最酷的瞬间：视频显示，机器人不仅能接住球，还能在接球后迅速调整姿势，像人类运动员一样，面对不同的来球，做出侧向移动或前后冲刺的复杂步伐。

总结

简单来说，这篇论文就是给机器人装上了**“预判未来的眼睛”和“实时指导的教练”，让它从“只会站桩的机器”进化成了“会跑、会跳、会思考的乒乓球运动员”**。

这不仅仅是为了打乒乓球，它证明了机器人可以像人类一样，在极短的时间内，协调全身复杂的动作去应对快速变化的世界。未来，这项技术可能让机器人去干更多需要敏捷反应的工作，比如救灾、救援，甚至只是陪我们打一场精彩的球赛！

这是一份关于论文《PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis》（PACE：面向通用型人形机器人乒乓球协调控制的物理增强端到端强化学习）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
人形机器人乒乓球（TT）是一项极具挑战性的任务，要求机器人具备快速感知、主动的全身运动以及敏捷的步法，且必须在严格的时间窗口内完成。现有的端到端控制策略难以同时处理手臂击球和腿部移动，主要原因包括：

高维动作空间与不稳定性： 人形机器人自由度（DoF）高，且存在固有的运动不稳定性，导致强化学习（RL）难以进行有效探索。
稀疏奖励问题： 传统的“击中”或“得分”奖励过于稀疏，无法为复杂的全身协调（如步法调整、身体平衡）提供足够的训练指导。
虚拟击球平面的局限： 传统基于模型的方法通常假设一个“虚拟击球平面”，限制了机器人进行主动的步法移动和全身协调，难以应对真实比赛中多变的球路。

问题形式化：
该问题被建模为部分可观测马尔可夫决策过程（POMDP）。目标是训练一个策略 $\pi_\theta$ ，将球的观测序列（过去 $H$ 步）和机器人本体感知（关节位置、速度等）直接映射到全身关节参考轨迹，以实现主动拦截、精准击球和动态平衡。

2. 方法论 (Methodology)

作者提出了一种名为 PACE 的统一端到端强化学习框架，其核心在于预测器增强（Predictor-augmented）和物理引导的奖励设计（Physics-guided Rewards）。

A. 预测器增强的 Actor 策略 (Predictor-augmented Actor Policy)

轻量级预测网络： 训练一个轻量级的 MLP 预测器，输入过去 5 帧的球位置观测，输出预测的反弹后顶点位置 ( $\tilde{p}_{ball}$ )。
主动决策： 利用预测结果生成目标基座（躯干）位移指令 ( $\Delta \tilde{p}_{base,xy}$ )，使机器人能在球到达前主动移动到位，而非被动等待。
观测空间设计：
- Actor（执行策略）： 接收包含预测信息的观测（如预测的球顶点、预测的基座位移），用于实际部署。
- Critic（评估策略）： 在训练时接收“特权信息”（Privileged Information），包括基于物理仿真的精确未来状态（真实球轨迹、精确到达时间等），但不包含噪声，用于更准确地评估状态价值。

B. 基于预测的密集奖励设计 (Prediction-based Reward Design)

为了解决稀疏奖励问题，利用物理仿真预测球的未来轨迹，构建连续的密集奖励函数：

击球引导奖励 (Hit-guidance Reward)：
- 位置跟踪： 惩罚末端执行器（球拍）与预测击球点之间的距离。
- 基座位移： 惩罚机器人基座与为了 reach 击球点所需的理想基座位置之间的差异。
- 速度跟踪： 惩罚基座速度与目标速度（与位置误差成正比）的失配。
- 目的： 引导机器人主动移动到正确的击球位置，并调整身体姿态。
回球引导奖励 (Return-guidance Reward)：
- 落点预测： 预测球过网后的落点，惩罚其与对手台面目标区域的距离。
- 过网高度： 预测球过网时的高度，奖励其以安全的高度越过球网。
- 优势： 这些奖励在击球瞬间即可计算，无需等待球落地，极大地提高了学习效率和探索能力。

C. 训练架构

算法： 采用非对称 Actor-Critic 架构，使用 PPO（近端策略优化）算法。
仿真环境： 基于 IsaacLab 和 LeggedLab 构建，包含空气阻力模型（通过真实数据拟合的二次方阻力模型）和域随机化（质量、摩擦、传感器噪声等）以缩小 Sim2Real 差距。
动作空间： 学习相对于稳定名义姿态（Nominal Pose）的残差位移，提高训练安全性。

3. 关键贡献 (Key Contributions)

首个统一的人形机器人乒乓球端到端 RL 框架： 实现了从球位置观测直接到全身（手臂 + 腿部）参考运动的映射，无需模块化分解或分层规划。
预测器与物理增强的结合： 创新性地结合了“学习到的未来状态预测器”和“基于物理的密集奖励”，解决了端到端学习中的稀疏奖励和探索效率低的问题。
突破虚拟击球平面限制： 策略不再局限于固定的击球平面，而是根据来球情况动态调整步法（前后移动、横向移动）和躯干姿态，展现出类似人类的灵活击球策略。
Sim2Real 零样本部署： 成功将训练好的策略零样本（Zero-shot）部署到物理人形机器人 Booster T1（23 个旋转关节）上，实现了真实的乒乓球回击。

4. 实验结果 (Results)

A. 仿真结果

高成功率： 在多种发球范围（短球、中长球、长球）的测试中，击球率（Hit Rate） $\ge 96\%$ ，回球成功率（Success Rate） $\ge 92\%$ 。
多样化策略： 可视化显示，针对短球，机器人会主动向前跨步；针对长球，会向后移动并调整重心。策略能够根据来球速度自动调整击球点和步法。

B. 消融实验 (Ablation Studies)

去除预测器： 移除预测信息后，机器人虽然能尝试拦截，但几乎无法完成有效回球，证明了主动预测对建立稳定姿态和执行有效击球至关重要。
去除预测奖励： 仅使用稀疏的“成功/失败”奖励时，机器人无法学会正确的回球速度和方向，证明了密集物理奖励对引导全身协调运动的必要性。

C. 真实世界部署 (Sim2Real)

硬件平台： Booster T1 人形机器人（1.2 米高，30 公斤，23 DoF）。
性能表现： 在 31 次发球测试中，机器人成功拦截 29 次（击球率 93.5%），并完成了 19 次有效回球（成功率 61.3%）。
动态表现： 机器人展现了协调的侧向和前后步法，能够根据来球方向调整躯干姿态（如旋转躯干击球）。
回球速度： 平均回球速度达到 6.9 m/s，超过了初始来球速度（约 6 m/s），展现了竞技水平。
差距分析： 成功率从仿真的 94% 下降到实机的 61.3%，主要归因于仿真中串联踝关节模型与实机并联踝关节机构的动力学差异，以及未建模的电机动态和接触动力学。

5. 意义与展望 (Significance & Future Work)

意义：

该工作证明了端到端强化学习可以处理人形机器人全身控制中的高维、动态和时序敏感任务。
提出的“物理增强”范式（利用物理预测构建密集奖励和辅助观测）为其他快速动态交互任务（如接飞盘、躲避障碍物）提供了通用的解决思路。
实现了人形机器人在复杂动态环境下的敏捷步法和全身协调，是迈向通用具身智能的重要一步。

未来工作：

手部灵巧性： 当前机器人手臂仅有 4 个自由度，未来计划引入更多自由度的手腕（如 7 DoF），以学习反手击球等更复杂的技巧。
课程学习： 利用人类演示数据，通过课程学习逐步掌握核心乒乓球技能。
策略泛化： 进一步提升策略在更复杂对手和多变环境下的适应性。

总结：
PACE 框架通过引入预测机制和物理引导的密集奖励，成功解决了人形机器人乒乓球控制中的“感知 - 决策 - 执行”闭环难题，实现了从仿真到真机的高性能零样本迁移，展示了人形机器人在高速动态交互任务中的巨大潜力。