ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation

本文提出了 ActivePusher 框架，通过结合残差物理建模与基于不确定性的主动学习，优化非抓取操作中的数据收集与规划过程，从而显著提升了数据效率及在仿真和真实环境中的规划成功率。

要点

这篇论文介绍了一个名为 ACTIVEPUSHER 的机器人新系统。简单来说，它教机器人如何更聪明、更高效地学习“推东西”这项技能，并且学会在推东西时如何“三思而后行”，避免犯错。

为了让你更容易理解，我们可以把机器人想象成一个刚学做饭的新手厨师，而“推物体”就是他在厨房里推锅碗瓢盆的动作。

1. 核心难题：推东西太难预测了

在机器人领域，用机械手“抓”东西（prehensile）通常比较容易，因为抓住了就不会掉。但“推”东西（nonprehensile，比如推箱子、推瓶子）非常难。

• 现实情况：就像厨师推锅，摩擦力、桌面的平整度、瓶子的形状都会影响它滑多远、转多少度。
• 传统问题：以前的机器人要么靠死记硬背物理公式（太死板，稍微有点灰尘就不准了），要么靠大量随机试错（太笨，要推几千次才能学会，而且容易把东西推飞）。

2. ACTIVEPUSHER 的三大绝招

这个系统用了三个聪明的策略来解决上述问题：

第一招：站在巨人的肩膀上（残差物理模型）

• 比喻：想象厨师先学了一本《标准烹饪教科书》（物理模型），知道“推一下大概会滑多远”。但他发现书上的理论和实际厨房总有偏差（比如桌子有点油）。
• 做法：ACTIVEPUSHER 不重新发明轮子，而是让一个“小助手”（神经网络）专门负责修正错误。它只学习“教科书预测”和“实际结果”之间的差距（残差）。
• 好处：这样机器人不需要从零开始学，只需要学怎么“微调”，效率极高。

第二招：只练最难的题（主动学习）

• 比喻：普通学生复习时，可能会随机翻书做题，或者只做自己会做的题。但 ACTIVEPUSHER 像一个精明的教练。
• 做法：它会问：“我现在对哪个动作最没把握？”然后专门去练习那些它最不确定、最困惑的动作。
• 技术原理：它利用一种叫“神经切线核（NTK）”的技术来测量“不确定性”。就像教练知道学生哪里薄弱，就只安排练哪里。
• 好处：以前可能需要推 100 次才能学会，现在推 50 次就能达到同样的水平，大大节省了时间和体力。

第三招：只走最稳的路（主动规划）

• 比喻：当机器人要规划一条把东西推到目标点的路线时，普通机器人可能会随机选路，哪怕那条路它其实没把握。但 ACTIVEPUSHER 像个谨慎的探险家。
• 做法：在规划路线时，它会查看自己的“信心地图”。如果某条路它很确定（不确定性低），它就选这条路；如果某条路它心里没底（不确定性高），它就避开。
• 好处：虽然有时候为了走稳路，路线可能会稍微绕一点点远（比如多走 10% 的路），但成功率大大提高了，几乎不会把东西推下桌子或撞坏障碍物。

3. 实验结果：真的有用吗？

作者在电脑模拟和真实的实验室里都做了测试：

• 学得快：在同样的数据量下，它的预测比传统方法准得多；或者在达到同样精度时，它需要的数据量只有别人的 55%。
• 推得稳：在复杂的“推到边缘”任务中（比如把饼干盒推到桌子边缘以便抓取），它的成功率远高于其他方法，甚至不需要大量的模拟训练就能直接用在真机上。
• 适应力强：即使遇到没见过的障碍物，它也能通过“重新规划”成功完成任务，而很多基于强化学习（RL）的机器人遇到新情况就会崩溃。

总结

ACTIVEPUSHER 就像是一个既聪明又谨慎的机器人学徒：

1. 它懂得利用已有的物理知识，只专注于修正错误（残差学习）。
2. 它知道哪里是自己的短板，专门去攻克难点（主动学习）。
3. 它在行动前会评估风险，只选择最有把握的路径（主动规划）。

这项技术让机器人能用更少的试错次数，学会更复杂的推、滚、滑等技能，为未来机器人进入家庭、工厂处理各种非抓取类任务打下了坚实基础。

技术摘要

1. 研究背景与问题定义 (Problem Statement)

核心挑战：
在非抓取式（Nonprehensile）操作（如推、滚）任务中，机器人需要依赖动力学模型进行长时程规划。然而，现有的方法面临两大主要瓶颈：

1. 样本效率低 (Sample Inefficiency)： 基于数据的学习方法通常需要大量交互数据，而在物理机器人上收集数据成本高、耗时长。随机采样的交互往往包含大量冗余信息，无法高效提升模型性能。
2. 未探索区域的不确定性 (Uncertainty in Underexplored Regions)： 学习到的动力学模型在训练数据稀疏的区域（即未充分探索的技能空间）往往表现不佳，导致预测误差大。在长时程规划中，这些误差会累积，最终导致任务失败。

目标：
提出一种框架，能够主动选择最具信息量的技能参数进行数据收集（主动学习），并在规划时主动选择模型不确定性低（高置信度）的动作，从而在数据有限的情况下实现鲁棒的非抓取式推物体任务。

---

2. 方法论 (Methodology)

作者提出了 ACTIVEPUSHER 框架，核心思想是将残差物理建模 (Residual Physics)、基于不确定性的主动学习与主动运动规划紧密结合。

A. 残差物理建模 (Residual Physics Modeling)

为了在低数据量下获得高精度，模型结合了物理先验与数据驱动修正：

• 物理基模型： 使用基于准静态假设和库仑摩擦定律的解析动力学模型（参考 [21]），预测物体在推力下的运动。
• 神经网络残差： 训练一个神经网络（NN）来学习物理模型预测值与真实观测值之间的残差（误差）。
• 优势： 既保留了物理模型的可解释性和泛化性，又通过 NN 修正了特定物体形状、摩擦系数等参数不匹配带来的误差。

B. 不确定性量化 (Uncertainty Quantification)

为了指导学习和规划，系统需要量化模型的认知不确定性 (Epistemic Uncertainty)：

• 技术路线： 利用 神经切线核 (Neural Tangent Kernel, NTK)。
• 原理： 在无限宽神经网络极限下，训练后的 NN 等价于具有高斯过程 (GP) 先验的回归模型。通过计算 NTK 的后验预测协方差，可以估计模型在未见数据点上的不确定性。
• 实现： 对于给定的技能参数集合，计算其预测方差，方差越大表示模型越不确定（即该区域数据稀疏）。

C. 主动学习 (Active Learning)

• 策略： 采用 BAIT (Batch Active learning via Information maTrices) 算法。
• 机制： 在每一轮训练中，从候选动作池中选择一组（Batch）动作，使得这组动作的联合费雪信息矩阵 (Fisher Information Matrix) 能最大程度地覆盖模型参数空间，从而最大化期望信息增益。
• 目的： 用最少次数的交互，让模型快速收敛到高精度。

D. 主动规划 (Active Planning)

• 规划器： 使用基于采样的运动规划器 SST (Sparse Sampling Tree)，在物体 SE(2) 状态空间中寻找从起点到目标的路径。
• 不确定性感知采样： 在规划树的扩展过程中，不随机采样控制量，而是：
  1. 采样一批候选推力动作。
  2. 查询模型对这些动作的预测不确定性。
  3. 选择不确定性最低（最可靠）的动作加入规划树。
• 目的： 引导规划器避开模型不确定的区域，优先选择高置信度的动作，从而提高执行成功率。

---

3. 主要贡献 (Key Contributions)

1. 主动技能模型学习框架： 提出了一种基于 NTK 和 BAIT 策略的主动学习框架，能够主动选择最具信息量的推物体参数，显著提高了非抓取技能学习的数据效率。
2. 不确定性感知主动规划： 提出了一种将模型不确定性集成到渐近最优运动规划器中的新策略。通过偏向选择高置信度动作，提高了长时程规划的成功率。
3. 仿真与实机验证： 在 MuJoCo 仿真和真实 UR10 机器人上进行了广泛实验。结果表明，该方法在数据量大幅减少的情况下，仍能实现比基线方法更高的预测精度和规划成功率，且无需高保真仿真或大量离线数据。

---

4. 实验结果 (Results)

实验在仿真和真实世界（使用 UR10 机器人和 YCB 物体数据集）中进行，对比了纯物理模型、随机采样的 MLP/残差模型、以及本文提出的主动学习方法。

• 技能学习 (Skill Learning)：

  • 精度提升： 在相同数据量下，Residual BAIT（本文方法）的 SE(2) 预测误差显著低于随机采样的基线。
  • 数据效率： 达到与随机采样 MLP 模型最终性能相当的精度时，本文方法平均仅需 55% 的训练数据。
  • 残差优势： 在低数据量区域，结合残差物理的模型表现明显优于纯数据驱动模型。

• 运动规划 (Kinodynamic Planning)：

  • 任务设置： 包括“推至区域 (Push to Region)"和更具挑战性的“推至边缘 (Push to Edge)"任务。
  • 成功率： 引入主动采样（Active Planning）后，任务成功率显著提升。在仿真和实机中，本文方法均优于常规均匀采样规划。
  • 路径代价： 为了追求可靠性，主动规划生成的路径略长（约增加 9-13%），但换来了更高的执行成功率和更低的跟踪误差。
  • 计算开销： 不确定性估计的计算开销极低（批量处理 10,000 个候选动作仅需约 8.1 毫秒）。

• 闭环执行 (Closed-loop Execution)：

  • 在闭环重规划设置下，ACTIVEPUSHER 在“推至区域”任务中达到了 100% 成功率。
  • 与最先进的强化学习方法 HACMan 相比：
    • 数据效率： 本文方法所需数据量比 HACMan 少几个数量级。
    • 泛化性： 在遇到训练时未见过的障碍物布局时，本文方法表现稳健，而 HACMan 因分布偏移（Distribution Shift）导致性能大幅下降。
    • Sim-to-Real： 本文方法可直接在真实世界少量数据上训练并有效工作，无需复杂的仿真到现实迁移适应。

---

5. 意义与结论 (Significance & Conclusion)

核心意义：
ACTIVEPUSHER 证明了将物理先验、主动学习和不确定性感知规划相结合，是解决机器人非抓取操作中“数据稀缺”和“模型不可靠”问题的有效途径。它打破了传统方法要么依赖大量数据、要么依赖完美物理模型的局限。

局限与未来工作：

• 当前局限： 目前假设物体为定向包围盒 (OBB) 且接触为“粘滞 (sticking)"状态，主要适用于平面准静态推物体任务。
• 未来方向： 计划将框架扩展至更复杂的接触动力学、多样化几何形状以及 SE(3) 空间的非抓取技能，并尝试联合建模认知不确定性和偶然不确定性 (Aleatoric Uncertainty)。

总结：
这项工作为机器人提供了一种数据高效且鲁棒的自主技能学习与执行范式，特别适用于那些难以建立精确解析模型且数据收集成本高昂的真实世界操作场景。