🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

本文介绍了扭矩自适应模块（TAM），这是一个通过仅基于本体感受历史来调整扭矩指令，从而实现动态操纵策略在不同机器人和负载之间鲁棒零样本迁移的学习组件，进而消除了对策略级领域随机化或真实机器人数据收集的需求。

原作者： Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位名厨，他花费多年时间为特定的高端厨房钻研出一套完美的食谱。这位厨师非常清楚应该施加多少压力来使用刀具，应该以多快的速度搅拌锅里的食物，以及如何操控那一套特定的、定制的重型锅具。

现在，想象你想让这位厨师在另一个厨房里烹饪完全相同的菜肴。但这个新厨房具有以下特点：

锅具稍微重了一些（未知的负载）。
刀具因为陈年油脂而感觉有点“粘滞”（摩擦力）。
炉灶的响应速度比厨师习惯的那个稍微慢了一点（不同的动力学特性）。

如果厨师试图在不进行调整的情况下使用完全相同的动作，食物可能会烧焦，锅可能会滑脱，或者刀可能切得不对。在机器人领域，这就是**“从模拟到现实”（Sim-to-Real）问题**：在完美的计算机模拟中训练出的机器人，在被放到真实的机器人身上时往往会失败，因为现实世界是混乱、沉重且不可预测的。

问题：“完美” vs. “现实”

本文解释说，现有的解决方案就像是试图教厨师变得“超级谨慎”（领域随机化/Domain Randomization），以便他们能应对任何厨房，但这会让他们变得缓慢且笨拙。或者，你试图在厨师烹饪的同时，测量新厨房里的每一颗螺丝和每一根弹簧（系统辨识/System Identification），但这需要耗费过多的时间和数据。

解决方案：TAM（“智能适配器”）

作者引入了 TAM（扭矩自适应模块/Torque Adaptation Module）。把 TAM 想象成站在主厨身边的超级聪明的小助手（sous-chef），但他只在刀刃接触食物前的最后一秒才介入。

以下是 TAM 的工作原理，将其拆解为简单的部分：

1. “黑盒”策略（主厨）
主机器人策略（即“主厨”）是在一个完美、理想的机器人上训练出来的。它发出指令，例如“将机械臂移动到位置 X”或“施加力 Y”。它并不知道那些重型锅具或粘滞的油脂的存在。

2. 低层控制器（手臂）
这是将主厨的指令转化为实际肌肉运动（扭矩）的部分。它会说：“好的，为了到达位置 X，我需要施加 10 牛顿的力。”

3. TAM（小助手）
TAM 位于低层控制器与实际机器人电机之间。它不会告诉主厨该做什么。它甚至不知道主厨想要实现什么目标（它看不见食谱或目标）。

相反，TAM 会观察机器人的历史记录。它观察：

在过去的几秒钟内，机械臂实际是如何移动的。
实际施加了多少力。
机械臂的体感（本体感受）。

基于这些历史记录，TAM 会意识到：“嘿，机械臂移动得比预期的要慢，是因为那个沉重的锅。”

4. 神奇的调整（残差扭矩）
TAM 计算出一个微小的、瞬时的修正。如果控制器说“施加 10 牛顿的力”，TAM 可能会低声提醒：“实际上，施加 10.5 牛顿的力，以补偿摩擦力。”它会在指令到达电机之前，加上这个微小的“额外推力”（残差扭矩）。

为什么这很特别？

即插即用： 你可以拿一个为特定任务（如推箱子）训练的机器人策略，以及另一个为完全不同的任务（如翻转立方体）训练的策略，TAM 对两者都有效。你不需要重新训练主厨，你只需要插上这个 TAM 适配器即可。
它通过“感觉”而非“视觉”学习： TAM 不需要看到机器人的摄像头画面，也不需要知道任务是什么。它只需要“感觉”机器人的历史记录。这就像一位盲人专家，仅凭引擎的声音和方向盘的震动就能判断出一辆车是否很重。
它很快： TAM 每秒进行 1,000 次（1 kHz）微小的调整。这种速度足以处理动态、快速的任务，比如翻转物体或平衡球体，而较慢的方法无法做到这一点。
它不需要现实世界的数据： 这个“小助手”（TAM）完全是在计算机模拟中通过数千种随机的“假设场景”（重锅、粘腻油脂、损坏的弹簧）训练出来的。一旦训练完成，它可以直接部署到真实的机器人上，即使面对完全未知的重量负载也能立即工作。

实验结果

论文在真实的机器人（Franka Panda）上测试了这项技术，涵盖了三个截然不同的任务：

推动箱子（使用通过强化学习获得的策略）。
翻转立方体（使用通过模仿人类演示获得的策略）。
在盘子上平衡球体（使用基于数学的控制器）。

在所有案例中，带有 TAM 的机器人表现都远好于那些试图实时猜测物理特性的机器人，也远好于那些仅仅试图变得“谨慎”的机器人。TAM 让机器人能够像在完美模拟中一样，充满信心且快速地运动，即使它正在应对现实世界的混乱。

总结类比

如果机器人策略是一个在完美、干燥的赛道上学习驾驶的驾驶员，而现实情况是雨天泥泞的路面：

传统方法告诉驾驶员要开得超级慢且小心（保守）。
其他方法试图在驾驶过程中测量泥浆的深度（缓慢且复杂）。
TAM 则像是一个副驾驶，他能感觉到车辆正在打滑，并能在每秒 1,000 次的瞬间微调转向和油门，以确保车辆保持在赛道上，而无需告诉驾驶员改变其驾驶风格。

论文结论指出，TAM 是一个鲁棒且灵活的工具，它让那些在“完美世界”的模拟中训练出的机器人，能够在“混乱世界”的现实中取得成功，而无需针对每一个新的机器人或每一个可能抓取的重物进行重新训练。

技术摘要：用于鲁棒运动传递的扭矩自适应模块 (TAM)

1. 问题定义

本文解决了机器人操作中的 sim-to-real（仿真到现实）迁移与运动鲁棒性挑战。针对特定“理想”机器人模型设计的策略，在部署到动力学特性不同的目标机器人时往往会失效。这些差异源于：

Sim-to-real gap（仿真到现实间隙）（未建模的摩擦、阻尼、执行器延迟）。
未知负载（增加的质量以及质心偏移）。
实例间的差异（制造公差）。

在富接触、动态的任务中，即使是微小的运动偏差也会破坏接触时机和模式，导致任务失败。现有方案面临显著局限性：

系统辨识 (SysID)： 需要针对每个新机器人或新负载变化进行持续的数据采集和模型重新辨识。
领域随机化 (Domain Randomization)： 通常会产生过于保守的策略，无法充分利用机器人的完整动力学范围。
策略侧自适应（如 RMA, UPOSI）： 需要通过自适应分支对策略进行重训或蒸馏，这对于闭源、第三方或基于模型的（MPC）策略来说成本过高或无法实现。

2. 方法论：扭矩自适应模块 (TAM)

作者提出了 TAM，这是一个插入在扭矩接口（低层控制器与机器人物理执行器之间）的习得模块。TAM 独立于高层策略运行，使其能够自适应任何现有策略（RL、BC 或 MPC），而无需修改策略本身。

核心架构

TAM 由两个在不同时间尺度上运行的主要组件组成：

历史编码器 (5 Hz)：
- 输入： 自身感知数据（关节位置 $q$ 、速度 $\dot{q}$ ）和施加扭矩 $\tau^a$ 的长程历史记录（12 秒）。
- 特征增强： 编码器结合了一个物理残差特征 ( $e_\tau$ )，该特征计算为施加的扭矩与观察到的运动所需的理想模型扭矩之间的差异。这提供了动力学失配的直接信号。
- 处理： 使用带有因果 Transformer 的分块式时间序列标记化策略，将高频（1 kHz）历史记录高效处理为紧凑的隐状态 $z_t$ 。
扭矩适配器 (1 kHz)：
- 输入： 隐状态 $z_t$ 、近期状态/扭矩的短窗口以及由低层控制器生成的标称扭矩 $\tau^0_t$ 。
- 输出： 残差扭矩修正量 $\Delta\tau_t$ 。
- 机制： 使用受 $z_t$ 条件化的自适应层归一化（Adaptive Layer Normalization），允许相同的权重针对不同的动力学表达不同的修正律。
- 最终指令： 将修正后的扭矩 $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ 发送至机器人。

训练策略

任务无关数据： TAM 在随机化的自由空间关节运动滚动实验中进行训练，而非针对特定的任务演示。
监督机制： 训练目标是局部扭矩匹配。给定一个状态和标称扭矩，系统会计算为了让扰动后的（目标）机器人达到与理想机器人相同加速度所需的“教师”扭矩。
两阶段流水线：
1. 多机器人预训练： 该模块在来自五种不同机器人模型（Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4）的随机化滚动实验上进行训练，以学习共享的修正初始化。
2. 机器人特定微调： 如果目标机器人有仿真器可用，则将预训练权重在目标机器人的随机化滚动实验上进行微调。此步骤不需要真实世界数据。

3. 核心贡献

解耦自适应： 通过将自适应层移动到扭矩接口，TAM 不需要访问策略的观测值、奖励或内部状态。这使得在多种多样策略（RL、BC、MPC）和动作空间（关节目标、末端执行器目标、直接扭矩）之间复用同一套 TAM 权重成为可能。
零样本现实世界迁移： 该方法使机器人在面对未知负载和动力学时，能够在无需重训底层策略或收集现实世界校准数据的情况下，实现鲁棒执行。
高频修正： 运行频率达 1 kHz，支持需要对接触和惯性变化做出快速响应的快速、动态操作任务。
泛化性： 多机器人预训练方法允许模块泛化到未见的机器人形态，并通过仿真微调可进一步提升性能。

4. 实验结果

作者在真实的 Franka Emika Panda 机器人上通过三个不同任务以及一个模拟跨机器人追踪研究对 TAM 进行了评估。

现实世界任务 (Franka Panda)

基于视觉的 RL 箱体推动： TAM 实现了 76.2% 的成功率，显著优于直接执行 (47.6%) 和在线系统辨识 (57.1%)。
行为克隆立方体翻转： TAM 实现了 72.0% 的成功率，几乎接近理想仿真基准 (73.5%)，且比在线 SysID (34.0%) 的成功率提高了一倍多。
MPC 平板平衡球： TAM 在 15 秒内完成了 13.6 ± 2.9 个目标，优于在线 SysID (13.1) 和直接执行 (8.8)，接近理想仿真性能 (15.9)。
带未知负载的追踪： 在带有隐藏 1 kg 负载的末端执行器追踪任务中，TAM 将追踪误差 (RMSE) 从约 6 cm (直接执行) 降低到了 1.29 cm (携带状态)，优于显式参数估计基准。

仿真跨机器人泛化

在五个机器人上预训练的 TAM 权重被测试在两个未见过的机器人（Google Robot, Unitree Z1）上。
多机器人预训练的 TAM 与 Direct 和 Online SysID 基准相比，显著降低了追踪误差。
在目标机器人的仿真中进行微调进一步降低了误差，证明了两阶段训练流水线的有效性。

消融实验

历史编码器： 去除长程历史编码器会导致成功率显著下降（在仿真中从 84% 降至 42%），凸显了时间上下文的重要性。
物理残差特征： 去除 $e_\tau$ 特征会削弱跨机器人迁移能力，证实了其在超越特定形态进行泛化方面的作用。
直接扭矩 vs 参数预测： 直接预测残差扭矩的表现优于那些试图先预测显式物理参数的方法。

5. 重要性与主张

本文声称 TAM 代表了处理操作任务中 sim-to-real 迁移方式的一种转变。与其强迫策略学习鲁棒性或进行持续的系统辨识，TAM 将自适应负担转移到了模块化的扭矩级接口。

模块化： 它允许为独立编写的策略（RL、BC、MPC）提供“即插即用”的自适应，而无需重训。
高效性： 它消除了为自适应收集现实世界数据的需求，转而依赖于随机化仿真和多机器人预训练。
鲁棒性： 它使动态、富接触的操作能够在具有未知物理参数的真实硬件上实现，达到了传统方法失效时的理想仿真水平。

作者承认了局限性：TAM 需要访问扭矩接口并具备匹配的运动学结构。它假设目标机器人的动力学可以在执行器的扭矩预算内得到修正，并且不提供对于长程稳定性或涉及训练分布之外动力学（例如未见过的极端接触力）任务的正式保证。