💻 computer science

TacBPM: A Tactile-conditioned Behavior Prior Model for Dexterous Reorientation

本文介绍了 TacBPM，这是一种触觉条件的行为先验模型，它将多尺度球体专家模型（multi-scale sphere specialists）蒸馏到一个潜控制器中，以加速训练并实现复杂灵巧手内重定向及臂手协同操控任务中稳定的、成功的从模拟到现实的迁移。

原作者： Jie Yin, Wanli Xing, Zeyuan Zhao, Xuezhou Zhu, Zhijie Deng, Kaifeng Zhang

发布于 2026-09-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jie Yin, Wanli Xing, Zeyuan Zhao, Xuezhou Zhu, Zhijie Deng, Kaifeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人手正试图拿起一个脆弱的鸡蛋、一个光滑的柠檬或一把沉重的锤子。与人类不同——人类的手指能本能地感知物体的纹理、重量和光滑度，从而在瞬间调整抓握力度——机器人通常依赖摄像头或预设指令。如果物体即使只是轻微移动，或者表面比预期的更光滑，机器人往往会失去抓力。几十年来，科学家们一直试图教会机器人像人类手部那样灵活地操纵物体，这项任务需要协调数十个微小的关节，并对不断的物理接触做出反应。挑战不仅在于将手移动到某个位置，还在于在物体于抓握中转动、滚动或滑动时，保持一种微妙且不断变化的压力平衡。

Sharpa Robotics 的一个研究团队开发了一种新方法来解决这个问题，重点研究机器人如何利用触觉作为主要引导来学习重新定向物体——即翻转或旋转物体。他们的研究名为 TacBPM，旨在解决机器人学习中的一个特定瓶颈：即如何教机器人在不中断接触或掉落物品的情况下，发现正确的指部动作序列。研究人员并没有强迫机器人从头开始学习每一种可能的动作，而是创建了一个“行为先验”（behavior prior），它充当了安全、富含接触感的动作基础库。这个库是通过训练机器人在许多不同尺寸的球体上进行构建，教会它如何滚动和握持不同规模的物体。其核心创新在于，这个库不仅仅是一套视觉指令；它是以触觉反馈为条件的，这意味着机器人的内部引导系统会不断检查指尖的感觉，以决定下一步动作。

研究人员使用一种称为“蒸馏”（distillation）的方法训练了该系统，即他们提取了八个不同的专家策略（每个策略都专门针对特定尺寸范围内的球体），并将它们的知识压缩成一个紧凑的控制器。该控制器并不输出针对机器人手部二十二个关节的原始电机指令，而是生成一个高层级的“潜在”（latent）动作，这是一种代表安全、接触稳定的运动模式的简化指令。随后，机器人学习根据具体任务对这一指令进行微调。通过保持核心触觉引导不变，仅允许机器人学习微小的修正，该系统避免了通常会导致机器人掉落物体的混乱试错过程。研究表明，当机器人面对从未见过的物体（如方块、瓶子或形状不规则的工具）时，由于它依赖于从球体中学到的触觉模式，仍然能够成功。

在一系列测试中，研究人员评估了这种方法是否能处理非球形物体以及比简单旋转更复杂的任务。他们要求机器人将物体转动到特定角度、绕特定轴旋转，甚至执行一系列完整的动作：抓取物体、提起、移动并将其放置在新的位置。与那些试图通过随机移动关节来从头学习这些任务的机器人相比，TacBPM 系统表现得显著更好。在模拟中，标准方法经常无法找到稳定握持物体的方法，导致掉落或卡住，而基于触觉调节的系统在绝大多数尝试中都能成功完成任务。例如，当被要求将方块或瓶子旋转到目标方向时，新方法的成功率接近 90%，而标准方法甚至难以达到 10%。

研究还将在模拟中学习的策略直接迁移到了配备相同灵巧手的真实机器人手臂上，无需在物理硬件上进行额外训练。机器人成功抓取了包括橡胶锤和蓝色刷子在内的各种工具，并将它们提起并移动到目标位置。它还能按照指令左右、上下旋转网球或角块等物体。在这些现实世界的试验中，使用触觉先验的机器人能够在单次尝试中将一个角块旋转超过 600 度，而其他方法往往会失去接触或完全弄丢物体。研究人员指出，当物体的形状或大小发生变化时，该系统表现得尤为鲁棒，这表明触觉引导帮助机器人适应了新的几何形状，而无需重新学习如何握持物体的基本原理。

其中最重要的发现之一是，即使机器人处理的是训练期间从未见过的物体，该系统依然有效。研究人员测试了机器人处理垃圾桶、草莓和多面体方块等形状，而这些形状并未用于构建最初的球体运动库。机器人能够泛化其知识，利用从球体中学到的触觉模式来搞清楚如何抓取和转动这些陌生的物品。这表明，触觉提供了一种超越特定形状的通用操纵语言。研究还探索了一种场景，即机器人需要遵循紧凑的指令（如“绕垂直轴旋转”），而不是被告知一个具体的最终角度。系统学会了理解这些方向并据此调整其手指动作，在物体旋转时保持稳定的抓握。

研究人员非常谨慎地展示了该方法的成功高度依赖于触觉信息。当他们移除系统中的触觉传感器，仅依靠机器人关节的位置时，性能显著下降，尤其是在处理光滑或形状不规则的物体时。这证实了机器人需要通过“感觉”物体，才能知道何时调整抓握力或改变策略。研究还证明了该系统可以适配不同的机器人。在涉及机械臂与手协同工作的另一项测试中，相同的训练范式允许机器人抓取、提起并运输各种工具，证明了该方法可以扩展到比单手更复杂的机器人躯体。

这项工作并不声称解决了机器人操纵的所有问题，研究人员也承认，对于处理与训练示例差异极大的物体，该系统在推断能力上仍存在局限性。例如，当机器人被要求处理一个明显大于其所见过的任何球体的球体时，其成功率有所下降，这表明该系统仍然存在边界。然而，结果清晰地表明，通过将机器人的学习建立在触觉反馈之上，并提供一个稳定的、富含接触感的行为基础，让机器具备以往难以企及的灵巧操纵能力是完全可能的。这项研究表明，机器人操纵的未来可能不在于教会机器人“看清”物体的每一个细节，而在于教会它们通过“感觉”来完成任务，将触觉作为稳定性与控制的主要引导。

技术摘要：TacBPM

问题陈述

灵巧的手内操纵（in-hand manipulation）需要能够协调高自由度（DoF）手部关节的策略，以应对间歇性的、富含接触的交互过程。除了简单的目标方位追踪外，成功的策略还必须能够发现“手指步态”（finger gaits），以在适应几何形状、各向异性、姿态、接触和感知质量变化的同时，保持物体的稳定性。

目前的规模化强化学习（RL）方法通常能在仿真中产生能力出众的策略，但在复用性方面表现有限。专家策略通常仅在狭窄的范畴内（例如固定的物体形状、已知的抓取状态或特定的旋转风格）表现强劲。当应用于具有新几何形状或感知假设的下游任务时，这些系统往往会失败，因为下游学习必须从零开始重新探索低层级的关节指令。在高维空间中的随机动作经常会导致接触中断，或者无法发现维持物体稳定所需的特定手指步态。此外，纯本体感觉先验往往无法对关键的触觉事件做出反应，例如指尖的间歇性接触、载荷转移或初始滑动。

方法论：TacBPM

作者提出了 TacBPM，一种触觉调节的行为先验模型，旨在将复杂的富接触运动模式压缩到可复用的潜在控制器中。该方法通过“教师-学生”蒸馏框架，随后采用残差潜在控制范式进行操作。

1. 专家训练与蒸馏

教师专家（Teacher Specialists）： 系统使用近端策略优化算法（PPO）在仿真中训练多个“专家”策略。对于手内任务，八个专家在不同缩放因子（0.3 到 1.0）的球体上进行训练。这隔离了接触范畴的多样性（开合程度、接触分布、滚动与重新抓取）与形状复杂性。对于臂-手任务，教师在随机缩放比例的橡胶锤上进行训练。
触觉-本体感觉状态： 状态表示（ $x_t$ ）是归一化的手部关节位置、前一控制目标、平滑后的触觉接触强度以及过去三帧内 3D 触觉接触位置的紧凑历史记录。
变分蒸馏： TacBPM 学习一个确定性解码器（ $\pi_\psi$ $π_{ψ}$ ）和一个受触觉调节的高斯先验（ $p_\theta$ $p_{θ}$ ）。编码器（ $q_\phi$ $q_{ϕ}$ ）预测一个任务调节的后验分布。蒸馏目标结合了：
- 动作匹配（Action Matching）： 最小化学生输出与教师目标动作之间的差异。
- KL 正则化（KL Regularization）： 使后验分布与任务无关的先验对齐，以确保先验捕捉通用的接触行为，而无需特定的任务目标。
- 时间平滑（Temporal Smoothing）： 惩罚潜在空间均值中的不连续跳变。

2. 残差潜在下游控制

一旦先验被蒸馏，它就会被冻结用于下游任务。下游策略并不直接输出原始关节指令。相反：

策略观察当前状态和任务目标。
它从高斯分布中采样一个残差潜在动作（ $\Delta z_t$ ）。
最终的潜在动作计算为 $z_{task} = \mu_{prior} + \Delta z_t$ ，其中 $\mu_{prior}$ 是冻结的触觉调节先验的均值。
冻结的解码器将此潜在动作映射为 22 自由度的手部指令。

这种架构将探索锚定在靠近保持接触的交互模式（由先验提供）附近，同时允许下游策略学习针对特定任务意图和新几何形状的低维修正。在手内场景中，解码器经过微调以适应新的物体形状，而触觉先验保持固定。

核心贡献

触觉调节的行为先验： 引入了一种将潜在行为基于触觉-本体感觉历史（接触强度、位置和缩放比例）进行调节的先验，使模型能够适应纯本体感觉先验容易忽略的接触范畴。
残差潜在控制框架： 一种通过保持先验冻结并学习残差潜在修正，从而在下游 RL 中复用所学先验的方法。这实现了可复用的接触行为与任务意图的分离。
全面的评估： 在三个递进的广泛设置下进行验证：
- 手内-至任意姿态（In-Hand-to-AnyPose）： 将各向异性物体重新定向至任意姿态。
- 轴向调节旋转（Axis-Conditioned Rotation）： 遵循六种旋转模式的紧凑符号轴命令。
- 抓取-至任意姿态（Grasp-to-AnyPose）： 一个涉及抓取、提升、运输和重新定向新颖工具几何形状的臂-手任务。

实验结果

论文将 TacBPM 与包括“从零开始的 RL”（原始动作 PPO）、演员级迁移（actor-level transfer）以及无触觉调节消融实验在内的基准模型进行了对比。

球体缩放外推： 在已见的球体缩放比例下，TacBPM 取得了显著更高的成功率（例如 95.62% 对比原始 PPO 的 26.03%）和更少的步骤。至关重要的是，在未见缩放比例（1.1, 1.2）和新颖形状（方块、瓶子、垃圾桶）上，TacBPM 保持了稳健的性能（在未见物体上平均成功率为 60.38%），而原始 PPO 则失败（11.47%），且非触觉基准模型性能显著下降（40.05%）。
复杂物体迁移： 在各向异性物体上，通过解码器微调的 TacBPM 在单物体设置下达到了约 70-78% 的成功率，在多物体“Multi”设置下达到了约 70%。相比之下，原始 PPO 的成功率低于 2%，而演员级迁移在多物体设置下降至 40%。
命令轴旋转： TacBPM 在仿真和真实机器人上均成功遵循了六个符号轴命令。在真实硬件上，它在处理多面物体时实现了高成功率（例如在 +y 和 +z 方向为 10/10）和大角度旋转，而原始 PPO 和非触觉基准模型在接触稳定性和方向控制方面表现挣扎。
臂-手（抓取-至任意姿态）： 在仿真中，TacBPM 在处理新颖工具几何形状（蓝色刷子、订书针标记器）时实现了 >95% 的成功率，而原始 PPO 在订书针标记器上的成功率不足 1%。该方法展示了无需额外的真实机器人微调即可实现完整的“抓取-提升-到达”序列的仿真-现实（sim-to-real）迁移。

意义与主张

论文声称 TacBPM 通过将富接触运动模式压缩到触觉调节的潜在空间中，解决了灵巧操纵中的复用瓶颈。其主要意义在于：

加速学习： 该方法在原始动作 PPO 仍处于失败边缘时启动学习，从而在相同的训练预算内实现稳定的策略。
接触稳定性： 通过将先验调节于触觉历史，模型将探索锚定在保持接触的模式上，减少了在复杂重新定向过程中掉落物体或失去接触的可能性。
泛化性： 该框架通过将可复用的接触先验与任务特定的解码器适配解耦，支持跨缩放比例、各向异性形状以及不同具身形态（仅手 vs 臂-手）的迁移。

作者得出结论，触觉调节的行为先验对于重定向类操纵是有效的，为处理灵巧手内操纵所需的闭环接触策略提供了一种结构化的方式。