💻 computer science

AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation

AffordTrajDP 是一个通过将检索到的锚点示能（anchor affordance）传播至物体的 SE(3) 位姿，从而生成具有时间一致性且感知状态的引导轨迹，进而增强机器人操纵能力的动态框架，该框架克服了静态示能的局限性，并在精密关键任务中实现了更高的成功率。

原作者： Gaoyuan Wu, Ziyu Shan, Haoyang Du, Yuyao Jiang, Ziwei Wang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Gaoyuan Wu, Ziyu Shan, Haoyang Du, Yuyao Jiang, Ziwei Wang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人做家务。长期以来，科学家们一直试图通过向机器人展示人类做任务的视频来教导它们，希望机器人能够通过“观察并学习”来掌握技能。但当情况发生变化时，机器人的表现通常非常糟糕。如果你把杯子向左移动三英寸，或者光照发生了变化，一个基于旧设置进行训练的机器人可能会感到困惑，从而掉落杯子。这就像是试图按照一份为特定厨房编写的食谱来烹饪，但随后你却把炉灶移到了另一个房间；原本的指令就不再适用。

为了解决这个问题，研究人员开发了一个聪明的技巧，叫做“示能”（affordance）。把“示能”想象成物体上的一个“魔法高亮”，它能准确地告诉机器人应该在哪里抓取或触摸。机器人不再盯着整个杂乱的房间，而只是注视着那个被高亮显示的点。然而，这里有一个问题：大多数这些高亮显示都是静态的。它们就像贴在移动汽车上的贴纸。如果汽车向前行驶，贴纸会停留在原处的空中，而试图去触摸贴纸的机器人最终会完全错过汽车。这篇论文正是针对这一问题展开研究的：如何让这个“魔法高亮”随着物体一起移动，从而让机器人永远不会失去抓取？

开发 AffordTrajDP（名字很拗口，但可以将其理解为“示能轨迹动态策略”）的研究人员意识到，使用静态高亮是旧方法在处理像插入 USB 驱动器或堆叠积木等复杂任务时失败的主要原因。他们的解决方案是停止将高亮视为一个固定的贴纸，而是将其视为一个移动的目标。

以下是他们的新系统是如何工作的，我们用一个简单的类比来说明：想象你正在尝试接住朋友扔过来的飞盘。

旧方法（静态示能）： 你的朋友告诉你：“飞盘会在那棵大橡树那里。”于是你跑向那棵树并等待。但你的朋友把飞盘扔过了那棵树。你站在原地等待一个永远不会到达橡树的飞盘，而真正的飞盘却从你身边飞了过去。这就是机器人使用静态接触点时发生的情况；它根据物体“曾经”所在的位置来计算触摸位置，而不是根据物体“正在前往”的位置。
新方法（AffordTrajDP）： 你的朋友不再只给你一个点，而是给了你一条移动路径。“飞盘会在这里，然后到那里，再到那里。”你不仅仅是跑向一个点，而是沿着一条匹配飞盘飞行轨迹的路径奔跑。

在机器人的世界里，这条“路径”被称为动态示能轨迹。系统首先从记忆库中找到一个“源”示例——就像看着一张杯子的照片来寻找抓取手柄的最佳位置。然后，机器人不再仅仅是复制那个点，而是预测物体在接下来的几秒钟内会出现在哪里。它将那个完美的抓取点进行“传播”，使其随着物体的预测运动而向前拖动。这创造了一个每毫秒都会更新的移动指南，确保机器人的手始终与物体对齐，即使物体发生晃动或位移也是如此。

团队通过两种方式测试了这个想法：一种是在名为 ManiSkill3 的超精确计算机模拟中，另一种是在使用实际机器人手臂（Galaxea A1 和 UR7e）的真实世界中。

在模拟实验中，他们向机器人提出了六种不同的挑战，从拿起方块到插充电器。结果显而易见：旧方法（如 DP3 和 AffordDP）的成功率大约在 52.2% 到 57.8% 之间。但有了这个新的动态指南后，成功率跃升至 70.0%。这种提升在最困难的任务中最为显著，例如插入充电器，在这些任务中，旧方法一旦接触到插座，就很难保持插头的对齐。

他们并没有止步于模拟。他们将机器人带到真实的实验室，尝试诸如堆叠方块、拿起杯子以及极具挑战性的适配器插入（将特定的插头插入紧凑的插座）等任务。他们测试了机器人处理见过和未见过的物体（不同形状或颜色）的能力。

在 Galaxela A1 机器人上，新方法在所有任务中的成功率达到了 66.1%，而之前最好的方法仅为 35.0%。
在 UR7e 机器人上，新方法达到了 72.5% 的成功率，击败了之前最好的 55.8%。

研究人员还进行了一项“侦探”实验，以观察系统的哪个部分真正发挥了核心作用。他们尝试拆解这个谜题的各个部分：

只有路径，没有特定点： 如果他们告诉机器人遵循一条路径，但没有告诉它在物体上的起始位置，机器人就会感到困惑并失败（有时表现甚至比旧方法还差）。
只有点，没有路径： 如果他们给了机器人完美的抓取点，但没有随着物体的移动而更新它，机器人在接触后就会偏离航线，尤其是在棘手的任务中。
两者结合： 只有当他们将特定的“触摸位置”与“运动方式”结合在一起时，机器人才能稳定成功。

这表明，对于要在混乱、变化的世界中处理精密任务的机器人来说，它们需要的不仅仅是一个抓取瞬间的快照，更需要一个实时更新的移动路线图。作者指出，虽然他们的方法取得了显著进展，但在处理极高公差的任务（如 USB 插入任务，这是对所有人来说都最难的任务）时仍面临挑战。然而，通过证明动态、移动的指南比静态指南更有效，他们为让机器人不再因计划赶不上变化而“掉链子”开启了一扇新的大门。

技术摘要：AffordTrajDP

1. 问题陈述

现有的视觉运动策略（visuomotor policies），特别是基于扩散模型（diffusion models）的策略，通常依赖于稠密视觉输入（例如原始 RGB 或点云）。虽然这些方法在泛化方面表现出色，但它们对环境扰动（如物体外观变化、背景杂乱和位姿偏移）非常敏感。

一个特定的局限性出现在高精度任务（例如适配器插入、孔轴配合）中，因为静态示能先验（static affordance priors）在此类场景下会失效。目前最先进的方法（如 AffordDP）通过从参考演示中检索一个静态接触点和一个接触后轨迹，并将其通过单一的刚性变换转移到目标场景中。然而，一旦完成转移，这些先验就是固定的。如果物体在初始接触后发生移动或偏移（由于放置扰动或接触引起的偏差），静态先验就会与物体不断变化的位姿发生失配。这会导致轨迹漂移（trajectory drift）、振荡以及在需要持续精确对齐的任务中失败。

识别出的核心问题是缺乏一种能够共同保持以下两点的调节信号：

在哪里进行接触（语义接触位置）。
当物体移动时，该接触位置如何演变（时间一致性）。

2. 方法论：AffordTrajDP

作者提出了 AffordTrajDP，这是一个通过以物体为中心的时间传播来构建**示能轨迹（affordance trajectories）**的动态框架。该系统不再使用静态先验，而是生成一个在执行过程中不断更新的随时间变化的引导信号。

核心流水线

锚点示能检索（语义定位）：
- 给定 RGB-D 观测，系统从物体记忆库（使用 GroundedSAM 进行裁剪和 CLIP 进行外观嵌入构建）中检索出最相似的源物体实例。
- 它利用稠密视觉对应关系将源对象的静态接触点 ( $c$ ) 转移到目标物体上。这提供了“在哪里”的信息（即锚点）。
未来位姿估计（时间预测）：
- 一个基于扩散的轨迹模型用于预测目标物体相对于当前坐标系的未来 SE(3) 位姿轨迹。
- 不同于直接以原始感官输入为条件的模型，该模型根据位姿历史预测物体的运动轨迹 ( $T_{tgt}(t)$ )，通过归一化消除绝对场景布局的影响，从而提高跨实例的泛化能力。
- 该模型使用**去噪扩散隐式模型（DDIM）**以确保确定性采样并降低推理延迟。
动态示能传播：
- 检索到的静态锚点接触点 ( $c_{tgt}$ ) 通过预测的未来位姿轨迹进行前向传播。
- 在数学上，对于每个未来步骤 $k$ ，接触点通过刚性变换进行更新： $p_{t+k} = T_{t+k} \cdot \tilde{c}$ 。
- 由此产生一条动态示能轨迹 ( $\tau$ )，它能够持续适应预测的物体运动，为接触后阶段提供状态一致的引导。
动作生成：
- 动态示能轨迹被编码（通过 Transformer），并与静态示能及其他观测值（点云、本体感受）相结合，用以调节扩散策略。
- 策略通过从高斯噪声中进行去噪来生成动作，并受此随时间变化的几何先验的调节。

3. 核心贡献

论文概述了三个主要贡献：

新的问题形式化： 作者形式化了现有示能引导策略的局限性：静态先验无法在接触后与移动的物体保持对齐。他们提出将 AffordTrajDP 作为第一个构建状态一致、随时间变化的示能轨迹的框架，以解决这一问题。
联合调节的必要性与充分性： 通过受控消融实验，作者证明了语义接触检索和位姿轨迹传播对于高性能而言都是必要且充分的。
- 仅使用接触检索可以提高性能，但会遇到瓶颈。
- 没有语义锚点的轨迹传播是不可靠的，在处理未见实例时表现可能低于基准方法（例如在 StackCube 未见实例上成功率降至 20%）。
- 只有两者的结合才能带来持续且巨大的提升（66.1% 对比 35.0% 的基准）。
实证验证： 在仿真环境（ManiSkill3）以及两个真实机器人平台（Galaxea A1 和 UR7e）的七个任务（包括精密插入和物体对齐）中进行了广泛评估。

4. 实验结果

仿真环境 (ManiSkill3)

在六个桌面任务（PickCube, PegInsertion, PlugCharger, StackCube, PokeCube, PushCube）上使用 Franka Panda 机器人进行评估。

总体成功率： AffordTrajDP 达到了 70.0%，优于 DP3 (52.2%)、AffordDP (57.8%) 和 SPOT (62.1%)。
精密任务： 在精密关键的插入任务（PegInsertion, PlugCharger）中观察到了最大的增益，在这些任务中，动态引导相比静态基准显著减少了漂移。

真实世界实验

在两个平台上进行了评估：

Galaxea A1 (L515 相机)： 任务包括 StackCube、PickCup 和 AdapterInsertion。
UR7e (D454 相机)： 任务包括 PickCup、Ring-on-Peg、Put-in-Bowl 和 USB Insertion。
泛化性： 该方法在已见和未见物体实例（外观和几何形状均有变化）上进行了测试。
性能表现：
- 在 Galaxea A1 上，完整方法实现了 66.1% 的平均成功率，显著优于 DP3 基准 (35.0%)。
- 在 UR7e 上，它实现了 72.5% 的平均成功率，优于 DP3 (40.8%) 和 SPOT (54.2%)。
- AdapterInsertion： 在此处看到了最显著的改进，因为静态先验常因接触后漂移而失败，而 AffordTrajDP 提供了稳定的引导。

消融研究洞察

语义锚点： 使用语义接触点优于使用物体中心，尤其是在处理未见实例时。
轨迹传播： 沿着预测轨迹传播接触点至关重要。如果没有语义锚点，轨迹调节会变成噪声。
误差分析： 作者观察到，在特定的测试条件下，位姿轨迹预测误差并不会在整个回合过程中累积成持续增长的漂移，这表明传播机制保持了鲁棒性。

5. 重要性与主张

论文声称 AffordTrajDP 解决了示能引导模仿学习中的一个根本性差距：即“在哪里”进行交互与“如何”随时间演变之间的脱节。

鲁棒性： 通过提供状态一致、随时间变化的引导，该方法稳定了接触后的运动，使其在需要高精度的任务中特别有效，因为在这些任务中微小的对齐偏差会不断累积。
泛化性： 该方法展示了对未见物体实例和多样化机器人形态的强大泛化能力，优于仅依赖视觉泛化或静态先验的方法。
适度主张： 作者在误差分析方面表现得较为谨慎。他们承认，关于“预测误差不会累积”的发现是基于相关性的单任务比较，而非带有注入噪声的受控消融实验。他们将“该非累积特性在重度遮挡或噪声下依然成立”这一假设作为未来研究的方向，而非既定结果。
未来方向： 论文建议将该框架扩展到包含更丰富的接触语义、具有不确定性感知能力的位姿预测，以及触觉/力反馈，以处理更广泛的操控任务。