🤖 machine learning

RE4: Transformation-aware Imitation of Object Interactions Using Manipulation Modes

本文介绍了 RE4，这是一个结合了无模型位姿估计与具备操作模式感知能力的检索与变换的框架，旨在通过简单的构建模块，实现用于物体交互任务的鲁棒且具可解释性的模仿学习。

原作者： Arsh Chawla, Rahul Shome

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Arsh Chawla, Rahul Shome

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人将一个 T 形块推到桌上的特定位置，或者如何拿起一个罐子并将其放入箱子中。在过去，完成这类任务最先进的方法是向机器人输入数千段人类执行任务的视频，并让一个庞大且复杂的 AI（例如“扩散模型”）尝试去猜测下一步的动作。虽然这些 AI 模型功能强大，但它们就像是黑盒：它们确实有效，但没有人知道它们为什么选择某个特定的动作，它们的训练成本昂贵，并且如果遇到从未见过的精确情况时，它们会表现得难以应对。

这篇论文介绍了一种名为 RE4（检索、重构、重规划、重放）的新方法。作者没有使用巨大的、神秘的黑盒，而是构建了一个由四个简单的、透明的步骤组成的框架，使其表现得像一个聪明且具有适应性的助手。

以下是 RE4 的工作原理，我们使用一个简单的类比：

类比：“聪明图书管理员” vs. “天才魔术师”

把旧的 AI 方法想象成一位天才魔术师。这位魔术师记住了成千上万个戏法。当你要求一个戏法时，他们会从帽子里变出一个。通常这很管用，但如果你要求一些稍微不同的东西（比如在不同的房间里表演戏法），他们可能会感到困惑。此外，你无法看到他们是如何完成戏法的；它只是突然发生了。

RE4 则像是一位拥有演示视频图书馆的聪明图书管理员。这位图书管理员并不靠猜测，而是遵循一套严格、逻辑清晰的四个步骤来帮助你：

检索 (Retrieve - 找到合适的书)：
机器人观察当前的情况（例如：“块在这里，而我在那里”）。它询问图书管理员：“图书馆里的哪段视频看起来最像我现在正在做的事情？”
- 转折点： 图书管理员不仅看图像；他们还会检查“模式”。机器人目前是在拿着物体（比如端着杯子），还是仅仅在向物体移动（比如走向杯子）？他们只会选择一个机器人正在进行相同类型动作的视频。这可以防止机器人在还没拿起物体之前就尝试去“搬运”方块。
重构 (Reframe - 翻译指令)：
假设你找到的视频显示机器人正在推动一个蓝色且在左侧的方块。但你的方块是红色且在右侧。
旧的方法会试图死记硬背那个蓝色的方块。RE4 的图书管理员会说：“让我们翻译一下指令。”他们提取视频中的运动，并通过数学手段进行偏移，使其符合你特定的红方块。这就像是拿到了一个蛋糕的食谱，然后调整配料比例，以便适用于较小的烤盘。机器人学习的是手与物体之间的关系，而不仅仅是绝对位置。
重规划 (Replan - 架设桥梁)：
现在机器人有了从视频中“翻译”过来的指令，但它所站的位置与视频中的机器人并不在同一个地方。它不能直接瞬间移动到视频的起点。
“重规划”步骤充当了架桥者的角色。它计算出一条安全、简短的路径，让机器人从当前位置到达翻译后的视频指令的起点。它确保机器人在到达那里之前不会撞到任何东西。
重放 (Replay - 执行动作)：
最后，机器人执行翻译后的指令。它执行刚刚“借来”并经过适配的动作。然后，整个过程会重新开始，针对下一个瞬间不断重复——不断地寻找、翻译、移动。

为什么这很特别？

它是透明的 (可解释性)： 因为机器人实际上是在挑选一段视频、平移它、并移动到那里，所以我们可以观察这个过程并说：“啊，它选了那段视频，是因为方块在同样的位置。”在使用“黑盒”AI 时，你无法看到其中的逻辑。
它是高效的： 作者不需要训练一个庞大、昂贵的 AI。他们使用了一个非常轻量级的系统来估计物体的位置，然后使用简单的数学来完成其余工作。这就像是用计算器而不是建造一台超级计算机来做基础数学题。
它是鲁棒的 (适应性强)： 论文在“稀疏”条件下测试了该方法——即在机器人学习案例极少或被放置在从未见过的位置时。 “天才魔术师”（扩散模型）在这种新位置往往会失败或感到困惑。而“聪明图书管理员”（RE4）则能保持良好的表现，因为它能够利用现有的少量示例来适应新的情况。

核心结论

这篇论文认为，我们并不总是需要庞大、复杂的 AI 来教机器人。通过将问题分解为四个逻辑步骤——寻找相似示例、将其翻译到当前情境、规划路径、以及执行动作——我们可以创造出既能很好学习任务，又更容易理解、训练成本更低、且在计划赶不上变化时更加可靠的机器人。

作者在推动 T 形块和举起罐子等任务上测试了该方法，并发现这种简单、逻辑化的方法表现得与目前最复杂的 AI 方法一样出色（有时甚至更好）。

技术摘要：RE4 —— 基于操纵模式的变换感知物体交互模仿学习

1. 问题陈述

本文探讨了机器人领域中物体交互任务的模仿学习挑战。虽然近期的端到端生成式方法（如扩散模型和流匹配模型）在接触密集型操纵任务中取得了最先进的性能，但它们存在三个关键缺陷：

缺乏可解释性： 它们作为“黑盒”运行，难以理解其决策过程。
计算成本高： 它们需要迭代去噪步骤和大量的训练资源。
数据效率低： 在稀疏数据场景下，或者当演示数据未能覆盖整个状态空间时，它们往往表现不佳。

现有的基于检索的方法通常无法考虑到操纵的非连续性，特别是不同操纵模式（manipulation modes）之间的切换（例如：过渡模式 transit，即机器人自由移动；以及转移模式 transfer，即机器人持有物体）。此外，通用的 6 自由度物体位姿估计计算量巨大，且通常需要 CAD 模型，而这些模型并不总是可用。作者提出了一个框架，通过重新审视成熟的操纵理论，在性能、可解释性和轻量化训练之间取得了平衡。

2. 方法论：RE4 框架

作者提出了 RE4（检索 Retrieve、重构 Reframe、重规划 Replan、回放 Replay），这是一个模块化的、基于收敛时界（receding-horizon）的框架，其每一步都以当前的操纵模式（ $m \in \{M_{transit}, M_{transfer}\}$ ）为条件。该框架的核心原理是：演示数据可以相对于物体的位姿进行传输，而非相对于固定的世界坐标系。

核心组件

该循环由四个关键步骤组成：

检索 (Retrieve)：
- 系统识别距离当前状态最近的演示帧（ $j^*$ ）。
- 模式过滤： 通过硬性过滤确保仅考虑与当前操纵模式（过渡或转移）相匹配的演示帧。
- 两阶段查找： 首先最小化每个演示中末端执行器与物体之间的距离，然后选择仅使物体位姿距离最小化的演示。
重构 (Reframe)：
- 此步骤执行以物体为中心的变换。它将检索到的演示片段传输到当前物体的坐标系中。
- 它保留了末端执行器与物体之间的相对位姿（ $T_{o \to x}$ ）。
- 过渡模式 (Transit Mode)： 物体相对于世界固定；智能体被变换到物体坐标系下。
- 转移模式 (Transfer Mode)： 物体被持有；智能体被变换到演示者的抓取配置中，从而保留抓取变换。
重规划 (Replan)：
- 运动规划器生成一条从当前机器人状态到重构后的演示片段入口点（ $x_{near}$ ）的路径。
- 约束条件： 规划器遵循当前的模式。在过渡模式下，保持物体位姿固定（使用用于 Push-T 的 RRT）；在转移模式下，保持抓取变换。
- 此步骤填补了当前状态与检索到的演示片段之间的鸿沟，且不违反模式约束。
回放 (Replay)：
- 系统执行重规划后的路径以及随后的重构演示片段。
- 循环重复执行，直到任务完成或达到步数预算。

位姿估计策略

估计目标物体位姿（ $o$ ）是一个关键组件。

自监督学习： RE4 并没有训练需要真值或 CAD 模型的通用 6 自由度估计器，而是利用演示数据进行轻量级的、无模型的自监督训练。
预抓取与非预抓取 (Prehensile vs. Non-prehensile)：
- 对于预抓取任务（抓取），位姿估计器通过演示中抓取锚点（grasp anchor）的一致性进行自监督学习。
- 对于非预抓取任务（如推挤），由于不存在抓取锚点，作者使用了一种基于任务元数据的轻量级、特定任务的估计器，并承认这虽然更难，但足以满足 RE4 对相对位姿的要求。

3. 主要贡献

框架组合： 识别并整合了四个可解释的构建模块——检索 (Retrieve)、重构 (Reframe)、重规划 (Replan) 和回放 (Replay)，并以操纵模式为条件来模仿物体交互。
性能与效率： 证明了 RE4 在性能上能够匹配甚至超越最先进的基准方法（如 Diffusion Policy、Geometry-aware Imitation），同时仅需极小比例的训练成本，并提供完全的可解释性。
在稀疏场景下的鲁棒性： 评估表明，在观测稀疏（状态空间覆盖率低）和演示稀疏（训练数据有限）的情况下，RE4 比黑盒学习基准方法具有显著的鲁棒性。
轻量化位姿估计： 提出了一种新的物体位姿估计方法，该方法仅依赖于演示数据和自监督学习，避免了通用 6 自由度估计器的开销。

4. 实验结果

该框架在 Push-T（平面推挤）和 Robomimic（Lift, Can, Square）基准测试上进行了评估，涵盖了基于状态和基于图像的观测。

性能： RE4 实现的成功率和覆盖率指标与扩散策略（DDPM/DDIM）和流策略（Streaming Flow Policies）相当甚至更好。
- 基于图像的 Push-T： RE4 实现了 0.883 的覆盖率，而表现最好的扩散采样器为 0.826。
- Robomimic Square： RE4 实现了 0.85 的成功率，而 DDIM 为 0.79。
消融实验： 移除重构和重规划步骤（仅保留检索和回放，称为 RE2）会导致性能大幅下降（例如在 Push-T 上降至约 0.30），这证实了模式感知的变换和衔接是必不可少的。
稀疏数据鲁棒性：
- 在观测稀疏测试中（远离演示的 75 个初始状态），RE4 保持了高性能，而扩散策略则表现出明显的困难。
- 在演示稀疏测试中（仅使用 206 条轨迹中的 50 条进行训练），RE4 的性能下降幅度比基准方法小，后者出现了显著的性能下滑。

5. 重要性与主张

本文主张，简单、可解释的构建模块可以有效地学习操纵技能，这挑战了“复杂生成模型对于高性能是绝对必要”的观点。

可解释性： 与扩散模型不同，RE4 的决策过程是透明的；人们可以精确追踪检索了哪条演示、如何对其进行变换，以及为何选择特定的重规划路径。
数据效率： 该框架证明，通过在物体位姿和操纵模式的引导下对演示进行原则性的复用，即使在数据匮乏时也非常有效。
研究范围限制： 作者承认了局限性，指出目前的工作侧重于基于接触的 Affordance（功能可达性），尚未处理变形物体或复杂的无显式模式枚举的多物体交互。他们认为，其自监督位姿估计的成功表明，在原则性框架内，一种任务特定的位姿估计方法是可行的，这与通用估计器是不同的。

总之，RE4 提供了一条通过利用操纵模式的底层拓扑结构，而非仅仅依赖黑盒生成模型的表达能力，来实现可解释、鲁棒且数据高效的模仿学习之路。