💻 computer science

Inverse Manipulation through Symbolic Planning and Residual Operator Learning

本文提出了一种用于机器人逆向操纵的混合框架，该框架将自动提取的符号算子与残差强化学习相结合，旨在将粗糙的符号规划精炼为具备物理基础的技能，并在 ManiSkill3 PushCube 任务上得到了有效验证。

原作者： Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人把一个方块推过桌面。这就是“正向”任务。现在，想象你需要教同一个机器人如何撤销这个动作，并将方块带回原处。

这听起来很简单，但对机器人来说，这其实是一个棘手的难题。如果你只是告诉机器人“倒着播放电影”，它通常会失败。为什么？因为如果机器人之前并没有抓取方块（它只是推了一下），它就不能简单地通过缩回手臂来撤销推的动作。方块现在停在别的地方，机器人需要一个新的计划来把它弄回来。

这篇论文提出了一种巧妙的“混合”系统来解决这个问题，它将逻辑规划（就像棋手预判全局）与试错学习（就像婴儿学走路）结合在了一起。

以下是该系统的运作方式，分为几个简单的步骤：

1. “神奇翻译官”（符号提取）

首先，机器人观察人类（或脚本）执行正向任务的过程，比如推方块。系统不仅仅是记忆手臂的运动轨迹，它更像是一个翻译官。它观察场景并用纯逻辑写下简单的“配方”或规则。

之前： “方块在起点。”
之后： “方块在终点。”
规则： “如果方块在起点，我可以把它推向终点。”

2. “反向配方”（逆向规划）

一旦机器人掌握了规则，它会自动写出一个“反向配方”。它查看规则并自问：“我需要做什么才能回到起点？”

它意识到自己需要： “把方块放回起点”、“确保夹爪是张开的”以及“确保机械臂靠近方块”。
机器人随后使用一个标准的规划器（类似于 GPS）来计算出一系列基础动作序列，尝试修复现状。例如，它可能会尝试“拿起方块”并“将它放置在起点”。

3. “足够好”的交接

这里是见证奇迹的时刻。机器人的基础规划器很出色，但并不完美。它可能成功地捡起方块并将其大致放在起点附近，但可能会偏离几英寸。

在许多其他系统中，这会被视为失败。
在这个系统中，机器人会停下来并说：“好吧，我已经把方块挪到足够近的位置了。现在，我需要微调位置。”

4. “微调器”（残差学习）

这是团队的另一半：强化学习（RL）智能体。你可以把它想象成一个技术精湛的微调专家。

系统告诉 RL 智能体：“你必须将方块移动到剩余的距离，直到到达精确的起始点，但不要弄乱我们已经修复好的东西（比如保持夹爪张开）。”
RL 智能体会尝试数以千计的微小动作。如果它让方块更接近目标，它会得到“奖励”（treat）；如果它把方块撞离了我们已经修复好的位置，它会受到“惩罚”（scolding）。
最终，RL 智能体会学会那些完美的、细微的推动动作，从而将方块精准地滑回原位。

结果：完美的撤销

作者在名为“PushCube”的任务上测试了该系统。

问题： 机器人推了一个方块。
旧方法（仅靠倒放）： 无法完成，因为机器人之前没有抓取方块。
“仅靠逻辑”的方法： 把方块挪到了附近，但距离目标点仍有约 17 毫米（大约是一个铅笔擦的大小）的偏差。
新的混合方法： 逻辑部分将方块带到了附近，而学习部分则将其微调到位。结果是？方块最终与起点的距离在 1.4 毫米以内，成功率达到了 90%。

大局观

该论文声称，通过将工作拆分为两部分——用于把握大局的符号规划和用于处理细节的残差学习——你可以教会机器人撤销以前无法完成的复杂任务。它将一个“粗略的猜测”转化为了一个“物理意义上完美的撤销”。

简而言之： 机器人利用大脑来构思撤销任务的总体策略，然后利用它的“肌肉记忆”（通过试错学习获得）来进行最后的精准调整，从而达到完美的效果。

技术摘要：通过符号规划与残差算子学习实现逆向操作

问题陈述

本文探讨了机器人操控中的**技能逆向（skill inversion）**挑战：即恢复物理环境至执行前状态的能力。作者认为，对于许多任务而言，仅仅回溯电机轨迹是不够的，特别是对于涉及非抓取交互（例如推物体）的任务，此时机器人并未抓取物体。虽然符号规划可以生成逆向序列，但由于动作原语（action primitives）的限制和对精度的要求，它往往无法完全恢复连续的物理状态。相反，纯粹的轨迹反转在物理上往往是不可行的。核心问题在于如何弥合高层符号恢复目标与底层连续控制之间的差距，以实现具有物理基础的逆向技能。

方法论

所提出的框架是一个结合了符号规划与残术强化学习（Residual Reinforcement Learning, RL）的混合系统。该过程分为三个主要阶段运行：

1. 符号算子提取

系统通过分析前向技能演示来自动提取 STRIPS 形式化（Fikes and Nilsson 1971）的符号算子。

软谓词（Soft Predicates）： 一组预定义的谓词集合（例如 AT POSE、GRIPPER OPEN）基于场景图进行接地（grounding），使用软性的、可微的几何谓词。这些谓词根据符号边际 $m_p(s)$ 生成连续得分 $V_p(s) \in [0, 1]$ 。
算子定义： 通过分析演示的起始状态和结束状态来构建算子 $o = \langle Pre, Add, Del \rangle$ 。具有高起始得分的谓词构成前置条件集（$Pre $），而得分的变化则决定了增加（$ Add $）和删除（$ Del$）的效果。

2. 逆向目标生成与符号规划

逆向目标被定义为一个恢复问题，而非时间反转。目标状态 $I(o)$ 的构建旨在满足原始的前置条件，恢复被删除的效果，并消除被增加的效果：
$I(o) = Pre \cup Del \cup \neg Add$
一个广度优先搜索（BFS）规划器尝试使用一组有限的脚本化动作原语（例如 PICK、PLACE）来满足 $I(o)$ 。

3. 残差算子学习

由于符号规划器可能只能部分满足逆向目标，系统将剩余目标划分为：

围栏集（Fence Set, $F$ ）： 已由符号计划（ $\pi_{sym}$ ）满足且必须保持的谓词。
活跃残差集（Active Residual Set, $A$ ）： 构成残差目标的未解决谓词。

系统训练一个残差 RL 策略（ $\pi_{res}$ ）来满足活跃集 $A$ ，同时维持围栏集 $F$ 。

奖励函数： 奖励直接源自符号计划的谓词。
- 对于活跃谓词（ $A$ ）：使用带有 $\tanh$ 的符号归一化边际，以提供有界的恢复奖励。
- 对于围栏谓词（ $F$ ）：使用单侧惩罚 $\min(0, \cdot)$ 来惩罚违规行为，而不奖励“不做任何事”的行为。
执行： 最终的逆向技能是符号序列 $\pi_{sym}$ 与学习到的残差策略 $\pi_{res}$ 的拼接。

核心贡献

本文概述了三个主要贡献：

混合公式化： 将技能逆向视为一种混合的符号-连续恢复问题，通过从演示中提取的符号前向算子来推导逆向目标，而非依赖于时间反转。
残差算子学习框架： 引入了一种机制，即仅当符号规划无法完全满足逆向目标时才激活 RL，从而有效地处理任务的“残差”部分。
谓词驱动的奖励： 直接从符号计划的算子效果中导出 RL 奖励信号，消除了为每个特定任务进行人工奖励工程的需求。

实验结果

该框架在 Franka Panda 机械臂的 ManiSkill3 PushCube 任务上进行了评估。前向技能涉及将立方体推向目标位置。逆向任务则要求将立方体恢复到原始源位置。

性能： 混合方法（符号 + RL）在 1 cm 容差内实现了 90% 的成功率，平均精度为 1.4 mm。
对比实验：
- 仅符号前缀： 仅实现了 10% 的成功率，留下的平均残差距离为 16.6 mm。
- 符号 + 随机动作： 成功率为 50%，且方差较高（平均值为 18.8 mm），表明随机探索偶尔能靠运气成功，但缺乏可靠性。
- 纯轨迹反转： 由于前向推行具有非抓取性质，被认为是不适用的。
消融研究： 实验证实，对围栏谓词使用单侧 $\tanh$ 惩罚至关重要。移除该惩罚会导致智能体保持静止（奖励饱和），而完全移除 $\tanh$ 函数则会导致价值函数发散和奖励漂移。

意义与主张

本文声称，谓词驱动的残差控制可以将近似的符号逆向转化为具有物理基础的逆向技能。通过将逆向技能视为具有其自身恢复目标的独立符号算子，该系统避免了以往工作中存在的基于时间反转假设的局限性（例如 Nair 等人 2020；Edwards 等人 2018）。

作者将这项工作定位为实现人机协作和组装-拆解生产线的一步，在这些场景中，具备“撤销”任务的能力至关重要。他们指出，尽管该系统目前依赖于手工设计的谓词和脚本化的底层原语，但结果表明，逆向技能可以有效地作为规划问题结合残差 RL 问题来解决。论文对研究范围保持了审慎的态度，承认了在谓词设计和对脚本化原语依赖方面的局限性，并建议未来开展学习这些组件的研究。