⚡ electrical engineering

Physics-informed Goal-Conditioned Reinforcement Learning under Hybrid Contact Dynamics

本文通过引入接触感知和分层公式，选择性地应用物理信息归纳偏置以处理混合动力学和非光滑价值景观，解决了现有物理信息目标条件强化学习方法在富接触操纵任务中的失效问题。

原作者： Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人搬运桌上的一个盒子。有时盒子只是静静地躺在那里，机器人必须走过去，抓起它，然后搬运。而有时，机器人已经抓住了盒子。

这篇论文是关于如何教机器人使用强化学习（通过试错法）来学习这些任务，但它使用了一个特别的技巧：机器人不再仅仅靠瞎猜，而是利用物理学来帮助它找到最佳路径。

以下是作者的研究发现以及他们是如何解决问题的，我们使用了一些日常类比。

问题所在：“一刀切”的地图

研究人员使用的是一种称为**物理信息引导的目标条件强化学习（Pi-GCRL）**的方法。你可以把它想象成给机器人一张“智能地图”，这张地图会告诉它从 A 点到 B 点有多难。

在简单的任务中（比如机器人在空旷的房间里移动），这种地图效果很好。它假设如果你想去某个地方，你可以向任何方向移动，且各个方向的“代价”（努力程度）是相同的。这就像是在一片平坦开阔的田野上行走，你可以向北、南、东、西四个方向同样轻松地奔跑。

但操作物体的机器人则不同。
当机器人没有接触物体时，它的手臂可以自由移动，但物体仍然停留在原地。在抓取之前，机器人无法直接“移动”物体。

类比： 想象你正试图移动一张沉重的沙发。
- 阶段 1（无接触）： 你可以在沙发周围自由行走，但你无法推动沙发。如果你试图在远离沙发的过程中“推”沙发，物理定律会告诉你这是不可能的。
- 阶段 2（接触）： 一旦你抓住了沙发，你就可以移动它。现在，你的动作和沙发的移动是关联在一起的。

作者发现，旧有的“智能地图”（Eikonal 方程）在处理这种场景时失效了。它试图强迫机器人相信，即使在没有接触物体时，它也能移动沙发。

结果： 地图发生了扭曲。它告诉机器人：“你可以通过隔着房间推沙发来达到目标”，这在物理上是不可能的。这让机器人感到困惑，导致学习速度变慢或失败。

解决方案：两个新工具

为了解决这个问题，作者引入了两个新想法，使机器人的“地图”能够遵循接触规则。

1. “感知接触”的指南针

这种新方法不再告诉机器人如何在每一个方向移动，而是只检查机器人当前实际可以移动的方向。

类比： 想象你在一个带有锁着的门的迷宫里。旧地图说：“你可以穿过那扇门。”新地图则说：“只有当你拥有钥匙（或者你正抓着门把手）时，你才能穿过那扇门。”
运作方式： 如果机器人没有接触物体，地图在计算移动物体的“努力程度”时会忽略物体的位置。它只关心机器人的手臂。一旦机器人抓住了物体，地图就会更新，将物体的移动纳入考虑。这防止了机器人尝试去做不可能的事情。

2. “经理与工人”团队（分层学习）

第二个修复方案是将工作拆分为两个层面：高层经理（High-Level Manager）和低层工人（Low-Level Worker）。

经理（高层）： 这个部分负责观察大局。它决定机器人下一步需要做什么（例如：“走向物体”、“抓取它”、“将它移至目标点”）。它不需要担心微小的物理细节。
工人（低层）： 这个部分负责实际的动作。至关重要的一点是，工人只关注它当前可以控制的事物。
- 如果机器人没有拿着物体，工人会忽略物体的位置，只专注于移动手臂去接近物体。
- 如果机器人正拿着物体，工人则专注于同时移动两者。
类比： 想象一个建筑工地。工头（经理）告诉施工队（工人）：“去把那根梁拿过来。”施工队不需要担心起重机的引擎或卡车的 GPS；他们只需要专注于抓取梁的具体任务。通过将“大局观”与“即时物理细节”分离，机器人学习得更快。

他们测试了什么

团队通过三种方式测试了这些想法：

简单的 1D 游戏： 他们创建了一个极其简单的模拟环境，其中机器人必须移动一个方块。他们展示了旧方法会产生混乱且错误的地图，而他们的新方法则能绘制出清晰、正确的地图。
复杂的模拟实验： 他们使用了一个虚拟机器人手臂（UR5e）来堆叠多个方块。他们发现，相比于经常卡住或失败的旧方法，他们的新方法（尤其是“经理与工人”团队）在堆叠方块方面表现得更好。
现实世界中的机器人： 他们在实验室里用真实的机器人手臂进行了测试。即使在数据量很小的情况下，使用他们这种“感知接触”和“分层”方法的机器人，在将物体捡起并放置在桌子中央的任务上，也比其他方法表现得要好得多。

核心结论

论文指出，当机器人需要触摸并移动物体时，你不能使用“一刀切”的物理地图。你必须聪明地判断机器人何时可以移动物体，以及何时不能。

通过构建一个理解这些“接触模式”（接触 vs 不接触）并能将思考过程拆分为高层规划器和低层控制器的系统，机器人可以更可靠地学习如何操控物体。

注：作者明确指出，虽然他们的方法在模拟环境和受控实验室设置中表现良好，但目前尚未保证对人类的安全，也无法自动处理复杂的力限制。他们认为这是迈向更安全、更鲁棒的机器人学习的一步，但还不是最终的安全解决方案。

技术摘要：混合接触动力学下的物理信息目标条件强化学习

问题陈述

目标条件强化学习（Goal-Conditioned Reinforcement Learning, GCRL）旨在学习能够利用稀疏反馈在任意目标下实现泛化的策略。虽然物理信息 GCRL（Pi-GCRL）已成功将受最优控制启发的归纳偏置（特别是偏微分方程约束）应用于导航和无物体目标的到达任务，但将其应用于接触密集型机器人操控仍存在问题。

在接触密集型环境中，系统动力学是混合的（hybrid），在自由空间运动、接触介导交互和物体运输之间交替切换。这些转换会导致模式依赖的可控性：某些状态坐标（例如物体位置）在特定的接触模式下（例如未抓取时）可能是局部不可控的。作者认为，现有的 Pi-GCRL 方法（通常应用全状态 Eikonal 正则化）在这些设置中表现不佳，因为 Eikonal 方程的底层假设（各向同性、完全可控动力学）被违反了。这种失配会导致价值函数发生畸变，从而惩罚沿不可控坐标方向的有效变化，并降低策略性能。

方法论

本文提出了一个针对该失效模式的原则性分析，并引入了两种互补的公式化方案：接触感知正则化（Contact-Aware Regularization）和层次化分解（Hierarchical Decomposition）。

1. 理论分析：Eikonal 失配

作者形式化了全状态 Eikonal 正则化在混合系统中的失效过程。他们将操控建模为一个混合系统，其中状态 $s = (x, z)$ 由可控坐标 $x$ 和局部不可控坐标 $z$ （例如未抓取时的物体位姿）组成。

命题 4.1 表明，如果最优代价函数 $d^*$ 取决于局部不可控坐标（即 $\nabla_z d^* \neq 0$ ），则全状态 Eikonal 约束（ $\|\nabla_s d^*\| = 1$ ）会与局部 Hamilton-Jacobi-Bellman (HJB) 特征产生矛盾。
Eikonal 约束错误地将梯度预算分配到了无法进行瞬时运动的方向，而 HJB 方程则正确地仅在可行方向上约束梯度。

2. 接触感知物理信息价值学习

为了解决这种失配，作者建议使用与观测到的可行转换对齐的方向性约束来替代全状态梯度范数约束。

该方法不再惩罚全梯度范数，而是使用经验转换向量 $(s' - s)$ 来近似连续时间动力学的方向。
这产生了一个接触感知 HJB 式残差（式 4）：
$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$
该公式确保价值梯度仅在实际观测到运动的方向上受到约束，从而在特定的接触模式期间有效地忽略不可控坐标。

3. 物理信息层次化流（Pi-H-Flow）

作者引入了一个层次化框架，以进一步使正则化与可控性保持一致：

高层策略 ( $\pi_{hi}$ )：一个基于流（flow-based）的模型在可控表示 $X$ 中生成子目标 $x_g$ （排除物体位姿坐标）。这实现了高层以物体为中心的推理与低层执行的分离。
低层策略 ( $\pi_{lo}$ )：完全在可控表示 $X$ 内运行，将当前状态和子目标映射为原始动作。
正则化：物理信息约束（Eikonal 或 HJB）仅应用于低层的 $X$ 空间，在该空间内动力学是完全可控且满足各向同性假设的。
高层流被训练用于生成未来的可控状态，而低层学习器则使用接触感知 HJB 残差来学习价值函数。

核心贡献

原则性分析：本文识别并证明了由于局部不可控坐标的存在，全状态 Eikonal 正则化在结构上与混合接触动力学不匹配，这与各向异性动力学引起的问题不同。
新颖的公式化方案：
- 一种接触感知残差，仅沿可行转换方向约束价值梯度。
- 一个层次化分解，将可控动力学与以物体为中心的状态变量分离，从而隔离出用于物理信息正则化的部分。
实验验证：作者通过仿真环境（OGBench）中的离线目标条件操控任务以及真实世界的 UR5e 机器人任务验证了其方法。

实验结果

所提方法在 OGBench 套件（双立方体、三立方体和四立方体重排任务）以及真实世界的拾取与放置任务上进行了评估。

仿真（OGBench）：
- 基准方法的失效：标准的 Eikonal 正则化方法（Eik-GCIVL, Eik-QRL）无法可靠收敛，证实了理论上的失配。
- 接触感知的改进：接触感知 HJB 变体（HJB-GCIVL）显著优于全状态 Eikonal 方法，尤其是在复杂的多物体场景中。
- 层次化优势：层次化框架（Pi-H-Flow-HJB-GCIVL）实现了最高的成功率和最快的收敛速度。
- 消融实验：在低层使用“关节+接触”的可控表示而非全状态表示，始终能提升性能（成功率提高 10–20%），验证了状态分解的益处。
真实世界实验：
- 在从脚本化 MPC 策略收集的约 6 万步离线数据集上进行训练。
- 所提出的 Pi-H-Flow-HJB-GCIVL 取得了最高的成功率（10cm 阈值下为 75%，5cm 为 60%，3cm 为 50%），优于非物理信息基准方法和非层次化的物理信息变体。
- 定性结果显示，该策略能够从错误的抓取中恢复，并利用替代的交互模式（例如滑动物体）。

意义与主张

本文声称为将 Pi-GCRL 扩展到接触密集型操控领域提供了原则性的进展。通过分析 Eikonal 约束与混合动力学之间的几何失配，作者证明了盲目应用物理信息偏置可能会产生负面影响。

其重要性在于：

纠正理论缺陷：证明了 Lipschitz 连续性（由 Eikonal 约束强制执行）对于混合系统是不充分的，约束必须尊重局部可控性。
实用的框架：提供了一个结合了基于流的子目标生成与接触感知价值学习的可扩展层次化架构。
现实世界的适用性：证明了这些理论见解能够转化为在有限离线数据下提升物理机器人性能。

作者对局限性保持了谦逊的态度，指出目前的算法仍然属于数据密集型，且 HJB 正则化本身并不保证安全性或遵守执行器限制。他们建议未来的工作应整合更明确的物理模型和安全约束。