💻 computer science

Passivity-Centric Safe Reinforcement Learning for Contact-Rich Robotic Tasks

本文通过提出一个集成具有钝感意识训练、基于能量的约束以及用于部署的钝感滤波器的框架，旨在解决传统强化学习在富接触机器人任务中的安全性和稳定性限制，从而保证控制稳定性并提高能量效率。

原作者： Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

发布于 2026-09-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一只机械臂正伸出触碰墙壁，不是为了推开它，而是为了在黑暗、蜿蜒的迷宫中摸索前进。这就是“富接触机器人技术”（contact-rich robotics）的世界——在这种环境下，机器必须通过与周围环境发生物理交互来解决问题。多年来，科学家们一直使用一种被称为“强化学习”的强大工具来教会机器人如何做到这一点。你可以将其想象为一个数字化的试错过程：机器人尝试一次动作，如果成功则获得奖励，并从错误中学习。虽然这种方法在计算机模拟中取得了令人瞩目的成果，但在将这些机器人投入现实世界时，仍面临着一个重大障碍。这些算法非常擅长寻找通往目标的路径，但它们往往忽略了一个基本的物理规则：能量。如果机器人学会了一种需要向其关节或环境注入过多能量的策略，它可能会变得不稳定、剧烈震动，甚至损坏自身或它所接触的物体。确保机器人的运动既安全又稳定，不仅是一个理论上的考量，更是任何未来要与人类协同工作的机器必须具备的实际需求。

意大利热那亚的技术研究院（Istituto Italiano di Tecnologia）的研究人员致力于解决这一特定问题。他们提出了一个简单但至关重要的问题：我们能否教会机器人不仅要擅长完成任务，还要在能量使用方面天生具有安全性？他们的工作聚焦于一个被称为“钝性”（passivity）的概念。简单来说，钝性意味着一个系统不能凭空创造能量；它只能存储接收到的能量或将其耗散掉。一个具有钝性的机器人就像一个阻尼良好的弹簧，它吸收冲击而非放大冲击。研究团队发现，标准的强化学习策略（旨在最大化任务成功率）往往无法遵守这一规则。在实验中，这些标准策略学会了快速完成任务，但它们生成的控制指令违反了能量限制，导致在部署到现实世界时出现不稳定现象。

为了解决这个问题，研究人员开发了一种新方法，将人工智能的学习能力与严格的能量规则相结合。他们创建了一个由两个截然不同的部分协同工作的系统。第一部分发生在训练阶段。在这里，他们教会机器人具备“钝性感知”能力。他们不再仅仅奖励机器人到达迷宫出口，而是加入了隐形的约束条件，惩罚那些使用过多能量或改变刚度过快的行为。这迫使机器人学会一种更经济的运动方式，从而发现更温和、更稳定的运动策略。第二部分发生在机器人实际工作时。即便有了更好的训练，研究人员也知道计算机程序仍可能出错。因此，他们添加了一个安全过滤器——一个位于机器人的“大脑”与“肌肉”之间的最后一道保护层。这个过滤器会不断监测能量流。如果机器人试图做出一个会向系统注入过多能量的动作，过滤器会自动将其规模缩小，确保机器人保持在安全限度内。

团队在一个极具挑战性的场景中测试了这种方法：一个机械臂必须通过盲摸墙壁来寻找出口的迷宫探索任务。他们对比了四种不同类型的机器人：一种完全忽略能量规则，一种经过能量感知训练但没有安全过滤器，一种拥有安全过滤器但未经过能量规则训练，以及最后一种——即他们结合了能量感知训练与安全过滤器的全新方法。结果显而易见。不考虑能量规则的机器人在模拟中可以完成迷宫，但当他们尝试在真实的物理机器人上运行时，它失败了。它的动作过于激进，在转弯处施加了过大的力量，导致失去控制。相比之下，经过能量约束训练的机器人学会了更加保守地运动。它们在训练阶段的学习过程稍长，但一旦部署，表现得更加可靠。

当研究人员将表现最好的模型投入现实世界测试时，差异非常显著。使用他们组合方法的机器人每次试验都能成功完成迷宫，从未违反力量限制或耗尽能量预算。即使有安全过滤器保护，标准机器人依然表现挣扎，因为它从一开始就没学会如何高效管理能量。仅靠安全过滤器只能阻止灾难，但不能让机器人变得高效；仅靠能量感知训练能让机器人变得高效，但如果机器人做出突然且不可预测的错误，它无法保证绝对安全。只有将两者结合，才能实现一个既安全又高效的系统。研究人员发现，使用严格能量限制训练的机器人，其能量消耗更加缓慢且均匀，使其能够处理复杂的转弯和障碍物，而不会精疲力竭。

这项工作凸显了构建智能机器方式的一个关键转变。它表明，为了让机器人在物理世界中安全工作，它们不能仅仅被教导要“聪明”，还必须被教导要具备“物理责任感”。通过将能量守恒定律直接嵌入学习过程，并辅以实时安全过滤器，研究人员展示了一条通往不仅功能强大而且值得信赖的机器人之路。他们在七轴机械臂上进行的实验证明，通过引导机器人通过经验学习其自身的能量极限，并遵循使其立足于物理现实的规则，可以让机器人在处理复杂的、充满接触的任务时，既不冒着自身稳定性或周围环境安全的风险，又能顺利完成任务。该方法并不依赖于可能出错的复杂世界数学模型，而是依靠机器人通过经验学习能量限制，并在规则的引导下回归物理现实。

技术摘要：面向接触密集型机器人任务的以被动性为中心的安全性强化学习

问题陈述

强化学习（RL）在机器人控制领域取得了显著成功，但在部署到现实世界的接触密集型环境中时面临关键障碍。传统的 RL 策略通常优先考虑任务完成度和学习效率，而忽视了系统稳定性和安全性。在接触密集型场景中（例如沿墙行走或力控操作），缺乏**被动性保证（passivity guarantees）**的策略可能导致系统不稳定、能量无限积累以及高频振动。这些行为会对机器人、环境及人类操作员带来风险。

虽然基于被动性的控制（Passivity-Based Control, PBC）是确保物理交互中稳定性的成熟方法，但其与 RL 的集成仍有待深入探索。现有文献通常侧重于设计能量池（energy tanks）或经典控制参数，对于基于学习的被动系统设计的研究非常有限。此外，仅仅限制总能量是不够的；控制器与机器人之间的能量**流（energy flow）**也必须受到限制，以确保被动性。本文指出，在结合 RL 与 PBC 以同时解决接触密集型任务中的安全性、稳定性和能量效率方面存在研究空白。

方法论

作者提出了一种**被动性保障的安全强化学习（Passivity-Ensured Safe RL）**框架，该框架将基于能量的约束集成到训练和部署阶段。该方法建立在利用可变阻抗控制（Variable Impedance Control, VIC）和针对接触密集型任务的安全评论家（safety critic）的安全 RL 基准之上。该方法区分了四种方法：

被动性无关（Passivity-Agnostic）： 不考虑被动性的标准 RL。
被动性过滤（Passivity-Filtered）： 采用传统方式训练 RL，但在部署时应用被动性过滤器。
被动性感知（Passivity-Aware）： 通过显式的能量约束进行训练，以学习被动行为。
被动性保障（Passivity-Ensured）： 结合了被动性感知训练与部署时的被动性过滤器。

核心组件

增强型能量池（Augmented Energy Tank）： 系统使用一个能量池（ $E_T$ ）来存储并限制能量。不同于以往仅限制总能量的工作，该方法引入了**流量限制（ $\dot{E}_T$ ）**来限制能量注入速率，解决了仅对总能量进行限制的不足之处。
被动性感知训练（第 2.4 节）： 将约束马尔可夫决策过程（CMDP）扩展到包含两个新约束：
- 预算约束（ $c_{eb}$ ）： 当能量池低于下限（ $E_T \leq \underline{E}_T$ ）时触发。
- 流量约束（ $c_{ef}$ ）： 当能量消耗率超过阈值（ $\dot{E}_T < \underline{\dot{E}}_T$ ）时触发。
  这些约束用于训练安全评论家，使智能体能够学习被动行为，且无需通过增加状态空间中的能量池变量来扩充状态，从而保持状态的紧凑性。
被动性保障控制（第 2.5 节）： 在部署期间，将一个被动性层应用于 RL 智能体的输出。该层作为一个过滤器：
- 它根据允许的能量流与实际流量的比率计算缩放因子 $\alpha$ 。
- 它修改笛卡尔刚度和控制转矩（ $\tau_{IC}$ ），以确保满足能量流条件。
- 如果能量池耗尽，则停止或修改刚度更新，以防止进一步的能量注入，从而确保系统保持被动性。

主要贡献

本文概述了三项主要贡献：

系统性比较： 对不同的基于 RL 的被动控制学习方法（被动性无关、过滤、感知和保障）进行了广泛比较，评估了它们对训练、部署、安全性、稳定性和能量效率的影响。
增强型被动性公式化： 设计并评估了在 RL 内部的增强型能量池被动性公式，特别是在其中加入了变化的能量池大小以及至关重要的能量流约束。
被动性保障框架： 引入了一个通过结合被动性感知训练与部署时被动性过滤器，同时解决控制被动性和接触密集型安全性的框架。

实验结果

该方法在接触密集型迷宫探索任务上进行了评估，在该任务中，机器人必须通过盲目触摸墙壁来导航未知迷宫，这需要精确的力控制。实验在 MuJoCo 仿真环境和真实的 Franka Panda 机械臂上进行。

训练阶段

约束影响： 引入被动性约束（ $c_{eb}$ 和 $c_{ef}$ ）直接影响了训练期间的任务成功率。虽然过于严格的约束（例如，过紧的流量限制）最初阻碍了探索和成功，但它们迫使智能体学习更保守、更具能量效率的行为。
学习动态： 带有能量约束的智能体（例如 $E_b4$ ）学会了更经济地调节刚度，与被动性无关的智能体相比，这导致了更低且分布更均匀的能量支出。

部署阶段（仿真与现实世界）

稳定性保证： 被动性保障方法（被动性感知训练 + 被动性过滤器）是唯一能保证系统被动性的方法。即使在任务完成方面表现出色，被动性无关的策略也经常违反能量约束并表现出激进的能量使用。
性能 vs. 效率：
- 被动性无关： 虽然在孤立状态下实现了较高的任务成功率，但会迅速耗尽能量预算，并在现实世界试验中因过度的力应用而失败。
- 被动性保障： 在现实世界试验中实现了 100% 的成功率，且没有违反约束。虽然某些受限策略（如 $E_b4$ ）在训练中的收敛速度较慢，但它们在部署中展现出了卓越的能量效率和鲁棒性。
现实世界验证： 在现实世界实验中，被动性无关的基准线由于在转弯点处施加了过大的力，在三次试验中失败了一次。所有被动性保障配置均成功完成了任务，且未违反力或能量约束。能量消耗分析证实，被动性感知策略比被动性无关的基准线维持了更低的能量使用率。

意义与主张

本文声称，由于缺乏内在的稳定性保证，传统的 RL 策略不足以应对接触密集型任务。所提出的被动性保障安全 RL 框架通过以下方式解决了这一问题：

保证稳定性： 部署时的被动性过滤器确保系统无论 RL 智能体的输出如何，都能保持被动性，从而防止不稳定和不安全行为。
提高能量效率： 通过使用能量约束显式训练智能体，系统学会了更经济地使用能量，从而在复杂的长时间任务中实现更好的性能。
弥合差距： 本研究表明，将基于学习的策略优化与经典的被动性形式化方法相结合，是实现非结构化、接触密集型环境中安全、稳定且高效机器人部署的可行路径。

作者得出结论，虽然被动性感知训练可以提高能量效率，但被动性过滤器对于保证部署期间的安全性至关重要，因为由于 RL 的随机性和数据的非完备性，仅靠学习本身无法确保严格的被动性。