💻 computer science

Safe and Optimal Variable Impedance Control via Certified Reinforcement Learning

本文提出了一种名为 C-GMS 的新型轨迹中心强化学习框架，通过从数学定义的稳定增益调度流形中采样，在无需奖励惩罚或事后验证的情况下，为结合动态运动基元与变阻抗控制的机器人策略提供构建即满足的 Lyapunov 稳定性、执行器可行性及误差有界性保证。

原作者： Shreyas Kumar, Ravi Prakash

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shreyas Kumar, Ravi Prakash

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让机器人变得更“聪明”且更“安全”的新方法，特别是当机器人需要像人一样灵活地与人互动（比如递东西、握手）时。

为了让你轻松理解，我们可以把这篇论文的核心思想比作**“教一个鲁莽的新手司机如何安全地开车”**。

1. 背景：机器人面临的难题

想象一下，你教一个机器人去给坐在椅子上的人递一支笔。

传统方法（DMPs）：就像教机器人画一条固定的路线（比如从 A 点到 B 点）。这很容易，但如果路上突然有个障碍物，或者人突然动了，机器人就不知道该怎么调整。
可变阻抗控制（VIC）：这是让机器人学会“手感”的关键。就像你递东西时，手会先硬一点（为了准确），碰到人时变软（为了不撞疼人）。这需要机器人实时调整自己的“僵硬程度”和“缓冲能力”。
强化学习（RL）的困境：为了让机器人学会这种复杂的“手感”，我们通常用强化学习，让机器人自己试错。
- 问题：这就好比让那个新手司机在高速公路上“自由发挥”去学开车。虽然它可能最终学会了怎么开得最快（成本最低），但在学会之前，它可能会因为乱打方向盘、刹车太猛而翻车或撞人。在机器人领域，这种“试错”可能导致机器人失控，撞坏东西或伤人。

2. 核心创新：C-GMS（认证的“安全驾驶区”）

这篇论文提出了一种叫 C-GMS（认证高斯流形采样）的新框架。

通俗比喻：给新手司机划定“绝对安全驾驶区”

以前的做法：让司机在整条公路上随便开，如果撞车了，就罚他分（给负奖励），或者撞车后把他拉回来（事后修正）。但这太晚了，危险已经发生了。
C-GMS 的做法：
1. 数学上的“安全地图”：研究人员先画了一张数学地图，这张地图上只有那些绝对安全、不会翻车的驾驶路线和油门/刹车组合。
2. 强制在地图内练习：当机器人（新手司机）尝试学习新动作时，C-GMS 会强制它只能在这张“安全地图”里采样（尝试）。
3. 结果：无论机器人怎么尝试，它永远不会开出安全区，也永远不会发生失控或碰撞。它是在一个被数学证明过“绝对安全”的范围内进行探索。

3. 它是如何工作的？（三个关键步骤）

像弹钢琴一样规划路线（DMPs）：
机器人先设定好一个大致的路线（比如从起点到终点，中间要绕过障碍物）。这就像钢琴谱，规定了大概的旋律。
用“安全锁”控制力度（Slack Variables）：
这是最神奇的部分。机器人需要决定什么时候手硬、什么时候手软。
- 以前的方法：随机尝试不同的力度，可能试到“太硬”把杯子捏碎，或者“太软”拿不住东西。
- C-GMS 的方法：它引入了一个**“数学锁”。它把力度（阻抗）的生成过程变成了一种特殊的数学结构。无论机器人怎么调整参数，这个结构保证了力度永远**符合物理定律，永远是稳定的。就像给油门加了一个智能限制器，你踩到底，车速也不会超过安全红线。
应对突发状况（执行器限制）：
如果机器人发现某个动作需要太大的力气（比如电机快转不动了），C-GMS 还有一个**“ governors（调速器）”。它会像自动降速一样，按比例缩小所有动作的力度，确保电机不会过载烧毁，同时依然保持安全**。

4. 实验结果：真机验证

研究人员在真实的 Franka 机械臂上做了实验：

任务：机器人要把一个文具盒递给坐着的人，但路上有个障碍物挡着。
没有 C-GMS 时：机器人为了绕过障碍物，尝试了一些激进的力度调整，结果导致机械臂剧烈抖动，甚至差点撞到障碍物或人（就像新手司机为了避让突然猛打方向盘，导致车辆失控）。
有 C-GMS 时：机器人同样学会了绕过障碍物，但它的动作平滑、稳定。它知道在靠近障碍物时变“软”一点，在接近人手时变“硬”一点，整个过程像流水一样自然，从未出现过危险。

5. 总结：为什么这很重要？

这篇论文的核心贡献在于：它把“安全”从“事后惩罚”变成了“事前保证”。

以前：先让机器人乱跑，撞了再改。
现在：在机器人开始跑之前，就给它戴上了“安全头盔”和“安全带”，保证它无论怎么跑，都不会受伤或伤人。

一句话总结：
这就好比给机器人装上了一个**“永不翻车的数学导航仪”**，让它能在复杂的、有人类参与的环境中，大胆地学习新技能，而不用担心因为“手滑”或“失控”造成事故。这让机器人真正具备了进入家庭、医院等复杂环境，与人类安全协作的潜力。

1. 研究背景与问题 (Problem)

背景：
机器人正从静态工业任务向动态、非结构化环境转变，物理交互变得至关重要。为了实现安全且灵活的交互，机器人需要结合动态运动基元 (DMPs) 进行运动规划，并结合变阻抗控制 (VIC) 来动态调整刚度和阻尼。强化学习 (RL) 被视为一种强大的数据驱动方法，用于同时学习轨迹和时变阻抗增益。

核心挑战：
现有的无模型（Model-free）RL 方法（如路径积分 PI2）在探索过程中存在严重风险：

不稳定性风险：由于阻抗增益是时变的，随机采样可能导致增益违反李雅普诺夫 (Lyapunov) 稳定性条件，导致系统发散或产生危险行为。
安全性缺失：传统方法通常依赖奖励惩罚（Reward Penalties）或事后安全过滤器（Post-hoc Safety Filters）来避免危险。这些方法不能从数学上保证每一次探索（Rollout）都是安全的，可能导致训练过程中的碰撞或硬件损坏。
执行器限制：现有方法往往忽略执行器的力矩饱和限制，导致生成的策略在物理上不可实现。

目标：
开发一种新的 RL 框架，能够在保证李雅普诺夫稳定性和执行器可行性的前提下，联合优化 DMP 轨迹参数和时变阻抗增益，且无需依赖事后修正或惩罚项。

2. 方法论 (Methodology)

作者提出了 认证高斯流形采样 (Certified Gaussian-Manifold Sampling, C-GMS) 框架。该方法将策略探索限制在一个数学定义的“稳定增益调度流形”上，确保每一次采样的策略在构造上就是稳定且安全的。

核心组件：

轨迹参数化 (DMPs)：
- 使用动态运动基元 (DMP) 参数化参考轨迹。
- 通过径向基函数 (RBF) 的权重向量 $\theta_{traj}$ 和探索噪声 $\xi$ 来生成复杂的运动模式。
基于松弛变量的增益参数化 (Gain Parametrization via Slacks)：
- 这是 C-GMS 的核心创新。为了强制满足 Kronander & Billard [11] 提出的全局一致稳定性条件，作者引入了矩阵值松弛变量 $S_D(t)$ 和 $S_K(t)$ 。
- 稳定性条件被重构为不等式约束：
  - $\alpha H - D(t) = -S_D(t)S_D(t)^\top \preceq 0$
  - $\dot{K}(t) + \alpha \dot{D}(t) - 2\alpha K(t) = -S_K(t)S_K(t)^\top \preceq 0$
- 通过参数化这些松弛变量（使用 RBF 基函数），并构造 $K(t)$ 的 Cholesky 分解因子 $Q(t)$ ，确保生成的刚度矩阵 $K(t)$ 始终是对称正定 (SPD) 的，且满足李雅普诺夫条件。
- 关键效果：策略搜索被限制在一个“认证流形”上。任何从高斯分布中采样的参数，经过上述变换后，生成的增益调度在数学上必然满足稳定性条件。
证书感知的增益收缩 (Certificate-Aware Gain Contraction)：
- 为了解决执行器力矩饱和问题，作者设计了一个力矩调节器 (Torque Governor)。
- 该调节器通过一个标量因子 $\beta \in [0, 1]$ 统一缩放松弛变量。
- 由于控制律在 $\beta$ 上是仿射的，可以解析地计算出满足执行器上下限约束的最大 $\beta^*$ 。
- 优势：这种缩放保持了 Lyapunov 证书的结构不变，从而在限制力矩的同时，不破坏稳定性证明。
强化学习框架 (PI2)：
- 采用路径积分 (PI2) 算法进行策略优化。
- 在每次迭代中，从认证流形中采样策略参数，计算轨迹成本，并更新参数。
- 由于所有采样都是稳定的，因此不需要在奖励函数中加入稳定性惩罚项，也不需要事后投影。
理论保证 (Convergence Guarantee)：
- 论文证明了即使在存在模型误差、前馈扰动和传感器噪声（有界残差输入）的情况下，C-GMS 生成的增益也能保证跟踪误差是一致最终有界 (Uniformly Ultimately Bounded, UUB) 的。

3. 主要贡献 (Key Contributions)

C-GMS 框架：提出了一种新颖的轨迹中心强化学习框架，将模型-free 策略搜索与严格的模型-based 稳定性分析相结合。
构造性安全保证：不同于事后过滤或惩罚，C-GMS 通过数学构造（松弛变量和流形采样）确保每一次策略展开（Rollout）都满足 Lyapunov 稳定性条件和执行器限制。
理论鲁棒性证明：建立了严格的定理，证明该方法在模型失配和外部扰动下能保证跟踪误差的有界性。
无需惩罚项的优化：消除了对稳定性惩罚项的依赖，使得优化过程更专注于任务成本（如轨迹跟踪精度），同时保持安全。
实物验证：在 Franka Research 3 (FR3) 机械臂上进行了真实世界实验，验证了其在人机协作（如物品传递）任务中的有效性和安全性。

4. 实验结果 (Results)

实验在 MuJoCo 仿真和 Franka FR3 真实机器人上进行，任务为人机协作物品传递（需绕过障碍物）。

稳定性对比：
- C-GMS：在 50 次策略更新中，轨迹平滑收敛，阻抗增益在通过关键点（Via-point）时自适应调整，且李雅普诺夫条件的特征值始终保持为负（稳定）。
- 无 C-GMS (传统 PI2)：虽然任务成本（Cost）也能收敛，但生成的增益调度违反了稳定性条件（特征值变为正），导致轨迹振荡、发散，甚至发生碰撞。
安全性与物理可行性：
- 引入“力矩调节器”后，C-GMS 成功在力矩受限（模拟低容量硬件，力矩限制减半）的情况下执行任务，未发生力矩饱和导致的失控。
- 无 C-GMS 的方法在绕过障碍物时产生了不安全的轨迹，导致与障碍物或人类发生碰撞。
泛化能力：在 5 种不同的起点 - 关键点 - 终点配置下，C-GMS 均能稳定完成任务，且均方根误差 (RMSE) 保持在较低水平。

5. 意义与局限性 (Significance & Limitations)

意义：

填补空白：解决了变阻抗控制中“数据驱动优化”与“严格稳定性保证”难以兼得的难题。
实际应用：为机器人在非结构化环境中进行安全、自适应的物理交互提供了可靠的基础，特别适用于人机协作场景。
范式转变：展示了如何通过将安全约束内嵌到采样空间（流形）中，而非作为外部约束，来实现高效且安全的强化学习。

局限性：

接触限制：当前的稳定性判据基于自由空间动力学，未直接考虑外部接触（Contact-rich tasks），限制了其在复杂接触操作中的直接应用。
任务范围：目前的成本函数主要关注轨迹跟踪，缺乏对姿态（Orientation）控制的显式优化，限制了其在更复杂操作任务中的应用。
未来方向：计划扩展该方法以处理接触任务、姿态控制以及动态适应负载变化。

总结：
这篇论文通过引入 C-GMS，成功地将强化学习应用于变阻抗控制，并从根本上解决了探索过程中的不稳定性问题。它证明了通过数学构造将安全约束内嵌到学习过程中，可以实现既安全又最优的机器人控制策略，为未来可靠的自主机器人交互奠定了重要基础。