⚡ electrical engineering

LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

本文提出了 LC-SAC，一种李雅普诺夫约束的软行为者-评论家算法，该算法利用 Koopman 算子理论通过 EDMD 和 DARE 推导出闭式控制李雅普诺夫函数，并将其作为基于 CVaR 的拉格朗日惩罚项进行集成，以确保在四旋翼控制等安全至上的轨迹跟踪任务中的稳定性并防止发散。

原作者： Dhruv S. Kushwaha, Zoleikha A. Biron

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dhruv S. Kushwaha, Zoleikha A. Biron

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何驾驶无人机，或者让它在小车上平衡一根杆子。你希望机器人能学会完美地完成这些动作，但你非常担心在它“学习”的过程中，它可能会坠毁、失控旋转或倾倒。

这就是 LC-SAC 这篇论文试图解决的问题。它引入了一种全新的机器人教学方法——使用强化学习（RL）（一种通过试错来学习 AI 的方法）——同时增加了一个“安全网”，确保机器人在学习过程中不会变得疯狂。

以下是他们实现这一目标的简单拆解，使用了日常生活的类比。

1. 问题所在：“野蛮探索者”

标准的 AI 学习（比如文中提到的“原生 SAC”算法）就像是一个野蛮的探索者。它尝试各种尝试以寻找最佳路径。

优点： 它能找到非常高效、高性能的动作。
缺点： 有时为了寻找最佳动作，它会尝试一些危险的行为。在模拟器中，这只是重置一次；但在现实世界中，这可能意味着无人机撞墙或机器人手臂损坏。
问题： 标准 AI 没有内置的“稳定性保证”。它可能学会了如何飞得很好，但前提是经历了 100 次坠毁。

2. 解决方案：“数学安全网”

作者创建了一个名为 LC-SAC 的系统。你可以把它想象成给探索者套上了一根严格且隐形的牵引绳，只有当他们开始远离安全区域时，绳子才会收紧。

他们使用了三个主要工具来构建这根牵引绳：

A. “水晶球”（Koopman 算子与 EDMD）

现实世界的物理现象（如无人机飞行）是混乱且非线性的。很难精确预测下一步会发生什么。

类比： 想象你在预测一片叶子在风中飘动的路径。它是混沌的。但是，如果你通过一个特殊的“魔法透镜”（Koopman 算子）观察这片叶子，混沌的运动突然在图表上看起来就像一条直线。
他们做了什么： 他们使用了一种叫做 EDMD 的技术来构建这个“魔法透镜”。它将混乱的现实世界数据提升到一个更简单的线性世界，在那里数学计算变得非常简单。这使得他们能够非常精确地预测机器人的未来状态，而无需为每一次预测都构建复杂的神经网络。

B. “能量计”（李雅普诺夫函数/Lyapunov Function）

在物理学中，我们经常谈论“势能”。球在山顶时具有高能量；球在山底时具有低能量。为了保持稳定，球必须向山下滚动，逐渐失去能量直到停止。

类比： 作者创建了一个数学上的“能量计”（称为 Lyapunov 函数）。
- 如果机器人远离目标（例如无人机远离着陆点），能量计显示“高能量”。
- 如果机器人接近目标，能量计显示“低能量”。
- 规则： 为了保证安全，机器人的“能量”在每一步都必须下降。如果 AI 尝试了一个让能量上升的动作，系统就会说：“不行，这很危险！”
创新点： 通常，确定这个“能量计”需要训练另一个复杂的 AI。作者通过使用他们的“水晶球”（步骤 A 中的工具）来利用一个标准的闭式数学方程（DARE）来计算能量计。这既快速又可靠，且不需要额外的训练。

C. “严厉教练”（CVaR 与拉格朗日惩罚/Lagrangian Penalty）

现在，如何强迫 AI 听从能量计的指令呢？

类比： 想象一位教练，他不仅仅是说：“平均而言，你的表现很安全。”相反，他会盯着你表现最差的 25% 的动作。如果你的任何一个动作都极其接近崩溃边缘，教练就会变得非常严厉。
运作方式： 他们使用了一个统计工具，称为 CVaV（条件风险价值）。与其因为微小的平均错误而惩罚 AI，它更关注“尾部”分布——即那些罕见的、严重的、机器人几乎失控的时刻。
他们在 AI 的学习得分中加入了一个“惩罚项”。如果 AI 尝试了一个增加能量值的动作，它会受到巨大的惩罚。AI 会迅速学会：“我必须避免这些动作，才能获得高分。”

3. 结果：安全性 vs. 速度

论文在六个不同的场景中测试了该方法：平衡杆（倒立摆）以及 2D 和 3D 环境下的无人机飞行。

在“稳定化”（保持静止）方面： 新方法取得了巨大成功。它学到的效果与标准 AI 相当，但一致性更高。标准 AI 有时会崩溃并彻底失败（方差很高），而 LC-SAC 方法则非常可靠且可重复。这就像一个学习很稳的学生总能及格，而另一个学生有时拿 A，有时却不及格。
在“追踪”（追逐移动目标）方面： 这里存在一个小小的权衡。因为“能量计”是为固定目标设计的，所以当目标移动过快时，它显得有些过于严格。AI 获得完美得分的速度稍慢（在某些情况下奖励减少了约 8-15%），但它更加安全和稳定。它不像标准 AI 那样频繁坠毁。
“奖励塑造”（Reward Shaping）的失败： 论文还尝试了另一种方法，即仅仅将安全规则添加到奖励中（比如给一个“表现安全”的奖金），而不是作为一个硬性约束。这种方法在复杂的 3D 无人机任务中惨败。AI 变得混乱并发生了坠毁。这证明了对于复杂的机器人，硬性约束（牵引绳）是必要的，而不仅仅是一个软性的建议。

总结

这篇论文提出了一种教机器人飞行和平衡的新方法。

他们使用一种数学技巧，将混乱的物理现象转化为简单的、可预测的直线。
他们利用这一点创建了一个保证存在的“能量计”，告诉他们机器人是否变得不稳定。
他们强制 AI 听从这个能量计，特别针对最坏的情况进行惩罚。

核心结论： 你可以在不牺牲太多性能的前提下，教会机器人变得安全且稳定。这就像是在一名可能开得很快但经常出车祸的鲁莽司机，与一名虽然稍慢但每次都能平安抵达的谨慎司机之间的区别。

技术摘要：LC-SAC：基于 Koopman 算子理论的李雅普诺夫约束软 Actor-Critic

问题陈述
强化学习（RL）在复杂的序列决策制定中取得了成功，但在应用于安全至关重要的物理系统时面临重大障碍。标准的 RL 算法优先考虑奖励最大化，往往会产生导致振荡或状态无界发散的策略，这是由探索驱动的瞬态响应和函数逼近误差引起的。虽然基于李雅普诺夫的方法提供了一条原则性的稳定性路径，但现有方法面临着反复出现的局限性：在未知的高维环境中构建有效李雅普诺夫函数的难度；在线学习李雅普诺夫函数的样本效率低下问题；以及在每次更新步骤中求解投影或约束优化的计算负担。此外，学习到的李雅普诺夫证书往往缺乏全局有效性保证，且如果实现不够严谨，强制执行约束可能会导致学习失稳。

方法论
作者提出了 LC-SAC（李雅普诺夫约束软 Actor-Critic），这是一个将 Koopman 算子理论与离线策略 RL 相结合的框架，旨在不训练辅助李雅普诺夫网络的情况下提供稳定性保证。该方法由三个主要部分组成：

通过 EDMD 进行离线模型学习：
与其直接在原始状态空间中学习动力学，不如使用扩展动态模态分解（EDMD）学习误差动力学（ $e_t = x_t - x_{ref,t}$ ）的线性提升代理模型。通过观测器字典（状态变量结合径向基函数 RBF）将非线性动力学提升为线性控制仿射模型： $z_{t+1} \approx A z_t + B u_t$ ，其中 $z = g(e)$ 。
闭式 CLF 构建：
利用识别出的矩阵 $A$ 和 $B$ ，作者通过求解离散代数黎卡提方程（DARE）获得唯一的稳定解 $P \succ 0$ 。由此产生一个闭式二次控制李雅普诺夫函数（CLF）： $V(z) = z^\top P z$ 。为了确保 CLF 在更高维度的提升模型（特别是 3D 四旋翼和倒立摆）中是适定的，引入了三种结构化改进：
- 谱半径归一化： 如果矩阵 $A$ 的谱半径 $\rho(A) > 1$ ，则对 $A$ 进行缩放，以确保在求解 DARE 之前实现稳定性。
- 具有物理意义的 LQR 代价： 基于物理误差状态设置状态代价（ $Q$ ）。
- 数值偏差锚定： 通过减去偏差项 $V_{bias} = g(0)^\top P g(0)$ 来强制执行 $V(0)=0$ ，从而修正由于原点处非零 RBF 中心导致的偏差。
带有 CVaR 约束的在线策略优化：
SAC Actor 更新通过一个拉格朗日惩罚项进行增强，以强制执行李雅普诺夫下降条件。该方法并非惩罚平均违反情况，而是通过 条件风险价值（CVaR） 目标（针对前 25% 的最差违反情况）聚合最差情况的尾部违反情况。Actor 损失函数变为：
$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$
其中 $L_{CVaR}^v$ 是最差单步李雅普诺夫违反情况的均值， $\lambda$ 是通过投影上升法更新的对偶变量，而 $\zeta$ 是容差。这使得约束压力集中在罕见但严重的失稳事件上。

核心贡献

新型 CLF 推导： 一种通过 Koopman/EDMD 提升和 DARE 获取闭式 CLF 的方法，并将其作为拉格朗日约束嵌入到 SAC 中。这避免了训练辅助李雅普诺夫网络，降低了计算复杂度并提高了数据效率。
理论分析： 证明了约束 Actor 更新能局部减少单步李雅普诺夫违反情况，并且满足约束意味着提升后的代理系统具有渐近（或在加强边际条件下具有指数）稳定性。
结构化改进： 引入了谱半径归一化、具有物理意义的 LQR 代价和 $V(0)=0$ 锚定，这些被证明对于使闭式 CLF 在高维提升模型中正常工作是必要的。
全面的实证研究： 在六个基准任务（2D/3D 四旋翼稳定/跟踪，倒立摆稳定/跟踪）上评估 LC-SAC 及其变体（包括 vanilla SAC、均值聚合变体 LC-SAC-Mean 以及基于势函数的奖励塑造基准 Lyap-RS-SAC）的表现。

结果
在 safe-control-gym 套件上进行的实验揭示了一种明显的稳定性-性能权衡：

稳定任务： 在具有固定设定点的任务（如倒立摆稳定）中，LC-SAC 及其变体表现出匹配或超过 vanilla SAC 的性能（在倒立摆任务上提升高达 +25%），同时显著降低了试次间的方差。这表明约束防止了训练期间灾难性的策略发散。
跟踪任务： 在激进的轨迹跟踪任务中，稳定性约束相对于 vanilla SAC 会带来轻微的回报损失（平均回报降低 3–15%），但换取了显著降低的方差和更具重复性的训练。
消融研究发现：
- 硬约束 vs. 奖励塑造： 将硬拉格朗日约束替换为基于势函数的奖励塑造（Lyap-RS-SAC）会导致四旋翼任务出现灾难性失败（回报下降高达 94%），这证明了硬约束对于维持复杂动力学系统的稳定性至关重要。
- CVaR vs. 均值： CVaR 聚合（LC-SAC）针对最差情况的违反，导致比均值聚合变体（LC-SAC-Mean）更低的极端情况代理损失，但其平均回报底线略高。
- 结构化修复： 如果没有提出的 EDMD 改进措施（归一化和偏差锚定），针对 3D 任务的代理李雅普诺夫损失将是无界的（在第 4000 步时为 868），从而完全阻碍学习。这些修复措施将损失降至接近于零，从而实现了成功的训练。

意义与主张
论文声称，LC-SAC 通过利用 Koopman 算子的全局线性化特性来离线推导稳定性证书，为安全强化学习提供了一种计算高效且具有理论依据的方法。该工作证明了：

可以在不产生在线学习李雅普诺夫函数带来的样本效率低下的情况下，有效地将稳定性约束集成到离线策略 RL 中。
对于维持复杂高维系统的稳定性，硬拉格朗日约束优于奖励塑造。
EDMD 流水线中的结构化改进对于将闭式 CLF 方法扩展到像 3D 四旋翼这样的高维系统是至关重要的。
该方法提供了一个有利的权衡，即通过牺牲少量激进跟踪任务中的峰值性能，来换取显著提高的训练可靠性和鲁棒性。

作者指出，当前的定常二次 CLF 是一个局限性，对于激进的随时间变化的参考轨迹，建议未来的工作探索时变或数据驱动的 CLF 设计，以进一步缩小在跟踪任务上的性能差距。