⚡ electrical engineering

Trajectory-Regularized Stochastic Optimal Control via KL Divergence

本文引入了轨迹正则化随机最优控制（TRSOC），该框架通过在受控轨迹分布与参考轨迹分布之间引入 Kullback-Leibler 散度惩罚来修正运行代价，同时保持动态规划结构，从而在线性二次设定下产生闭式解，并实现性能与参考依从性之间可调的权衡。

原作者： Mintae Kim, Koushil Sreenath

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mintae Kim, Koushil Sreenath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人在拥挤且下着雨的公园里行走。你想让机器人尽可能快地到达一张特定的长凳。但地面很湿滑，风向也变幻莫测。这就是**随机最优控制（Stochastic Optimal Control, SOC）**的世界。把“随机”（stochastic）理解为一个形容词，意为“充满随机惊喜的”。而“最优控制”则是用于在无法精确预测下一步会发生什么时，寻找最佳路径的数学方法。通常，这类数学问题只关心一件事：以最小的代价或时间到达目标。

然而，在现实世界中，我们往往拥有一个关于某种偏好运动方式的“幽灵”。也许这个机器人曾接受过人类的训练，学习如何走得缓慢且谨慎；或者我们拥有一堆旧的视频数据，展示了以往一个安全的机器人是如何行动的。标准的数学模型往往会忽略这个“幽灵”，只专注于最快的路径，这可能会让机器人的动作显得抖动或不安全。本文提出了一个简单的问题：我们能否教会机器人既要快，又能礼貌地贴近它以往的运动方式？ 作者引入了一种名为**轨迹正则化随机最优控制（Trajectory-Regularized Stochastic Optimal Control, TRSOC）**的新方法。他们使用了一个名为 **KL 散度（KL Divergence）**的数学工具（可以将其想象成一个针对整个路径而非单个步骤的“距离测量仪”），通过轻微地引导机器人的随机运动，使其保持在参考模式附近，而不是强迫它完全遵循该模式。

这篇论文的核心思想：机器中的“幽灵”

作者 Mintae Kim 和 Kousril Sreenath 提出了一种巧妙的方法，将两种相互竞争的欲望结合在一起：做好工作（性能）与表现得像旧版本一样（参考）。他们称之为 TRSOC。

想象你在开车。你的“性能”目标是在 10 分钟内到达杂货店。而“参考”行为则是你谨慎的祖母开车的样子：她从不超速，总是打转向灯，并且转弯幅度很大。标准的驾驶数学会告诉你忽略你的祖母，尽可能按照交通法规快速行驶。然而，TRSOC 增加了一个“礼貌惩罚”。它说：“你可以开得很快，但如果你开始剧烈转向或忽视你祖母的习惯，你就会受到罚款。”

这篇论文中的魔力在于如何计算这种“罚款”。通常，比较两条完整的路径（轨迹）是非常困难的，就像试图逐帧对比两部完整的电影一样。但作者使用了一个著名的数学定理——**吉尔萨诺夫定理（Girsanov's theorem）来简化这一过程。他们证明，与其对比整部电影，你只需要观察机器人在任何单一时刻试图前进的漂移（drift）**方向。

如果机器人试图向一个与“幽灵”参考路径非常不同的方向推进，数学模型就会增加一个二次惩罚（quadratic penalty）。可以把它想象成一根橡皮筋。如果机器人试图远离参考路径，橡皮筋就会被拉伸，从而导致成本（即“罚款”）上升。橡皮筋的力量越强（由一个称为 $\lambda$ 的数值控制），机器人偏离的难度就越大。

结果：寻找甜点区

论文不仅提出了这个想法，还通过数学证明了其有效性，并进行了模拟测试。

1. 权衡是真实存在的
作者展示了通过调节“橡皮筋”旋钮（ $\lambda$ ），你可以在这两个极端之间平滑滑动：

$\lambda = 0$ （没有橡皮筋）： 机器人纯粹根据性能表现。它会找到最快、最高效的路径，但看起来可能会有些抖动，或者忽略安全习惯。
$\lambda = \text{极大}$ （超级紧绷的橡皮筋）： 机器人变成了一个模仿者。它几乎完美地遵循参考路径，即使那条路径并不是最快的。
介于两者之间： 机器人找到了一个平衡点。它能完成任务，同时保持动作的平滑和熟悉感。

在实验中，他们使用了一个必须遵循“8”字形轨道的机器人。当他们调高正则化程度时，机器人停止了剧烈、激进的修正，开始遵循参考路径那种平滑的曲线运动，尽管“最快”的路径可能会稍微有些不稳定。

2. 它也能处理“幽候”数据
最酷的部分之一是，这个“参考”并不一定非要是完美的数学公式。作者展示了你可以向系统输入离线数据（即记录机器人运动的录像），数学模型会从这些数据中学习到“幽灵”行为。

他们训练了一个小型神经网络来预测参考机器人是如何移动的。
然后，他们让 TRSOC 系统以这个预测作为引导。
结果如何？新的机器人表现得与录像中的机器人非常相似，这证明了该方法可以从现实世界的数据中学习，而不仅仅依赖完美的方程。

3. 安全性与稳定性
论文还探讨了这种“橡皮筋”是否会让机器人变得不稳定。令人惊讶的是，他们发现添加这种正则化实际上可以让系统更加稳定。通过惩罚激进、狂野的运动，数学模型自然地会阻止机器人采取可能导致失去控制的冒险行为。在模拟中，即使在数学计算变得复杂时，机器人依然保持在安全范围内。

这对未来意味着什么

这篇论文并不声称已经解决了宇宙中所有的控制问题。相反，它提供了一个全新的、灵活的工具。它表明，你不需要在“快速且冒险”与“安全且缓慢”之间做单选题。通过调节一个数字，你可以同时拥有两者。

作者认为，这对于需要从人类演示中学习的机器人（例如学习如何折衣服的机械臂）或需要遵守当地驾驶习惯的自动驾驶汽车来说，意义重大。通过使用这种“轨迹正则化”，工程师可以构建出不仅高效，而且可预测且有礼貌的机器人——它们在完成任务的同时，依然能坚守那份关于良好行为的“幽灵”。

简而言之，TRSOC 就像是给了机器人一个“良知”。它仍然想要赢得比赛，但它记得自己过去的行为方式，并试图找到一条能同时满足其雄心壮志与历史传承的路径。

技术摘要：基于 KL 散度的轨迹正则化随机最优控制

1. 问题表述

本文针对标准随机最优控制（SOC）的一个局限性进行了研究，即标准 SOC 仅关注在不确定性下最小化期望累积成本，而未对生成的系统动力学相对于理想参考行为的偏离程度进行约束。在许多应用场景中，参考行为（例如被动动力学、基准控制器或源自离线数据的分布）包含了有价值的结构先验。与这些参考行为发生大幅度偏离可能导致策略的脆弱性。

作者提出了轨迹正则化随机最优控制（TRSOC）。其目标是最小化一个平衡任务性能与受控轨迹分布与参考轨迹分布接近程度的代价函数。这种接近程度是通过受控过程的概率测度（ $P_u$ ）与参考过程的概率测度（ $P_0$ ）之间的 Kullback–Leibler (KL) 散度来衡量的。

系统被建模为一个受控扩散过程：
$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$
其中控制量 $u_t$ 通过漂移项（drift）进入系统。参考动力学具有相同的扩散矩阵 $\sigma$ ，但具有不同的漂移项 $f_0$ 。

2. 方法论

A. 将轨迹 KL 散度降阶为局部代价

其核心理论贡献是将轨迹层面的 KL 散度降阶为一个局部且可处理的运行代价（running cost）。

Girsanov 定理： 在假设扩散矩阵 $\sigma(x)$ 可逆且漂移失配满足 Novikov 条件的情况下，受控测度与参考测度之间的 Radon–Nikodym 导数存在。
引理 1： 在有限时界 $[0, T]$ 内，KL 散度 $KL(P_u \| P_0)$ 被证明等于一个二次漂移失配惩罚项的期望积分：
$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$
其中 $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ 。
增广运行代价： 这一结果允许将轨迹正则化直接作为附加项引入标准的 SOC 框架中，从而构成增广后的运行代价：
$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$
此处 $\lambda \geq 0$ 为正则化参数。

B. 动态规划与 HJB 结构

由于 KL 惩罚项可以简化为运行代价的积分，因此 TRSOC 问题保留了马尔可夫性质和**动态规划（DP）**原理。

值函数 $V(t, x)$ 满足标准的 Hamilton–Jacobi–Bellman (HJB) 方程：
$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$
其中 $\mathcal{L}_u$ 是扩散过程的无穷小生成元。
与直接在轨迹测度上进行优化（通常导致风险敏感目标和指数倾斜）的“KL 控制”方法不同，TRSOC 仍然是一个标准的 SOC 问题，具有增广代价，并保留了线性的期望和标准的 HJB 特征。

C. 最优控制结构（控制仿射情形）

对于具有控制仿射漂移 $f(x, u) = f_0(x) + B(x)u$ 且具有二次控制代价的系统，作者推导出了显式的最优反馈律。

KL 项起到了额外的控制惩罚作用，修改了有效的控制权重矩阵：
$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$
最优控制由下式给出：
$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$
该公式意味着，在低噪声方向上引起较大漂移变化的控制会受到更重的惩罚。

D. 线性二次（LQ）特例

在线性二次设定下，该问题简化为一个具有修改后控制权重 $\bar{R}$ 的折扣线性二次调节器（LQR）。其解涉及求解一个修改后的代数 Riccati 方程（ARE），其中正则化参数 $\lambda$ 直接影响反馈增益，使得随着 $\lambda$ 的增加，控制变得更加保守。

3. 主要贡献

TRSOC 公式化： 引入了一种行为正则化的 SOC 框架，通过轨迹层面的 KL 散度将先验行为（名义控制器或数据驱动的基准）整合进来。
局部代价降阶： 证明了在仅通过漂移进行控制且扩散非退化的条件下，轨迹 KL 散度可以降阶为一个二次漂移失配惩罚。这保留了 DP 结构，并允许进行标准的 HJB 特征化。
最优策略特征化： 推导了控制仿射系统的显式最优反馈律，并分析了 LQ 情况，展示了正则化如何修改控制成本和稳定性属性。
稳定性分析： 证明了轨迹正则化可以改善闭环漂移的耗散性（dissipativity），从而促进 Lyapunov 不等式并确保状态的均方有界性。

4. 结果与实验

论文通过在随机双积分器系统追踪“8”字形轨迹的数值实验验证了其理论发现。

性能–偏差权衡： 实验表明正则化参数 $\lambda$ $λ$ 诱导了一个连续的权衡。
- 当 $\lambda \to 0$ 时，控制器表现为标准的性能驱动型 SOC，实现较低的任务代价，但可能与参考行为产生显著偏差。
- 当 $\lambda \to \infty$ 时，控制器强制诱导的漂移与参考动力学保持一致，以最小化偏差为代价牺牲了任务性能。
数据驱动的参考： 该框架成功应用于参考动力学从离线数据中学习的情景（使用神经网络近似参考加速度）。结果表明，TRSOC 有效地平衡了任务优化与对学习到的参考行为的遵循。
轨迹几何： 轨迹可视化揭示了正则化作用于诱导动力学的几何结构。正则化控制器产生的轨迹位于非正则化最优控制器的激进修正行为与名义参考行为之间，特别是在高曲率区域。

5. 重要性与主张

作者声称 TRSOC 提供了一种原则性的方法，可以在不放弃标准 DP/HJB 框架的情况下，将先验知识或离线数据集成到随机控制中。

结构保留： 与其他可能需要优化测度或导致非标准风险敏感目标的轨迹正则化方法不同，TRSOC 保持了标准的 SOC 结构，使其适用于通用的非线性动力学。
插值： 该框架提供了一个多目标优化问题（任务性能 vs. 参考遵循）的标量化方法，允许从业者通过单个参数 $\lambda$ 来调节控制器的行为。
鲁棒性： 研究表明，当参考动力学是从数据中学习得到时，该方法对近似误差具有鲁棒性，这表明其在离线到在线强化学习或模仿学习背景下的潜在用途。

文章总结道，轨迹正则化起到了“噪声感知”的控制能量修改作用，它在系统随机性较低的方向上对漂移变化施加更重的惩罚，从而提供了一种在平衡性能与安全性/一致性方面的几何直观机制。