⚡ electrical engineering

Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

本文提出了一种统一的 KL 正则化最优控制框架，该框架通过软策略代理泛化了经典目标与风险敏感目标，这些代理可经迭代以恢复原始目标，并在同步情形下产生线性贝尔曼算子与路径积分解。

原作者： Ajinkya Bhole, Mohammad Mahmoudi Filabadi, Guillaume Crevecoeur, Tom Lefebvre

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ajinkya Bhole, Mohammad Mahmoudi Filabadi, Guillaume Crevecoeur, Tom Lefebvre

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人（或一辆自动驾驶汽车）如何在复杂、不可预测的世界中导航。目标很简单：从 A 点到达 B 点，同时尽可能少地消耗能量或时间。然而，世界是混乱的。有时道路湿滑，有时行人意外冲出，有时机器人的传感器会撒谎。

本文旨在寻找一种统一的“主食谱”，用于教导这些机器人即使在出错时也能做出良好决策。它将多年来科学家们为解决此问题而尝试的多种不同方法，整合到一个庞大而灵活的框架中。

以下是使用简单类比进行的分解：

1. 问题：“完美”与“现实”

在过去，科学家们试图为机器人计算出“完美”的路径。但由于世界是随机的（stochastic），计算完美路径就像试图预测风暴中每一滴雨的确切轨迹。对于大多数现实世界的情况，从数学上精确求解是不可能的。

为了解决这个问题，研究人员开始使用KL 正则化。将其想象为一种“温和的推动”。与其强迫机器人遵循一条僵化的路径，不如给它一个“基准”行为（如默认设置或人类专家的风格），并告诉它：“你可以做任何你想做的事，但请尽量靠近这个基准。如果你偏离太远，就要付出代价。”

2. 新的“主食谱”（核心问题）

本文的作者意识到，以往的方法将两件事混为一谈：

机器人的选择（策略）： 机器人如何决定做什么。
世界的反应（转移）： 世界如何对机器人的行动做出反应。

以往的方法将这些视为一个纠缠在一起的死结。本文解开了这个结。他们提出了一个新的框架，你可以分别调节针对机器人选择的“温和推动”和针对世界反应的“推动”。

想象你在指导一名足球运动员：

旧方法： 你告诉球员，“像我一样踢球，并希望球的弹跳符合我的预期。”
新方法（本文）： 你告诉球员，“像我一样踢球（策略推动），同时假设球可能会剧烈弹跳（转移推动），但你可以调整自己对球剧烈弹跳的担忧程度。”

通过将这两者分离，他们创造了一个几乎涵盖所有现有机器人控制方法的“伞状”框架。

3. 四种特例（“风味”）

在这个新伞状框架下，四种著名的机器人控制方法作为特殊设置出现：

经典方法（SOC）： 机器人试图完美地最小化成本，假设世界是固定的。（对世界无“推动”，对机器人也无“推动”）。
风险敏感方法（RSOC）： 机器人要么悲观（最坏情况：“球肯定会弹得很糟！”），要么乐观（最好情况：“球会完美弹跳！”）。这适用于安全或高回报的赌博场景。
“软”策略（SP-SOC）： 机器人试图最小化成本，但被强制保持在“导师”（如人类专家）附近。这是经典方法的“软”版本。
“软”风险敏感（SP-RSOC）： 机器人在对世界持乐观或悲观态度的同时，保持在导师附近。

4. “迭代”技巧（攀登高峰）

最酷的发现之一是如何解决这些难题。作者表明，“软”版本（SP-SOC 和 SP-RSOC）充当了通往困难、经典版本的安全踏脚石。

这就像攀登一座陡峭、多雾的山峰（完美解决方案）。

“软”版本是附近一座温和、灯火通明的小山。
你先解决这座容易的小山。
然后，你利用该解决方案作为新的起点，去解决一座稍陡的小山。
你重复这个过程。
魔力所在： 每次你解决“软”版本时，你都被保证能更接近“完美”解决方案。你绝不会倒退。这使得数学计算变得容易得多。

5. “同步”超能力

最后，论文发现了一个特殊的“甜蜜点”。如果你将针对机器人选择的“推动”强度设置为与针对世界反应的“推动”强度完全相同，神奇的事情就会发生：

数学变得线性（像直线一样），而不是弯曲和混乱的。

类比： 想象你在解一个拼图，其中的拼图块形状不断变化（非线性）。突然，你找到了一个设置，让所有拼图块都变成了完美的正方形（线性）。
结果： 这允许使用“路径积分解法”。你不必从终点线向后推导（这很难），而是可以从起点线向前模拟多次并取平均值。
组合性： 这也意味着你可以通过简单地将简单行为相加来构建复杂行为。如果你知道如何走和如何跑，你就可以在数学上“混合”它们以获得新行为，而无需重新解决整个问题。

总结

本文指出：“我们发现了一个单一的、灵活的框架，它将教导机器人应对风险和不确定性的所有不同方式联系起来。通过区分我们如何惩罚机器人的选择与如何惩罚世界的随机性，我们可以将不可能的数学问题转化为简单的、循序渐进的谜题。如果我们把旋钮调节得恰到好处，我们就能获得超快、超智能的解决方案，这些方案可以像乐高积木一样构建。”

它并未声称：

它并未声称能解决具体的医疗问题或临床应用。
它并未声称已能在连续、实时的硬件上运行（这是一个理论数学框架）。
它并未声称要取代所有现有的人工智能，而是旨在统一其背后的数学原理。

技术摘要：最优控制中的熵正则化统一

问题陈述
最优控制问题，从机器人技术到金融领域，通常涉及利用动态规划在有限时域内最小化成本。然而，由于贝尔曼算子的非线性，精确解往往难以处理。尽管“控制即推理”（CaI）和 Kullback-Leibler（KL）正则化等概率方法提供了可处理的替代方案，但连接经典随机最优控制（SOC）、风险敏感随机最优控制（RSOC）及其 KL 正则化“软策略”对应物的统一数学框架一直缺失。此外，这些算法每次迭代中求解的替代目标与原始经典目标之间的关系仍不完全清晰，这些公式与分布鲁棒控制（DRC）之间的联系也是如此。

方法论
作者提出了一个称为**中央 KL 正则化最优控制（C-KLR-OC）**的核心统一问题。该公式通过解耦施加于策略和系统转移的 KL 惩罚，概括了现有方法。

统一公式：核心问题（公式 7）联合优化策略序列 $\pi$ 和人工转移核序列 $\tau$ ，以独立权重 $\lambda_P$ 和 $\lambda_S$ 惩罚它们与基准分布（策略的 $\rho$ ，转移的 $\iota$ ）的偏差。
- $\lambda_P$ 控制策略与参考行为的偏差。
- $\lambda_S$ 控制转移与真实系统动力学的偏差，其符号决定风险态度（正值为风险寻求/乐观，负值为风险规避/悲观）。
理论工具：
- 风险度量：本文利用熵风险度量的对偶表示，将风险敏感性与 KL 正则化联系起来。
- 最大化 - 最小化（MM）：作者采用 MM 框架证明，软策略公式作为可处理的替代函数，对原始经典目标进行了上界界定（majorize）。
特例推导：通过切换对 $\rho$ （是否等于优化策略 $\pi$ ）和 $\tau$ （是否固定为真实动力学 $\iota$ 或自由）的约束，作者表明 C-KLR-OC 可恢复：
- SOC： $\rho = \pi$ ， $\tau = \iota$ 。
- RSOC： $\rho = \pi$ ， $\tau$ 自由。
- 软策略 SOC（SP-SOC）： $\rho \neq \pi$ ， $\tau = \iota$ （对应 I-投影）。
- 软策略 RSOC（SP-RSOC）： $\rho \neq \pi$ ， $\tau$ 自由（对应 M-投影）。

主要贡献与结果

目标的统一：本文确立了经典 SOC、RSOC 及其软策略变体并非不同的范式，而是单一数学结构的特例，其中策略正则化和转移正则化是分离的。
经典目标的迭代恢复：作者证明，软策略公式（SP-SOC 和 SP-RSOC）上界界定（majorize）其经典对应物（SOC 和 RSOC）。因此，迭代求解软策略问题（将当前策略作为下一步的基准 $\rho$ ）保证了原始未正则化目标的下降。这为通过求解可处理的 KL 正则化子问题以收敛至经典解的迭代算法提供了原则性基础。
同步情况（S-SP-RSOC）：一个关键发现是识别出一种“同步”情况，其中策略权重和转移权重重合（ $\lambda_P = \lambda_S = \lambda > 0$ $λ_{P} = λ_{S} = λ > 0$ ）。在这种特定配置下，问题表现出此前在特定设置（如路径积分控制）中观察到的有利属性集合，但现在证明可扩展至更广泛的类别：
1. 线性贝尔曼算子：非线性贝尔曼递归通过指数变量变换（可欲性）转化为线性方程。
2. 路径积分解：价值函数可计算为基准动力学的路径积分（轨迹上的期望），绕过反向动态规划，实现无模型、并行的蒙特卡洛估计。
3. 组合性：复杂终端成本的解可构建为更简单子问题解的加权混合。
与推理的联系：同步情况被证明等价于条件最优化的概率图模型（PGM）上的最大似然估计（MLE）。最优策略恰好对应于给定最优性的动作后验分布，可通过贝叶斯平滑计算。

意义与主张
本文声称提供了一种“统一视角”，解决了关于基于 CaI 方法可解释性的基本问题。具体而言：

它阐明了密度匹配算法每次迭代中求解的“软”策略并非任意的；它们是 KL 正则化替代物，系统地逼近经典 SOC 或 RSOC 目标。
它表明策略正则化与转移正则化之间的结构和谐（即设置 $\lambda_P = \lambda_S$ ）并非偶然，而是数学上必要的，以同时实现线性贝尔曼算子、路径积分可解性和组合性。
它弥合了风险敏感控制与分布鲁棒控制之间的差距，表明风险敏感性可被解释为具有预定义拉格朗日乘子的软 DRC 问题。

作者得出结论，虽然同步情况产生了强大的计算属性，但通用的统一框架允许独立调整策略和转移正则化，为超越线性所需特定约束的控制问题提供了更广阔的设计空间。