🔢 mathematics

Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences

本文引入了基于 Wasserstein 和 Kalman-Wasserstein 散度的适定 KL 正则化控制方法，旨在解决经典 KL 散度固有的奇异性和支撑集不匹配问题，从而实现在低噪声机制下的稳定且高性能的反馈控制。

原作者： Viktor Stein, Adwait Datar, Nihat Ay

发布于 2026-06-02

📖 1 分钟阅读🧠 深度阅读

原作者： Viktor Stein, Adwait Datar, Nihat Ay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人走路。为了做到这一点，你会对比两种场景：一是当你发出指令时机器人“实际”是如何移动的；二是如果只是让它随波逐流，它“本该”是如何移动的。这两种运动之间的差异就是一种“惩罚”，你会将其加入到你的训练中，以防止机器人变得疯狂。

几十年来，科学家们一直使用一种叫做 KL 散度（KL Divergence） 的数学工具来衡量这种差异。你可以把 KL 散度想象成一把非常严格、陈旧的尺子。当机器人在嘈杂、混乱的环境中（比如在颠簸、多风的日子里）移动时，它表现得很好。但正如论文中所解释的，这把尺子有一个致命缺陷：当环境变得过于安静时，它会完全失效。

如果“噪声”（风、颠簸）消失了，机器人在一个完美平滑、可预测的世界中移动，旧的 KL 尺子会试图测量一个趋于无穷大的距离。这就像是在尝试测量一张突然缩减为一个点的地图上两点之间的距离；数学逻辑会爆炸，导致机器人停止学习。

新的解决方案：一种灵活的、“状态感知型”的尺子

作者维克多·斯坦（Viktor Stein）、阿德维特·达塔尔（Adwait Datar）和尼哈特·艾（Nihat Ay）提出了另一种衡量这种差异的方法。他们没有使用旧的、僵硬的 KL 尺子，而是发明了三种新型的“尺子”，它们基于不同的数学几何结构：

Wasserstein 尺子： 这把尺子理解物理空间。它知道将机器人向左移动一英寸是一个微小的变化，即使在数学上这种移动的“概率”有所不同。它将机器人的移动视为将质量从一个杯子倒入另一个杯子的过程，测量移动“质量”所需的实际努力。
Kalman-Wasserstein 尺子： 这是一个混合体。它类似于 Wasserstein 尺子，但内置了一个安全网。它增加了一点点“虚构的噪声”，以确保即使在现实世界完全安静时，数学计算也不会崩溃。
线性化尺子（Linearized Ruler）： 一个针对特定对称形状进行简化的版本。

神奇的比喻：
想象你正在地板上推一个沉重的箱子。

旧方法 (KL)： 如果地板是完全平滑的（没有摩擦/噪声），旧的尺子会说：“你无法推动这个箱子！所需的努力是无穷大的！”然后你就停止尝试了。
新方法 (Wasserstein/Kalman)： 这些新的尺子会说：“好吧，地板很光滑，但你仍然需要施加一点力才能让它移动。”无论地板变得多么平滑，它们都能让问题保持可解。

他们实际做了什么

这篇论文不仅仅是在谈论理论；他们证明了这些新尺子在三个特定方面发挥作用：

修复了数学问题： 他们展示了对于常见的数据形状（例如机器人学中使用的钟形曲线），他们可以写出这些新尺子的精确公式。至关重要的是，这些公式在噪声水平降至零时绝不会爆炸。
解决了控制问题： 他们将这些新尺子应用于一个经典的控制问题——线性二次调节器（LQR）。这是控制诸如双摆或顶杆小车等系统的标准测试。
- 当他们使用旧的 KL 尺子配合极小的噪声时，控制器（机器人的“大脑”）会放弃并停止反应。机器人变得不稳定，并剧烈摇晃。
- 当他们使用新的 Kalman-Wasserstein 尺子时，控制器能够持续工作。即使在“完全安静”的极限情况下，它也能保持对机器人的稳定控制。
现实世界的案例： 他们在“双积分器”（一个简单的运动物体模型）和“倒立摆”（一个经典的平衡动作）上测试了这些方法。在所有噪声较低的情况下，新方法都比旧方法产生了更平滑、更稳定的运动。

核心结论

该论文声称，通过将旧的、脆弱的数学工具（KL 散度）替换为这些新的、“状态空间感知型”的工具，我们可以构建出不会在世界变得过于可预测时崩溃的控制系统。

他们并不是在声称已经制造出了新的机器人或新的自动驾驶汽车 AI 算法。相反，他们提供了一个更好的数学基础（一种衡量“差异”和“努力”的新方法），这种基础可以防止控制系统在低噪声情况下崩溃。他们证明了这一新基础在标准控制测试中能带来更好、更稳定的性能。

技术摘要：基于 Wasserstein 与 Kalman–Wasserstein KL 散度的良定 KL 正则化控制

1. 问题陈述

Kullback–Leibler (KL) 散度是强化学习 (RL) 和最优控制中的标准正则项，出现在线性可解马尔可夫决策过程、路径积分控制和置信区域方法中。然而，经典的 KL 散度在低噪声机制下表现出一种关键的病态特性。当比较受控动力学与具有微小高斯过程噪声的被动动力学时，KL 惩罚项会退化为一个系数与噪声协方差成反比的二次控制代价。随着噪声协方差趋于零（确定性极限），该惩罚项会趋于无穷大，导致正则化控制问题变得奇异。这种“低方差不稳定性”会导致最优反馈增益消失，从而导致闭环性能低下以及在确定性或近确定性设置下的不稳定。

此外，经典的 KL 散度是通过 Fisher–Rao 几何定义的，这虽然是统计流形的内在属性，却忽略了底层状态空间的几何结构。因此，KL 对支撑集不匹配（例如，对于任何 $x \neq y$ ，有 $KL(\delta_x | \delta_y) = \infty$ ）反应是不连续的，未能编码状态之间的距离。

2. 方法论

作者提出了一个统一的信息几何框架，用于构建“感知状态空间”的 KL 变体。其核心方法论涉及在动力学公式中，用基于传输的几何取代 Fisher–Rov 几何。

2.1 几何框架

论文定义了一类基于概率密度流形上黎曼几何 $G$ 的广义散度 $D_G$ 。

动力学公式： 散度被定义为沿 $G$ -对偶测地线的加权时间作用量积分：
$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$
其中 $\gamma$ 是 $G$ -对偶测地线。
几何选择： 作者研究了用以下几何替换 Fisher–Rao 度量 ($G=FR$) 的情况：
- Wasserstein-2 ( $G=O$ ): Otto 度量，编码状态空间几何。
- 线性化 Wasserstein ( $G=\dot{H}^{-1}$ ): 一种平坦结构。
- **Kalman–Wasserstein ($G=KW $):** 一个结合了正则化参数$ \lambda$ 和协方差信息的度量。
- Stein 几何: 使用双线性核。

2.2 理论推导

对偶测地线： 作者将 $G$ -对偶测地线表征为势能泛函的度量梯度流。
闭式表达式： 他们推导了这些散度在椭圆分布（包括高斯分布和 Student's $t$ $t$ -分布在内的一类分布）之间的显式公式。
- 对于 Wasserstein 情况 ($WKL$)，即使在协方差退化时，散度依然保持有限。
- 对于 Kalman–Wasserstein 情况 ($KWKL $)，该散度通过正则化参数$ \lambda$ 引入了一个“噪声底”，有效地在经典 KL 和 Wasserstein KL 之间进行插值。

2.3 控制应用

所提出的散度被应用于带有高斯过程噪声的线性二次调节器 (LQR) 问题。

正则化项： 受控转移分布 $p_t$ 与不受控分布 $p_0$ 之间的散度产生了一个加性的二次控制惩罚项 $u_t^\top R_\circ u_t$ 。
控制惩罚：
- 经典 KL ($FR $):$ R_{FR} = B^\top \Sigma_w^{-1} B $（当$ \Sigma_w \to 0$ 时是奇异的）。
- Wasserstein ( $O$ ): $R_O = B^\top B$ （独立于噪声）。
- Kalman–Wasserstein ($KW $):$ R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B $（当$ \Sigma_w \to 0$ 时是有限的）。

3. 主要贡献

通用构造： 引入了 $G$ -对偶测地线及相关的散度 $D_G$ ，适用于任意几何，恢复了针对 Fisher–Rao 的经典 KL 以及针对传输几何的感知状态空间变体。
梯度流表征： 证明了 $G$ -对偶测地线对应于势能的度量梯度流，将这些散度与几何优化和平均场神经网络动力学联系起来。
显式公式： 推导了椭圆分布在 Wasserstein、线性化 Wasserstein 和 Kalman–Wasserstein 几何下的 $D_G$ 闭式表达式。这些公式明确展示了传输型几何如何纳入了经典 KL 所缺失的状态空间信息。
良定控制： 证明了在 LQR 设置中，当过程噪声消失时，Wasserstein 和 Kalman–Wasserstein 正则化项保持有限，从而产生了经典 KL 失效时的良定最优控制问题。
经验验证： 通过对双积分器和倒立摆系统的分析表明，所提方法保留了非平凡反馈，并在低噪声机制下相比 KL 正则化控制实现了更好的闭环性能。

4. 结果

理论极限： 在噪声消失的极限下 ( $\Sigma_w \to 0$ )，经典 KL 正则化 ( $F_{FR}$ ) 的最优反馈增益收敛于零，实际上移除了控制。相比之下，Kalman–Wasserstein 增益 ( $F_{KW}$ ) 收敛于一个非零极限（具体为 $F_O$ ），保留了稳定反馈。
插值： Kalman–Wasserstein 散度 ( $D_{KW}$ ) 作为一个由参数 $\lambda$ 控制的、在经典 KL（高噪声）和 Wasserstein KL（低噪声）之间的平滑插值器。
稳定性： 在双积分器的实验中显示，随着噪声减小，KL 正则化控制器趋向于稳定性边界（谱半径 $\to 1$ ），导致产生大幅振荡。而 WKL 和 KWKL 控制器保持谱半径远低于 1，确保了稳定性。
各向异性噪声： 在各向异性噪声场景下，KWKL 会进行方向性自适应，将低噪声维度视为 WKL（忽略噪声规模），将高噪声维度视为 KL（随噪声缩放），而 KL 则会在低噪声维度中完全抑制控制。

5. 意义与主张

本文声称，所提出的感知状态空间的散度为 KL 正则化的低噪声退化问题提供了一个原则性的解决方案，且无需对 RL 算法进行彻底重构。通过用基于传输的几何取代 Fisher–Rao 几何，作者实现了：

鲁棒性： 控制问题在确定性极限下保持良定。
几何一致性： 正则项尊重底层的状态空间几何，避免了 KL 在支撑集不匹配方面的非连续行为。
实际效用： 推导出的闭式表达式允许将其立即集成到用于连续控制的标准 LQR 和高斯策略框架中。

作者将这项工作定位为构建 KL 型散度的几何框架，而非完整的深度强化学习算法。他们指出，尽管已在易于处理的 LQR 设置中得到了验证，但下一步的逻辑步骤是在模型无关（model-free）和基于模型（model-based）的强化学习中进行经验评估。该工作由欧洲研究委员会 (ERC) 下的 NEITALG 项目资助。