⚡ electrical engineering

Sampling-based Model Predictive Control Using Trust Regions

本文提出了一种基于采样的模型预测控制的原理性信任域公式，以最优KL散度约束更新取代启发式超参数调整，在与确定性局部累积分布采样结合时显著提升了采样效率和收敛速度。

原作者： Markus Walker, Marcel Reith-Braun, Daniel Frisch, Uwe D. Hanebeck

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Markus Walker, Marcel Reith-Braun, Daniel Frisch, Uwe D. Hanebeck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何驾驶汽车穿过复杂的障碍赛道。机器人需要找出从A点到B点而不发生碰撞的完美转向和油门操作序列，同时尽可能少地消耗燃料。这是一个经典的“最优控制”问题。

本文介绍了一种更智能的新方法，让机器人学习这些操作，特别是针对一种称为**模型预测控制（MPC）**的方法。以下是他们方法的分解，使用简单的类比来说明。

旧方法：用“魔法旋钮”进行猜测与检查

传统上，机器人使用一种方法，生成成千上万个随机的驾驶计划（样本），在模拟中测试它们，并保留最好的那些。为了决定哪些计划“足够好”可以保留，它们使用一个“温度”旋钮（超参数）。

问题：如果旋钮设置得太高，机器人就会过于懒惰，尝试随机且疯狂的操作；如果设置得太低，机器人就会过于谨慎，不敢尝试任何新事物，从而陷入停滞。
缺陷：工程师通常必须猜测如何设置这个旋钮，或者基于试错手动调整它。这就像每次烤蛋糕时都靠猜测来设定烤箱温度，而不是使用温度计。

新方法：“信任区域”

作者提出用信任区域来取代这种猜测。

想象你在一片黑暗的森林中导航。你有一盏手电筒（你当前的最佳猜测）。

约束：与其盲目地跳入未知领域，你同意只采取那些保持在当前位置一定距离内的步骤。你不想迈出可能让你坠崖的巨大一步。
数学原理：他们使用一种称为KL散度的数学规则，来精确衡量新猜测与旧猜测之间的距离。他们设定了一个严格的“预算”，限制机器人策略在一次步骤中允许变化的幅度。
优势：这消除了对“魔法旋钮”的需求。数学会自动计算出需要做出的完美变化量，确保机器人稳步学习，而不会做出危险且 erratic 的跳跃。这就像拥有一个能根据路况自动调整速度的GPS，而不是靠你猜测。

秘密武器：“确定性”样本

本文还改进了机器人生成随机猜测的方式。

随机采样（旧方法）：想象向靶子投掷飞镖。有时飞镖会聚集在某个角落，而其他区域则留下大片空白。你可能仅仅因为飞镖运气不好而错过了靶心。
LCD采样（新方法）：作者使用一种称为**局部累积分布（LCD）**的方法。想象你不是随机投掷飞镖，而是仔细地将它们放置在一个完美间隔的网格中，从而均匀地覆盖靶子的每个部分。
结果：机器人用更少的尝试次数就能获得对问题的更清晰“视野”。这就像使用高分辨率扫描仪，而不是模糊的随机快照。

整合应用：“信任区域 + 网格”策略

本文结合了这两个想法：

信任区域：机器人谨慎且合乎逻辑地改变其策略，而不是随机改变。
LCD采样：机器人使用完美间隔的可能性网格来审视问题。

结果：
当他们在两个经典的机器人挑战（将杆子摆动至直立状态，以及将卡车倒车入库）中测试该方法时，发现：

更快的学习：机器人用更少的尝试次数（样本）和更少的迭代轮次达到了目标。
更好的性能：它找到了更平滑、更高效的路线。
效率：这在计算机时间和算力有限的情况下尤其有帮助。新方法即使在只允许进行少量猜测的情况下，也能获得更好的结果。

总结

简而言之，作者用数学上保证的“安全步骤”方法取代了机器人控制器的“猜测与检查”式调整，并使机器人的猜测更加有序、更少随机。其结果是，机器人学习得更快，使用的计算资源更少，驾驶也更加平稳。

技术摘要：基于信任区域的采样模型预测控制

问题陈述

基于采样的模型预测控制（MPC）算法，如交叉熵法（CEM）和模型预测路径积分（MPPI），通过在控制序列上迭代优化提议概率密度函数（PDF）来解决最优控制问题。这些方法抽取样本、评估轨迹成本并更新提议参数。然而，当前方法严重依赖启发式策略进行超参数调整，例如：

温度参数：在 MPPI 中用于控制重要性加权的锐度，通常保持恒定或通过启发式方式调整。
动量/平滑：在 CEM 和迭代 MPPI 中用于防止提议分布过早坍缩。

这些启发式方法难以调节，且可能在不同问题设置下损害收敛性或性能。此外，标准随机采样效率低下，需要大量样本才能实现平滑的控制轨迹和可靠的收敛，特别是在低样本和低迭代次数的情况下。

方法论

作者提出了一个原则性框架，用源自对偶优化的信任区域公式取代启发式超参数调节。

1. 信任区域公式

该方法的核心是利用 Kullback–Leibler (KL) 散度界限，约束提议分布 $f_{j+1}$ 相对于前一分布 $f_j$ 的更新。优化问题定义如下：
$\min_{f_{j+1}} \mathbb{E}_{f_{j+1}}[J(\bar{\xi})]$
约束条件为：

$D_{KL}(f_{j+1} \| f_j) \leq \epsilon$ （信任区域约束）
$H(f_{j+1}) \geq H_{min}$ （可选的熵下界，以防止坍缩）
归一化约束

其中， $J(\bar{\xi})$ 是累积成本， $\epsilon$ 是允许的最大散度， $H_{min}$ 是最小所需熵。

2. 对偶优化与权重推导

该约束问题利用拉格朗日乘子（ $\eta$ 对应 KL， $\alpha$ 对应熵， $\nu$ 对应归一化）求解。通过对拉格朗日量取泛函导数，作者推导出了最优提议分布：
$f^*_{j+1}(\bar{\xi}) = \frac{1}{Z_{\eta,\alpha}} f_j(\bar{\xi})^{\frac{\eta}{\eta+\alpha}} \exp\left(-\frac{J(\bar{\xi})}{\eta + \alpha}\right)$
最优拉格朗日乘子 $\eta^*$ 和 $\alpha^*$ 通过数值求解对偶最大化问题获得。该过程生成了采样轨迹的最优权重，无需手动调节。当熵约束未激活时（ $\alpha^*=0$ ），该公式与标准 MPPI 加权一致，但其推导是最优的而非启发式的。

3. 投影与采样

由于最优的 $f^*_{j+1}$ 通常是非高斯的（除非 $\alpha^*=0$ ），因此通过矩匹配将其投影回原始参数族（例如高斯分布）。加权经验均值和协方差用于更新下一轮的提议参数。

4. 算法增强

为了进一步提高效率，作者集成了**确定性局部累积分布（LCD）**采样：

LCD 采样：使用预计算的确定性样本来最优地表示标准正态分布。
变换：这些样本通过缩放和随机旋转矩阵（从 $SO(d_\xi)$ 中抽取）映射到当前提议参数，在保持最优性的同时引入必要的随机性。
缓冲：缓冲区保留来自先前迭代的最佳轨迹，以优化初始状态。
时间相关协方差：应用固定的相关结构（有色噪声）以鼓励平滑的控制轨迹，仅在优化过程中更新边缘方差。

主要贡献

原则性信任区域更新：本文引入了一种基于 KL 约束的更新规则，用于基于采样的 MPC，消除了对启发式温度或动量调节的需求。超参数被推导为对偶优化问题的最优解。
与确定性采样的集成：信任区域更新与确定性 LCD 采样相结合。这种组合被证明能提高样本效率和收敛性，特别是在计算预算有限（低样本计数和少迭代次数）的情况下。
全面评估：该方法在两个基准环境中，使用随机、低差异（Sobol, Halton）和确定性 LCD 采样策略，与启发式基线（MPPI 和 CEM）进行了评估。

实验结果

所提出的方法在两个环境中进行了测试：倒立摆摆动上升（Cart-Pole Swing-Up）和卡车倒车（Truck Backer-Upper）。

样本效率：在低样本区域（例如 $N < 100$ ），信任区域变体始终比启发式变体实现更低的累积成本。信任区域与 LCD 采样的组合（dsTR）优于所有其他方法，包括 dsCEM 和启发式 MPPI。
收敛性：信任区域变体表现出更快的收敛速度，用更少的迭代次数达到更低的累积成本中位数。在卡车倒车任务中，启发式变体即使经过十次迭代也无法达到信任区域变体所实现的成本，而信任区域变体仅需三次迭代即可达到。
控制平滑度：dsTR 方法通常实现了低成本和高平滑度的最佳平衡。虽然某些带有随机采样的启发式变体在特定的倒立摆场景中显示出略微更平滑的控制，但 dsTR 保持了更优越的整体性能。
运行时间：由于额外的对偶优化步骤，信任区域更新每一步的计算成本高于启发式方法。然而，改进的样本效率意味着达到目标性能所需的样本更少，这可以抵消运行时间成本，特别是在并行硬件上。

意义与主张

作者声称，所提出的信任区域公式为基于采样的 MPC 中的启发式参数调整提供了一种原则性替代方案。通过从约束优化问题中推导更新权重，该方法确保了稳定的学习，并防止了可能损害性能的激进更新。

本文强调，信任区域更新与确定性 LCD 采样的结合对于资源受限的应用特别有效。它在低样本和低迭代次数的情况下实现了更快的收敛和更好的样本效率，同时不牺牲控制平滑度。作者建议，这种方法非常适合对可靠收敛和样本效率至关重要的现实世界应用，并指出减少所需样本量可直接转化为并行硬件上计算时间的减少。