🔢 mathematics

Sampling-Based Control via Entropy-Regularized Optimal Transport

本文介绍了 OT-MPC，这是一种基于采样的模型预测控制算法，它利用熵正则化最优传输，通过计算控制序列与低成本提议之间的最优耦合，克服了现有方法的模式平均局限性，从而提升了复杂非线性机器人任务中的实时性能与成功率。

原作者： Vincent Pacelli, Akash Ratheesh, Evangelos A. Theodorou

发布于 2026-05-05

📖 1 分钟阅读🧠 深度阅读

原作者： Vincent Pacelli, Akash Ratheesh, Evangelos A. Theodorou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何穿过一个布满障碍物的拥挤房间，或者如何将一个沉重的箱子推到特定位置。机器人需要找出最佳路径，而不撞到任何东西。

在机器人领域，存在一些现有方法（如 MPPI 和 CEM），它们就像一群“探险家”。它们抛出数百个随机的“如果……会怎样”场景（轨迹），以查看哪些效果最好。

旧方法的缺陷：“平均错误”

旧方法有一个有趣的缺陷。想象机器人正试图绕过一根巨大的柱子。

场景 A：50 名探险家建议从柱子的左侧走过。
场景 B：50 名探险家建议从柱子的右侧走过。

两边都是好主意！但旧方法会对所有这些建议进行简单的平均。它们指示机器人径直走向柱子的正中间。这就像将“向左走”的指令与“向右走”的指令取平均值，结果变成了“径直撞向墙壁”。这被称为模式平均，会导致机器人在复杂情况下失败。

另一种方法试图通过只听取“精英”（最佳）探险家的意见来解决这个问题。但这就像一位独裁者只选择一条路径，并拒绝考虑任何其他路径，导致机器人一旦那条路径变成死胡同就会陷入困境。

新解决方案：OT-MPC（智能媒人）

本文的作者介绍了一种名为OT-MPC的新算法。他们不再仅仅进行平均或挑选获胜者，而是使用了数学中的一个概念，称为最优传输。

这可以看作是为机器人的想法提供的一项智能媒人服务：

候选人：机器人拥有一组潜在路径（即“候选人”）。
提议：它还生成一堆新的随机想法（即“提议”）。
匹配：算法不是对所有人进行平均，而是问：“哪个具体的提议与候选人 A 最接近且最有帮助？哪个提议能帮助候选人 B？”

它在候选人与最佳邻近提议之间建立了一种耦合（链接）。

如果一个候选人靠近“向左走”的提议，它就会被轻轻推向左侧。
如果另一个候选人靠近“向右走”的提议，它就会被推向右侧。

这使得机器人能够同时保持多个良好选项的活力。它不会将它们平均成一次碰撞，而是对每条路径进行局部优化。如果“左侧”路径被阻塞，机器人可以平滑地将焦点转移到“右侧”路径，而不会迷失方向。

它是如何工作的（“Sinkhorn"魔法）

为了在机器人实时使用所需的时间内（毫秒级）完成这种匹配，作者使用了一种名为Sinkhorn 算法的数学技巧。

想象你有一堆杂乱的信件（候选人）和一堆地址（提议）。你需要将它们分类，使每封信都送到正确的地址，但你希望以最小的精力完成。Sinkhorn 算法就像一种超快速、自动化的分拣机，即使它们之间的“距离”发生变化，也能找出将它们配对的最有效方式。

测试场景

团队在几种现实场景中测试了这种新的“媒人”机器人与旧的“平均”机器人：

驾驶汽车穿过茂密的障碍物森林（旧机器人不断撞树）。
无人机在杂乱的房间中飞行。
两架无人机协同工作，将重物穿过墙上的一个小孔（协调至关重要）。
机器狗（Unitree Go2）推箱子或爬斜坡。

结果

在几乎每一项测试中，新的OT-MPC机器人都取得了更大的成功。

在“困难”的障碍课程中，旧机器人约有 80% 的时间失败，因为它因选择过多而感到困惑。
新机器人约有 90-95% 的时间成功，因为它能够保持选项开放，并在局部进行优化而不会陷入困境。

结论

该论文声称，通过改变机器人整合其想法的方式——从简单的“平均”转变为“智能、几何感知的匹配”——它可以解决过去无法解决的复杂问题。这就像从一个投票决定单一、模糊妥协方案的委员会，升级为一群各自完善其独特解决方案的专家团队，确保机器人不会仅仅因为一半团队说“左”而另一半说“右”，就径直撞向墙壁。

技术摘要：基于熵正则化最优传输的采样控制

问题陈述

基于采样的模型预测控制（MPC）方法，如模型预测路径积分（MPPI）和交叉熵方法（CEM），被广泛用于非线性机器人系统的实时控制，特别是在梯度不可用或动力学不连续的场景中。然而，这些方法依赖于信息论目标（如 KL 散度），对控制空间的几何结构缺乏感知。

这种几何无感知性导致了两种主要的失效模式：

模式平均（Mode-Averaging）： MPPI 通过加权平均聚合样本。在复杂的多模态成本景观中（例如绕过障碍物），这会导致控制指令混合不同的局部极小值，往往使机器人直接撞向障碍物，而不是选择一条有效的绕行路径。
模式搜索（Mode-Seeking）： CEM 通过选择“精英”样本避免平均，但这会激进地锁定单一模式，限制探索，并可能导致算法为了局部最优而忽略可行的解决方案。

现有的解决方案通常依赖于事后启发式方法（如退火调度、协方差自适应），这些方法并未从根本上改变变分目标。本文认为，需要将空间信息纳入优化过程，这需要一次基础性的转变。

方法论：OT-MPC 与 Sinkhorn 坐标下降

作者提出了OT-MPC（最优传输 MPC），这是一种基于采样的算法，源自**熵正则化最优传输（EOT）**公式。OT-MPC 不再最小化信息论散度，而是最小化候选控制序列与低成本提议之间传输概率质量的成本，明确融入了几何邻近性。

核心算法：Sinkhorn 坐标下降（SCD）

优化引擎是Sinkhorn 坐标下降（SCD），这是一种无梯度算法，利用 $M$ 个提议将 $N$ 个粒子（候选控制序列）演化为目标分布。

公式化： 该问题被表述为寻找粒子 $z$ 与提议 $y$ 之间的最优耦合 $\Gamma$ ，以最小化由熵 $H(\Gamma)$ 正则化的传输成本 $c(z, y)$ 。
交替优化：
- 耦合更新： 给定固定的粒子，利用Sinkhorn 算法高效计算最优耦合 $\Gamma$ 。这一步同时考虑了提议的成本以及粒子与提议之间的几何距离。
- 粒子更新： 给定耦合后，更新粒子。对于二次成本，此更新具有闭式解：每个粒子向其耦合提议的加权质心移动。
- 松弛： 使用步长参数 $\eta$ 来稳定更新，特别是在每次迭代重新采样提议时。
提议分布： 为了平衡探索与利用，提议从混合分布中采样：比例 $\rho$ 从全局分布（如均匀分布或宽泛的高斯分布）中抽取，其余部分则是现有粒子的局部扰动。

关键理论性质

双凸性： 目标函数在粒子和耦合方面是双凸的，确保子问题具有唯一解。
单调下降： 该算法保证目标值序列非增。
收敛性： 迭代收敛至平稳点。
泛化性： SCD 泛化了 MPPI；在粒子数 $N=1$ 或正则化 $\epsilon \to \infty$ 的极限情况下，SCD 恢复标准的 MPPI 重要性加权平均。

主要贡献

算法创新： 提出了 SCD 并将其实例化为 OT-MPC。与现有的采样方法不同，SCD 基于成本和几何邻近性更新粒子，从而在保持跨模式多样性的同时实现局部细化。
理论保证： 建立了 SCD 的理论性质，包括单调下降、收敛保证，以及针对二次成本（以及其他特定成本函数，如圆形距离和 Log-Euclidean 度量）的闭式更新。
实证验证： 证明了 OT-MPC 在多样化的机器人任务中，特别是在具有多模态成本景观的任务中，其成功率高于 MPPI、CEM 和 Stein 变分 MPC（SV-MPC）。

实验结果

作者在导航、操作和移动任务中评估了 OT-MPC，并将其与 MPPI、CEM 和 SV-MPC 进行了比较。

汽车避障（运动学自行车）： 在密集障碍物场（“困难”设置）中，OT-MPC 的成功率为93.5%，而 MPPI 为88.5%。在 MPPI 因模式平均而表现不佳的复杂环境中，性能差距进一步扩大。
2D Push-T（接触丰富的操作）： OT-MPC 实现了**76%**的成功率，显著优于 MPPI（4%）和 CEM（46%）。SV-MPC 完全失败（0%），原因是混合接触动力学中缺乏可微梯度。
四旋翼避障（12 自由度）： 在中等和困难密集障碍物设置中，OT-MPC 的成功率分别为100%和92%，而 MPPI 分别为60%和19%。MPPI 经常无法找到可行路径，陷入局部极小值。
协作负载搬运（两个四旋翼）： 在需要通过狭窄墙壁开口的精确协调任务中，OT-MPC 在“困难”设置下的成功率为75%，而 MPPI 仅为10%。狭窄的瓶颈加剧了 MPPI 的模式平均问题，破坏了协调性。
Franka Push-T（3D 操作）： OT-MPC 实现了**66%**的成功率，与经过大量调优的 MPPI（64%）相当，但所需的超参数调优工作量显著减少。
四足移动（Unitree Go2）： OT-MPC 表现出更高的效率，在爬坡和推箱子任务中，达到目标所需的平均步数少于 MPPI。

计算开销： 虽然 Sinkhorn 步骤增加了计算成本（OT-MPC 为 $O(NM)$，而 MPPI 为 $O(M)$ ），但作者报告称 OT-MPC 通常能达到相当甚至更快的实际运行时间。这是因为传输耦合从每个样本中提取了更多信息，使得算法能够使用更少的提议（ rollout）来实现收敛。

意义与主张

本文声称，OT-MPC 通过将 KL 散度替换为最优传输目标，解决了信息论采样方法的根本局限性。这一转变使控制器能够：

保留模式： 避免在多模态环境中导致碰撞的“模式平均”。
协调更新： 在将候选者向有希望的局部区域细化的同时，保持集合的多样性。
无需梯度运行： 与 MPPI 类似，保持与黑盒仿真器和非平滑动力学的兼容性。

作者将 OT-MPC 定位为不仅仅是启发式的改进，而是基于采样控制如何聚合信息的基础性变革，利用控制空间的几何结构，在复杂、接触丰富且高维的机器人任务中实现鲁棒性能。他们承认了局限性，例如探索依赖于提议的覆盖范围，以及需要仔细调整熵正则化参数 $\epsilon$ ，但断言该方法为现有的最先进采样控制器提供了一种有原则的替代方案。