💻 computer science

PISTO: Proximal Inference for Stochastic Trajectory Optimization

本文介绍了 PISTO，一种无导数随机轨迹优化算法，该算法通过近端变分推断框架稳定更新，在机械臂和运动基准测试中，相较于 STOMP、CHOMP、CEM 和 MPPI 等现有方法，实现了更高的成功率、更优的路径质量和更快的速度。

原作者： Hongzhe Yu, Zinuo Chang, Yongxin Chen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongzhe Yu, Zinuo Chang, Yongxin Chen

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机械臂如何拿起一杯咖啡，既不洒出，也不碰倒花瓶。这是一个“运动规划”问题。机器人需要在一间杂乱的房间里找出完美的路径。

本文介绍了一种名为PISTO（随机轨迹优化的近端推断）的新方法，旨在帮助机器人解决这一难题。其工作原理如下，简明解释：

问题所在：“盲目”的机器人

旧有的机器人规划方法，就像在黑暗中摸索墙壁行走。

基于梯度的方法（如 CHOMP）： 这就像一位只能感知脚下地面坡度的徒步者。如果身处一个小凹陷处（局部极小值），他们就会被困住，误以为已到达谷底，即便附近还有更深的山谷。如果地面崎岖不平或破碎（不可微的成本函数），他们也会感到困惑。
随机方法（如 STOMP）： 这就像向地图扔一把飞镖，看它们落在哪里。你投掷许多随机路径，观察哪些避开了墙壁，然后取平均值以找到更好的路径。这种方法很棒，因为它能处理“崎岖”的成本（如突发的碰撞），但它可能有些不稳定，且收敛到最佳答案的速度较慢。

重大发现：STOMP 是一场“猜谜游戏”

作者们意识到，现有的“扔飞镖”方法（STOMP）实际上是在玩一种名为变分推断的特定游戏。

类比： 想象你拥有一张所有可能路径的“完美”地图，但它被隐藏了。你只知道好路径是“高概率”的，坏路径是“低概率”的。STOMP 试图通过观察其当前的猜测，来推测这张隐藏地图的形状。
作者们证明，STOMP 隐式地试图利用一种名为KL 散度的数学标尺，使其当前的猜测尽可能接近“完美”地图。

解决方案：PISTO（“信任区域”教练）

作者们基于这一发现构建了 PISTO。他们为过程添加了一位“教练”，以防止机器人做出狂野且不稳定的猜测。

“近端”技巧： 想象你正在改进你的高尔夫挥杆。如果你试图一次性改变整个站姿，可能会摔倒。相反，你应该做出微小、受控的调整，确保不要偏离当前稳定的位置太远。
在 PISTO 中，这被称为近端项或信任区域。它告诉机器人：“你可以探索新路径，但不要偏离当前位置太远。”
这就像一个安全网。它防止机器人迈出可能导致撞墙的巨大且冒险的步伐，迫使其朝着目标迈出稳健可靠的步伐。

实际运作方式

扔飞镖： 机器人在其当前最佳猜测周围生成许多随机路径。
评分： 它检查哪些路径撞到了障碍物（坏），哪些路径平滑（好）。
“近端”过滤器： PISTO 不使用简单的平均法，而是使用一种特殊的数学公式（重要性加权），该公式强烈偏向那些既好又接近当前猜测的路径。
更新： 它基于这种加权平均值计算出一条新的、更好的路径。

结果：更快更智能

本文在两类挑战中测试了 PISTO：

机械臂规划： 在一项测试中，机械臂试图穿过杂乱的房间（如厨房或书架），PISTO 的成功率达到了89%。
- 与旧方法相比：CHOMP 的成功率为 63%，STOMP 为 68%。
- PISTO 的速度也是其他随机路径方法的两倍。
复杂运动（MuJoCo）： 他们在一个人形机器人（“Humanoid”）尝试行走、奔跑和站立的数字模拟中进行了测试。这些任务很难，因为机器人的脚与地面的接触方式非常复杂（富含接触）。
- PISTO 持续获得比其他顶级方法（如 CEM 和 MPPI）更高的奖励分数（表现更好）。
- 它成功将其他方法失败的任务（PushT）转变为成功。

总结

将 PISTO 想象成一位聪明且谨慎的探险家。

旧方法要么太僵化（困在小凹陷中），要么太鲁莽（漫无目的地游荡）。
PISTO 理解“游戏规则”（变分推断），并利用“安全牵引绳”（近端推断）来高效地探索环境。
结果是，机器人能找到更好的路径，更频繁地避免碰撞，并在一半的时间内完成任务。

技术摘要：PISTO——随机轨迹优化的近端推断

问题陈述

随机轨迹优化方法（如 STOMP，即用于运动规划的随机轨迹优化）通过处理不可微和间断的成本函数（例如碰撞惩罚），相较于基于梯度的方法提供了显著的灵活性。然而，STOMP 更新规则的理论基础一直有些晦涩不明，且该算法可能遭受不稳定的优化动力学影响。虽然 STOMP 通过采样有效地平滑了成本景观，但有必要理解其隐式目标，并引入机制以稳定迭代更新，特别是在复杂、非凸的环境中。

方法论

理论基础：STOMP 作为变分推断

作者首先建立了 STOMP 与变分推断（VI）之间的理论联系。他们证明，STOMP 隐式地最小化了提议高斯分布 $N(Y, \Sigma)$ 与目标玻尔兹曼轨迹分布 $Y^\star \propto \exp(-S(\tilde{Y}))N(0, R^{-1})$ 之间的反向 Kullback-Leibler (KL) 散度。其中， $S(\tilde{Y})$ 表示累积的状态相关成本（例如避障），而 $N(0, R^{-1})$ 充当高斯平滑先验。这一重构表明，STOMP 的成本加权平均等价于变分推断框架内的矩匹配解。

PISTO 算法

基于这一变分推断解释，本文提出了随机轨迹优化的近端推断（PISTO）。其核心创新在于在变分推断目标中增加了近端正则化项。

近端公式：PISTO 不是直接最小化到目标的 KL 散度，而是求解一个近端更新问题：
$Y_{k+1} = \arg \min_Y \left[ D_{KL}(N(Y, \Sigma) \parallel Y^\star) + \frac{1}{\eta} D_{KL}(N(Y, \Sigma) \parallel N(Y_k, \Sigma)) \right]$
其中 $\eta$ 是步长参数。该公式具有信任域解释，通过惩罚与当前迭代点 $Y_k$ 的大偏差来确保稳定的收敛。
代理分布：近端更新被证明等价于最小化到代理分布 $Y^\star_k$ 的 KL 散度。该代理分布是真玻尔兹曼目标与当前高斯近似之间的几何插值。
通过重要性采样实现闭式更新：近端问题的解是一个矩匹配更新，其中新均值 $Y_{k+1}$ 是代理分布的期望。由于通常难以直接从代理分布中采样，PISTO 采用重要性加权蒙特卡洛采样。
- 样本从以当前迭代点为中心的高斯提议分布中抽取。
- 权重基于成本函数和近端项计算。
- 更新是这些样本的加权平均。
无导数特性：关键在于，该算法仅需评估成本函数 $S(\cdot)$ ，因此是无导数的。它继承了 STOMP 处理不可微和间断成本的能力，无需修改。
扩展：
- 富含接触的任务：该框架被扩展到具有复杂动力学系统（例如 MuJoCo）的动作空间策略优化中，其中状态轨迹由从控制序列滚动动力学决定。
- 退火：该方法利用自适应协方差调度（余弦退火）和近端步长退火方案来平衡探索与利用。还采用精英集选择机制，通过关注低成本样本来降低方差。

主要贡献

理论洞察：本文揭示了 STOMP 隐式地最小化来自玻尔兹曼轨迹分布的反向 KL 散度，为该算法建立了清晰的变分推断结构。
PISTO 算法：作者提出了 PISTO，它在连续的高斯提议之间引入了近端惩罚（KL 正则化）。这提供了一种信任域解释，稳定了优化动力学。
闭式无导数更新：近端公式产生了可通过重要性加权蒙特卡洛采样计算的闭式均值更新。这产生了一个简单、无导数的算法，在保持灵活性的同时提供了原则性的稳定性保证。

实验结果

运动规划基准测试

PISTO 在 MoveIt 框架下，于七个操作环境（例如厨房、书架、箱子）中的机械臂运动规划基准测试中进行了评估。

成功率：PISTO 实现了89% 的成功率，显著优于 CHOMP（63%）、STOMP（68%）和自然梯度下降（76%）。
效率：PISTO 的运行速度比竞争性的随机方法快约两倍，同时生成了更短、更平滑的路径。
指标：与基线相比，它在路径净空和规划时间方面表现出更优越的性能。

富含接触的 locomotion 和操作

该算法在涉及复杂接触动力学的 MuJoCo 任务（例如 PushT、人形机器人跑步、人形机器人站起）上进行了测试。

奖励表现：在所有测试任务中，PISTO 在奖励方面始终优于交叉熵方法（CEM）和模型预测路径积分（MPPI）基线。值得注意的是，它将 MPPI 在 PushT 任务上的负奖励（-0.17）转化为正奖励（0.46）。
速度：PISTO 表现出显著的速度提升，在大多数任务上比基线快 1.4 倍至 3.2 倍（例如，人形机器人跑步任务中为 36.5 秒对比约 115 秒）。
鲁棒性：该方法在几分钟内成功解决了高维（17 自由度）人形机器人任务，验证了其在具有不连续接触的混合动力学系统中的鲁棒性。

意义与主张

本文主张，PISTO 代表了随机轨迹优化的一项原则性进步，它统一了基于采样方法的灵活性与近端推断的稳定性。通过揭示 STOMP 的变分结构，作者为算法改进提供了理论基础。所得算法因其以下特点而受到强调：

简单且无导数：无需修改即可处理不可微成本。
稳定：近端公式防止了过于激进的步骤，确保在非凸景观中的可靠收敛。
高效：它在标准运动规划基准测试和具有挑战性的富含接触控制任务中均实现了最先进的成功率和速度。

作者总结道，PISTO 为复杂机器人系统中的轨迹优化提供了一种鲁棒的解决方案，并建议未来的工作包括在可用时引入梯度，并将该方法扩展到滚动时域模型预测控制（MPC）。