💻 computer science

PRISM: PRior-guided Imagination Sampling in world Models

PRISM 是一个轻量级、任务无关的框架，它通过直接从冻结的 JEPA 式世界模型中提取状态条件动作先验，并利用无参数的高斯乘积（Product-of-Gaussians）更新将其集成到采样过程中，从而增强了连续控制规划，在不增加架构冗余或推理开销的情况下显著提高了成功率。

原作者： Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人将一个方块推到桌上的特定位置。为了完成这个任务，机器人需要一个“世界模型”——一个心理模拟过程，让它能够想象：“如果我向左推，方块会到这里；如果我向右推，方块会到那里。”

问题不在于机器人无法想象未来，而在于它首先要决定去想象什么。

问题所在：在黑暗中盲目射击

目前，大多数机器人使用“世界模型”来进行规划，但它们的规划过程是从盲目猜测开始的。这就像是在一个巨大的、漆黑的仓库里寻找一把特定的钥匙。

旧方法（原生 MPPI）： 机器人从空中随机投掷数千把钥匙（候选动作），希望能有一把正好落在锁孔里。它检查每一把，保留那些看起来有希望的，然后再次尝试。这虽然可行，但既慢又浪费。它需要投掷数百把钥匙才能找到正确的那把。
缺陷： 机器人忽略了它已经通过过去的经验学会了如何移动这一事实。它丢弃了在学习观察世界时所获得的“直觉”。

解决方案：PRISM（直觉引导）

作者提出了 PRISM，其全称为 PRior-guided Imagination Sampling（先验引导的想象采样）。

把 PRISM 想象成在机器人开始投掷钥匙之前，给了它一把手电筒和一张心理地图。

同一个大脑，两项任务： 机器人使用与其学习如何观察世界时完全相同的“大脑”（神经网络）。通常，这个大脑只预测“接下来会发生什么”。PRISM 为这个大脑增加了一个微小的、轻量级的附件（一个小“头”），它会询问一个不同的问题：“基于我所看到的，现在最可能采取的动作是什么？”
高斯先验（“信心”测量计）： 这个附件不仅仅是猜测一个动作，它还会猜测一个动作的范围，并且至关重要的是，它会猜测自己对这个猜测有多自信。
- 高信心： “我 99% 确定方块需要被稍微向左推一点。”（范围很窄）。
- 低信心： “我不知道该做什么。”（范围很宽）。
神奇的融合（高斯乘积）： 当机器人开始规划时，它并不只是随机猜测。它将自己的“随机猜测”与这种“直觉猜测”进行融合。
- 如果直觉很有信心，机器人就会将搜索紧紧围绕在这个想法周围，从而节省时间。
- 如果直觉不确定（例如，机器人处于一个奇怪的新情况中），数学会自动忽略直觉，恢复到安全的随机猜测方法。这是一种“优雅失败”机制——它绝不会让一个错误的猜测毁掉整个计划。

结果：更聪明，而非更努力

作者在两个任务上测试了该方法：推动一个 T 形块和移动一个立方体。

极高的效率： 与旧方法相比，在相同的计算能力下，使用 PRISM 的机器人在立方体任务上的成功率提高了 35%，在 T 形块任务上的成功率提高了 32%。
小预算，大回报： 最显著的改进发生在机器人被允许进行极少次数猜测（“小样本预算”）的情况下。这就像是因为你知道该往哪儿看，所以第一次尝试就找到了钥匙，而不是在整个仓库里到处乱找。
真实机器人： 他们甚至在真实的物理机器人（Franka 手臂和 ARX 手臂）上进行了测试，且无需更改代码或降低机器人速度即可奏效。

类比总结

旧方法： 一名侦探通过在城市里随机敲每一扇门的方式，逐一寻找一名嫌疑人。
PRISM： 一名侦探拥有基于以往案例的“直觉”（先验）。如果直觉很强，他们只会检查嫌疑人可能隐藏的特定街区。如果直觉很弱，他们会回到随机检查房门的模式。
结果： 侦探能更快、更轻松地找到嫌疑人，而且由于知道何时信任直觉、何时忽略直觉，他们永远不会陷入困境。

为什么这很重要

论文声称，你不需要一个庞大、昂贵的超级计算机或一个单独的“专家级”AI 来引导机器人。你可以直接从机器人现有的“世界模型”大脑中提取这种引导能力。这是一种让机器人在规划时变得更聪明，而无需让它们运行起来更沉重或更缓慢的方法。

技术摘要：PRISM（基于先验引导的想象采样世界模型）

1. 问题陈述

在连续控制中，学习到的世界模型为智能体提供了模拟未来状态的“物理直觉”。然而，基于模型的规划（例如，模型预测控制，MPC）的有效性关键取决于候选动作是如何生成的。现有的规划器通常使用零均值、固定方差的高斯分布来初始化其采样分布（无信息初始化），或者仅使用专家演示来设定均值，却丢弃了专家基于状态的置信度。

目前获取鲁棒动作先验的方法往往依赖于架构冗余，例如独立的视觉编码器或大规模视觉语言模型（VLM）。这造成了冗余，因为世界模型自身的学习表示本质上已经编码了智能体的“动作直觉”（即哪些动作能驱动状态趋向目标）。核心挑战在于如何从世界模型本身提取这种隐式直觉，以引导规划器的采样过程，而无需增加显著的计算开销或引入额外的、沉重的先验模型。

2. 方法论：PRISM

PRISM 是一个任务无关的框架，它通过一个标准的 JEPA 式（联合嵌入预测架构）潜空间世界模型，将学习到的动作先验直接集成到规划器的采样分布中。

2.1 架构

共享主干网络（Shared Backbone）： PRISM 使用单个冻结的 JEPA 编码器 ( $h_\psi$ ) 来嵌入当前观测 ( $o_t$ ) 和目标观测 ( $o_g$ )。
物理直觉（Physical Intuition）： 冻结的预测器 ( $f_\theta$ ) 在嵌入空间中展开动作序列，并根据视觉代价对它们进行评分。
动作直觉（即先验）： 一个轻量级、可训练的多层感知机（MLP）头 ( $g_\phi$ $g_{ϕ}$ ，约 1M 参数）直接附加在冻结的编码器上。它将当前和目标的嵌入映射到未来 $H$ $H$ 步动作序列的高斯分布上： $g_\phi([z_t, z_g]) \to (\mu_p, \sigma_p)$ $g_{ϕ} ([z_{t}, z_{g}]) \to (μ_{p}, σ_{p})$ 。
- 该头部在与世界模型相同的训练数据集上进行离线训练，并使用 $\beta$ -NLL 损失来稳定方差预测。
- 它在经过 StandardScaler 归一化的动作空间中运行。

2.2 精确加权融合（高斯乘积）

在规划时，PRISM 将规划器的默认初始化 ( $N(\mu_\pi, \sigma_\pi^2)$ ) 与学习到的先验 ( $N(\mu_p, (s\sigma_p)^2)$ ) 通过闭式解形式的**高斯乘积（Product of Gaussians, PoG）**更新进行融合：

融合方差： $\sigma_{fused}^2 = (\tau_\pi + \tau_p)^{-1}$ ，其中 $\tau$ 代表精度（precision， $1/\sigma^2$ ）。
融合均值： $\mu_{fused} = \sigma_{fused}^2 (\tau_\pi \mu_\pi + \tau_p \mu_p)$ 。
缩放： 标量 $s$ 用于重新缩放先验的标准差（在实验中设为 1）。

2.3 与 MPC 的集成

融合后的分布用于初始化标准的 MPPI（模型预测路径积分）循环。至关重要的是，PRISM 保持了 MPPI 的固定协方差特性（在迭代过程中仅更新均值，而非方差）。这确保了先验的置信度（精度）能够在整个优化时界内持续存在，而不是像 CEM（交叉熵方法）那样在迭代优化过程中被覆盖。

2.4 优雅降级

该融合机制具有内在的鲁棒性：

高置信度： 如果先验非常确定（ $\sigma_p$ 很小），其精度将占据主导地位，使搜索范围收敛于 $\mu_p$ 附近。
低置信度： 如果先验不确定（例如在分布外状态下 $\sigma_p$ 较大），其精度会消失（ $\tau_p \to 0$ ），此时初始化会自动退回到原始的、无先验的 MPPI。这不需要学习门控或调优。

3. 核心贡献

架构简洁性： 证明了可以直接利用世界模型冻结的编码器通过轻量级 MLP 提取动作先验，从而消除了对单独的、沉重的感知系统或 VLM 的需求。
无参数集成： 引入了一种闭式、精度加权的融合机制，除了单个缩放因子外，不需要推理时的优化或超参数调优。
通过精度实现鲁棒性： 不同于简单的热启动（warm-starting，会丢弃方差信息），PRISM 在整个规划时界内保留了先验的逐状态置信度，从而在先验不可靠时实现优雅降级。
样本效率： 以极低的采样预算实现了显著的性能提升，使其适用于受限硬件上的实时控制。

4. 实验结果

作者在两个模拟视觉操控任务（PushT 和 Cube）上评估了 PRISM，并在两个真实机器人平台（Franka PushT 和 ARX X5 Cube）上进行了验证。

性能增益：
- PushT： 相比于 vanilla MPPI（在 $K=128$ 时成功率为 54%），PRISM-MPPI 将成功率提升了 35 个百分点（达到 89%），并在各种样本预算下实现了 23–35 pp 的提升。
- Cube： 相比于 vanilla MPPI（在 $K=128$ 时成功率为 47%），PRISM-MPPI 提升了 32 个百分点（达到 79%）。
- 样本效率： 在 PushT 任务中，具有较小样本预算（ $K=32$ ）的 PRISM 表现优于具有较大预算（ $K=128$ ）的 vanilla MPPI，提升了 25 pp；在 Cube 任务中提升了 35 pp。
消融研究：
- 方差 vs. 均值： 仅使用先验均值（热启动）虽然能提高性能，但无法随样本预算扩展，有时甚至会导致性能下降。引入方差（完整的 PoG 融合）对于实现鲁棒扩展至关重要。
- 规划器选择（MPPI vs. CEM）： 在低样本预算（ $K=32$ ）下，PRISM-MPPI（固定协方差）明显优于 PRISM-CEM（自适应协方差），因为后者的方差重拟合会因偏差精英（biased elites）而崩溃。
- 编码器无关性： 即使将任务训练的编码器更换为冻结的 DINOv2 编码器，融合机制依然能提供增益，尽管绝对性能取决于编码器对任务的适用性。
真实机器人部署： PRISM 成功迁移至真实机器人（Franka 和 ARX X5），成功率分别为 35% 和 45%，展示了在控制循环中的零延迟开销。
与 BC/DP 的比较： 虽然行为克隆（BC）和扩散策略（DP）展现了一定的潜力，但总体表现不如规划方法。值得注意的是，一个 19.3M 参数的扩散策略在多模态 PushT 任务上崩溃了（成功率 41%），而 PRISM 的成功率为 89%，这凸显了 PRISM 尽管仅使用 1.0M 参数的头部，却在多模态设置中具有极强的鲁棒性。

5. 意义与主张

论文声称 PRISM 代表了规划器利用学习先验方式的一种转变。通过论证开发独立的先验模型所带来的“架构冗余”是不必要的，PRISM 利用了世界模型潜空间中固有的结构。

其意义在于：

高效性： 它能以极少的候选样本实现卓越的规划性能，从而支持更高的实时控制频率或在边缘设备上运行。
鲁棒性： 精度加权融合确保了规划器绝不会依赖误导性的先验；当先验不确定时，它会自动回退到安全的、无信息的基准。
简洁性： 它提供了一种“无参数”（指推理时优化而言）且闭式的解决方案，能够无缝集成到现有的 MPPI 流水线中，而无需重新训练世界模型或添加复杂的推理时网络。

作者总结道，PRISM 体现了一个更广泛的原则：通过使用精度算术将轻量级的学习先验集成到规划器初始化中，可以在不牺牲安全性或计算效率的情况下，显著提升连续控制的性能。