🤖 AI

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

PearlVLA 是一种新颖的视觉-语言-动作（Vision-Language-Action）框架，它通过将决策过程转移到视觉-语言模型的潜空间中，并利用由冻结的潜世界模型引导且通过因果奖励强化学习进行优化的迭代细化过程，在平衡低延迟动作生成与显式长时程规划的同时，在 LIBERO 基准测试上实现了最先进的性能。

原作者： Bochen Yang, Lianlei Shan

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bochen Yang, Lianlei Shan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人完成一项复杂的任务，比如做三明治。

问题：“快思考”与“深思考”的抉择
目前的机器人大脑（被称为视觉-语言-动作模型，Vision-Language-Action models）面临着一个艰难的选择。

选项 A（短跑选手）： 它们观察场景并立即喊出下一步动作。这非常快，但它们可能会因为没有预先思考而绊倒自己的脚。
选项 B（哲学家）： 它们停下来，写一篇关于自己应该做什么的长文，或者在脑海中利用文本模拟未来。这很聪明，但由于耗时太长，机器人会变得反应迟钝，无法在现实世界中发挥作用。

解决方案：PearlVLA
作者创建了一个名为 PearlVLA 的新系统。PearlVLA 不再是在速度和智慧之间做选择，而是构建了一个能够在不减慢速度的情况下，在自己“脑海中”进行思考的机器人。

以下是它的工作原理，使用一个简单的类比：

1. “草拟”阶段（潜空间/Latent Space）

想象机器人有一个“思想气泡”（一个隐藏的数字空间），它可以在其中勾勒想法。

旧方法： 机器人要么立即猜测动作，要么停下来写一段文字来解释其计划。
PearlVLA 的方式： 机器人在它的思想气泡中创建一个计划的粗略草图。这还不是最终指令；它只是一个“粗略草稿”。

2. “水晶球”检查（冻结的世界模型/Frozen World Model）

这是神奇的魔术。机器人内置了一个“冻结的水晶球”（一个预训练的世界模型）。

每当机器人勾勒出一个计划时，它都会询问水晶球：“如果我执行这个草拟计划，几秒钟后的世界会是什么样子？”
水晶球不需要知道机器人的精确电机动作；它只需根据机器人的当前意图来预测未来的场景。

3. “自我修正”循环（细化/Refinement）

现在，机器人将它的草拟计划与水晶球的预测进行对比。

例子： 机器人草拟了一个“抓取杯子”的计划。水晶球说：“如果你这样做，你会撞倒盐罐。”
机器人立即在它的思想气泡中调整它的草拟计划：“好吧，让手稍微向左移动一点。”
它再次询问水晶球：“这样好点了吗？是的。”
它会进行几次这样的操作（在他们的实验中进行了 4 轮），将计划从一个粗略的草图打磨成一个完美的、细粒度的指令。

4. “最终执行”（动作块/Action Chunk）

一旦计划被打磨完成，机器人不仅仅是做一个动作。它将最终完美的想法转化为一组动作（就像一段 1 秒钟的运动视频），并一次性执行。这使得机器人保持像“短跑选手”一样快速移动，同时又具备“哲学家”的前瞻性。

为什么这更好？

论文在名为 LIBIO 的基准测试（一系列机器人任务）上对它进行了测试。

结果： PearlVLA 成为了该测试中表现最好的机器人，实现了 98.7% 的成功率。
秘诀所在： 他们添加了一个特殊的“教练”（称为 CRG-PRL），它会观察机器人的思考过程。如果机器人的“想法”导致了更好的未来结果，教练就会给予它奖励。这有助于机器人学习如何更好地思考，而不只是学习做什么。

总结

PearlVLA 就像是一个不会仅仅对世界做出反应，也不会停下来写日记的机器人。相反，它在脑海中进行快速且隐形的模拟，检查未来是否看起来良好，如果不好就修正计划，然后执行完美的动作——这一切都在眨眼之间完成。它证明了只要你在正确的地方进行思考，你就可以兼具速度与深度思考。

技术摘要：PearlVLA

问题陈述

当前的视觉-语言-动作（VLA）模型面临着高效动作生成与**显式审议（deliberation）**之间的根本权衡。

直接解码： 标准方法直接从视觉-语言骨干网络的表示中解码动作。虽然这实现了低延迟控制，但提供了有限的“潜在审议”机会，阻碍了策略在执行前预览未来状态或进行自我修正的能力。
显式推理： 其他方法通过引入文本推理轨迹、像素级子目标或动作空间搜索来引入中间规划信号。虽然这些方法改善了规划能力，但会带来显著的延迟、计算开销以及表示不匹配的问题（例如，文本推理与连续控制之间存在距离；像素级未来难以映射到动作）。
差距： 目前缺乏一种高效的闭环机制，能够在**潜在空间（latent space）**中产生未来反馈，并使该反馈适应当前的潜在规划，并在动作解码之前优化该规划，且无需承担文本生成或像素重建的开销。

方法论：PearlVLA

PearlVLA 是一个将动作规划审议移至视觉-语言模型（VLM）潜在空间的框架。它不是通过外部推理链，而是通过涉及一个冻结的潜在世界模型（World Model, WM）的闭环过程，进行潜在动作规划的渐进式细化。

核心架构

潜在规划初始化：
- VLM（以 OpenVLA-7B 为骨干）生成元查询表示（ $z_{meta}$ ）。
- 这些表示被分为固定视觉接地分支（ $z_{vis}$ ）和迭代潜在规划分支（ $\tilde{z}_0$ ）。
- 初始规划标记（ $z_0$ ）通过在 $\tilde{z}_0$ 中加入微小的高斯噪声进行初始化，以平滑到 WM 条件空间的映射。
规划条件的条件化查询：
- 该框架将查询生成分为固定锚点和动态规划组件：
  - $q_{anchor} = P_{vis}(z_{vis})$ （固定视觉接地）。
  - $q_k = q_{anchor} + \beta_k P_{plan}(z_k)$ （动态规划依赖项）。
- 其中， $\beta_k$ 是一个可学习的标量，用于控制查询偏离锚点的程度，确保查询保持在预训练潜在 WM 的条件分布内。
闭环细化（K 轮）：
- 未来预测： 在每一轮 $k$ ，当前的规划 $z_k$ 生成一个查询 $q_k$ 。一个冻结的潜在世界模型（UWM）根据 $q_k$ 预测一个无动作的未来观测潜在表示（ $o_k$ ）。至关重要的是，这是一个观测展开，而非基于动作的展开。
- 残差更新： 一个**未来引导细化网络（Future-Guided RefineNet）**接收当前的规划 $z_k$ 和来自 $o_k$ 编码而来的未来反馈摘要 $s_k$ ，以计算残差修正 $\delta_k$ 。
- 回写（Write-Back）： 规划按如下方式更新： $z_{k+1} = z_k + w_k \delta_k$ 。
- 调度： 递减的回写调度（ $w_k$ ）允许在早期轮次进行粗粒度的全局修正，并在后期轮次进行细粒度的局部修正。
动作解码：
- 在 $K$ 轮之后，经过细化的潜在规划 $z_K$ 被一个轻量级的动作头并行解码为 $H$ 步连续动作块。这保留了直接 VLA 策略的低延迟执行路径。

训练目标

监督微调（SFT）：
- 最小化预测动作块与专家动作之间的 MSE。
- 包括教师对齐损失（Teacher Alignment Loss）：确保投影后的世界查询（ $q_k$ ）靠近冻结潜在 WM 的条件流形，从而稳定循环。
- 包括用于频域动作建模的离散余弦变换（DCT）损失。
因果细化分组过程奖励强化学习（CRG-PRL）：
- 一个优化细化轨迹的强化学习阶段。
- 机制： 它将细化循环视为一个内部 MDP。对于给定状态，它采样多个“残差分支”（不同的编辑），并使用冻结的奖励模型（Robometer-4B）对每个编辑诱导的想象未来进行评分。
- 组相对优势（Group-Relative Advantage）： 为了将编辑的因果效应与起始状态的难度分离，奖励在共享相同基础状态的一组分支内进行标准化。这避免了对学习价值函数（Critic）的需求。
- 护栏（Guardrails）： 包括对监督策略的 KL 散度、编辑幅度惩罚以及行为克隆锚点，以防止漂移。

核心贡献

潜在审议框架： 提出了 PearlVLA，它完全在 VLM 的潜在空间内进行渐进式动作规划细化，避免了显式的文本或像素级推理。
闭环未来反馈： 设计了一种机制，通过计划条件的查询探测冻结的潜在 WM 以获取更新的想象未来，并将该反馈用于在不进行像素重建或动作空间展开的情况下细化规划。
稳定的细化方案： 提出了锚定残差更新方案。锚点查询使世界查询保持在预训练条件空间内，而调度的残差回写控制了潜在规划的漂移，实现了从粗到精的细化。
奖励引导优化： 开发了 CRG-PRL，这是一种利用来自想象未来的组相对奖励来优化细化轨迹的强化学习方法，从而在无需价值函数的情况下隔离了潜在编辑的因果效应。
最先进的性能： 证明了结合渐进式未来引导细化与奖励引导优化的方法在 LIBERO 基准测试上取得了卓越的性能。

实验结果

在 LIBERO 基准测试（空间、物体、目标和长程任务套件）上进行了评估：

主要结果： PearlVLA（监督学习）实现了 98.5% 的平均成功率，优于强大的 OpenVLA-OFT 基线（97.1%）以及其他基于流匹配或扩散的 VLA。
结合 CRG-PRL： 最终模型达到了 98.7% 的平均成功率，创下了新的 SOTA。
鲁棒性： 在 LIBERO-Plus（受控的布局、相机、光照等扰动）上，PearlVLA 实现了 76.3% 的成功率，显著优于 OpenVLA-OFT（69.6%）。
消融实验：
- 将细化轮数（ $K$ ）从 0 增加到 4，使性能从 96.8% 提升至 98.5%。
- 长程鲁棒性： 使用扩展动作块（ $H=20$ ）时，细化型（ $K=4$ ）与直接解码（ $K=0$ ）之间的性能差距进一步扩大。潜在细化将成功率的下降幅度从直接解码的 3.2 个百分点降低到了 1.7 个百分点，展示了改进的动作连贯性和减少的开环漂移。

意义与主张

论文声称 PearlVLA 通过将**预期规划（anticipatory planning）**内化于策略的潜在空间中，解决了 VLA 策略中的一个具体空白。

效率 vs. 推理： 它证明了无需显式推理链的延迟或动作空间搜索的计算成本，即可实现“系统 2”风格的审议。
可优化的审议： 细化过程不仅是一个固定的架构先验，更是一个可优化的机制。CRG-PRL 的成功证实了潜在编辑的轨迹可以通过来自想象未来的奖励信号得到改进。
泛化性： 该框架将潜在推理的概念（此前已在语言模型中得到探索）扩展到了具身动作规划领域，其中中间计算共同考虑了当前场景以及由演进中的规划所暗示的未来。

作者注明的局限性： 当前实现对所有查询使用固定的细化深度（ $K$ ），而不考虑任务复杂度。未来的工作建议根据不确定性或未来一致性信号使该深度具有自适应性。