🤖 machine learning

Prompt-Driven Exploration

本文介绍了提示驱动探索（Prompt-Driven Exploration, PDE），这是一种强化学习策略，它利用视觉语言模型根据展开分析迭代优化自然语言提示，从而在不依赖动作空间噪声的情况下，实现有效的全局探索并从稀疏奖励中学习。

原作者： Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人完成一项棘手的任务，比如关上微波炉门或堆叠积木。你给机器人一个简单的指令，比如“关闭微波炉”。但机器人很困惑。它没有去推门，而是抓起旁边的一个杯子，试图把杯子塞进微波炉里。它一次又一次地失败了。

在机器人学习的世界里，这是一个常见的难题。通常，当机器人陷入僵局时，科学家们会尝试通过“摇晃”来解决问题。他们会加入“噪声”——即对机器人手臂动作进行微小的、随机的抖动。这就像是在告诉机器人：“嘿，也许你可以试着把手向左或向右轻微晃动一下。”

“抖动”的问题
论文指出，这种“抖动”的方法通常是徒劳的。如果机器人拿错了物体（杯子）并试图做错误的事情，那么微小的抖动是没用的。机器人需要的是思维上的巨大飞跃，而不仅仅是微小的挪动。它需要意识到：“等等，我不应该拿着杯子，我应该去推门。”但随机的抖动无法产生这种巨大的、全局性的变化。它们只能产生微小的、局部的错误。

新思路：改变剧本
于是有了提示词驱动探索（Prompt-Driven Exploration, PDE）。研究人员不再通过抖动机器人的手臂来解决问题，而是决定通过“抖动”给机器人的文字来进行尝试。

把机器人想象成一个非常刻板的剧中演员。如果剧本说“抓起杯子”，演员就会抓起杯子。如果演员一直失败，你不能只是告诉他抖动手指；你需要重写剧本。

旧剧本： “关闭微波炉。”（结果：机器人抓起了杯子）。
新剧本： “推向微波炉门，直到听到咔哒声。”（结果：机器人推了门）。

论文表明，通过简单地改变提示词（指令），机器人的行为会发生彻底的变化，通常无需重新训练其大脑即可解决问题。

“智能编辑”助手
这里是聪明之处：你如何知道该写什么样的“新剧本”？你不能靠瞎猜。研究人员使用了一个特殊的“智能编辑”（一个视觉-语言模型）来观察机器人的失败过程。

机器人使用一个奇怪的指令尝试任务。
它失败了。
智能编辑观看失败的视频，找出它为什么失败（例如：“哦，它抓起了杯子，因为提示词没有要求它忽略杯子”），然后写出一个全新的、更好的指令。
机器人使用新的指令再次尝试。

这个过程就像侦探在破解谜题。编辑观察线索（失败的视频），诊断错误，然后重写线索，以引导侦探（机器人）找到正确的解决方案。

论文证明了什么（以及没有证明什么）
研究人员在许多不同的任务上测试了这种方法，从堆叠积木到关闭抽屉。

结果： 在模拟实验中，PDE 帮助机器人完成了标准方法无法完成的任务。例如，在一组“困难”任务中，当机器人初始成功率为 0% 时，标准方法（如随机抖动）始终停留在接近零的状态。然而，PDE 却找到了成功的路径，最终达到了很高的成功率（例如微波炉任务达到了 98%）。
现实世界证明： 他们甚至在真实的实验室里用真实的机器人进行了测试。仅通过 64 次真实世界的尝试（大约一小时的机器人运行时间），PDE 方法就将成功率从大约 13% 提高到了 35%。而标准方法在 128 次尝试（两倍的时间）后，成功率仅达到约 20%。
它不是什么： 论文明确排除了“仅仅拥有许多表达同一种意思的不同方式就足够了”这一观点。他们通过给机器人提供随机的改写（例如用“关闭电器”代替“关闭微波炉”，且没有智能编辑的帮助）进行了测试。那些随机的变化几乎没有任何帮助。其魔力不在于词汇的多样性，而在于基于错误原因进行的智能选择。

为什么这很重要
这种方法表明，对于大型智能模型，探索新行为的最佳方式不是折腾它们的“肌肉”（动作），而是折腾它们的“语境”（提示词）。这就像意识到，要让一名演员表现得更好，你不需要训练他如何移动双手，你只需要给他一段更好的台词。

论文指出，这之所以奏效，是因为“智能编辑”扮演了引导者的角色，不断更新一份最佳指令清单。这是一种在“思想空间”而非“动作空间”中进行探索的方式，并且在机器人从零开始学习时，这似乎是一种更快速的教学方式。

技术摘要：提示驱动探索 (Prompt-Driven Exploration, PDE)

1. 问题陈述

针对基础模型（特别是视觉-语言-动作 (VLA) 模型）的强化学习 (RL) 后训练过程受限于探索 (Exploration)。标准的 RL 方法依赖于在动作空间中注入随机性（例如，动作噪声或参数噪声）来发现新行为。然而，作者认为此类噪声仅能诱导局部扰动 (Local Perturbations)，导致生成的轨迹仍紧贴当前策略的行为。

这种局限性在微调弱初始策略（例如，在操作任务中成功率接近于零的策略）时至关重要。逃离次优策略通常需要全局扰动 (Global Perturbations)，以改变整个轨迹和策略，而步进式的动作噪声无法实现这一点。此外，在稀疏奖励设置下，由于初始策略极少成功，奖励信号过于稀疏，无法引导选择有用的探索性动作。

2. 方法论：提示驱动探索 (PDE)

本文提出了提示驱动探索 (PDE)，该策略将探索的轴心从动作空间转向了提示空间 (Prompt Space)。由于基础模型（LLM 和 VLA）受自然语言提示词的调节，修改提示词可以在无需更新权重的情况下诱导策略行为发生全局变化。

核心机制

PDE 将提示分布视为策略分布的代理。它实现了一种提示层级的后验采样 (Posterior Sampling) 形式：

隐式后验采样： PDE 并没有在大型神经网络参数上维护一个贝叶斯后验（这对于大型模型来说是难以计算的），而是维护一个关于提示词的分布 $\rho(\cdot | g, H)$ ，其中 $g$ 是任务， $H$ 是交互历史。
VLM 作为摊销后验更新器： 视觉语言模型 (VLM) 充当监督者。它分析当前策略在各种提示词下生成的展开视频，诊断失败模式，并重写提示词以诱导出更好的行为。这一过程更新了提示分布 $\rho$ ，使其向产生成功轨迹的提示词集中。
两阶段训练循环：
- 提示词发现 (Prompt Discovery)： 冻结策略权重。VLM 采样候选提示词，执行展开，并根据观察到的轨迹和奖励来优化提示词池。
- 策略优化 (Policy Optimization)： 一旦识别出一组有效的提示词，便使用近端策略优化 (PPO) 对策略进行微调。

关键技术组件

混合采样 (Mixture Sampling)： 在 RL 训练期间，从规范任务提示词 ( $p_g$ ) 和发现的探索性提示词 ( $\rho$ ) 的混合分布中进行采样。混合权重 $\alpha$ 是自适应的，随着策略在规范提示词上的表现提升而增加。
混合反向传播 (Mixed Backpropagation)： 为了确保来自探索性提示词的改进能够迁移到规范提示词，PPO 损失函数被进行了修改。优势比使用了在探索性提示词和规范提示词下动作的平均对数概率。这种耦合确保了策略学习到的行为在不同的提示变化下具有鲁棒性。
提示词精炼 (Prompt Refinement)： VLM 不仅仅是生成随机的改写；它会对特定的失败模式（例如，“机器人抓错了物体”）进行推理，从而生成有针对性的指令（例如，“抓住绿色容器，而不是杯子”）。

3. 核心贡献

一个新的探索维度： 本文引入了提示空间探索，作为动作空间噪声的一种可行替代方案，能够诱导动作噪声无法达到的全局行为变化。
从零成功率到非零奖励： PDE 使 RL 能够从零初始成功率的策略中启动学习。通过发现能够解锁非零奖励轨迹的提示词，PDE 为 RL 提供了必要的学习信号，而标准方法在面对零奖励盆地时会失效。
样本效率： 该方法显著提高了在操作和推理任务中的样本效率，与基准方法相比，达到高成功率所需的环境交互次数更少。
泛化性： 该方法不仅在 VLA 控制方面有效，在基于 LLM 的推理和编码任务中也表现出色，表明提示空间探索是基础模型微调的一种通用机制。

4. 实验结果

作者在多个基准测试中评估了 PDE：

LIBERO 和 LIBERO-PRO：
- 在“困难 (Hard)”任务（初始成功率 < 10%）中，PDE 相比标准动作噪声实现了 60% 的相对提升。
- 在“关闭微波炉”案例研究中，在规范提示词下成功率为 0% 的策略，在 PDE 的引导下发现了能产生非零成功率的提示词（例如，“推微波炉门直到其关闭”），最终在规范提示词上达到了约 100% 的成功率。
- PDE 优于包括动作噪声、参数噪声、随机网络蒸馏 (RND) 和密集奖励模型 (Robometer) 在内的基准方法。
ManiSkill：
- PDE 在所有难度等级（困难、中等、容易）和泛化维度（视觉、语义、执行）上都提高了成功率。
- 在动作噪声无法取得进展的困难任务中，PDE 成功实现了学习启动。
现实世界操作：
- 使用 Franka FR3 机械臂，PDE 展示了卓越的物理环境样本效率。在 128 次现实世界展开后，PPO+PDE 达到了 45% 的成功率，是标准 PPO 加动作噪声所达到的 20% 的两倍多。
LLM 任务 (LiveCodeBench & AIME 2026)：
- 在编码和数学推理任务中，PDE 提高了早期样本效率，与标准 RL 微调 (RLOO 和 GRPO) 相比，能以更少的训练步骤达到更高的准确度水平。

5. 重要性与主张

本文声称，对于基础模型策略，有效的探索不一定需要扰动模型的内部参数或动作。相反，有效的探索可以来自于调节策略的上下文（即提示词）。

作者将 PDE 定位为解决 RL 微调中“稀疏奖励”和“弱初始化”问题的解决方案。通过利用 VLM 预训练的语言先验来推理失败并重写指令，PDE 在一个可处理的高层空间中实现了经典的 RL 框架（后验采样）。这项工作表明，对于展开过程遵循于提示词的模型，修改提示词是比步进式噪声更强大的全局探索机制。

论文结论较为谦逊，指出 PDE “使 RL 即使从零奖励开始也能学习到成功的策略”并“更广泛地提高了样本效率”，并未声称解决了所有的 RL 探索挑战。该方法被呈现为一种补充策略，它改变的是策略被要求做什么，而不是如何更新策略。