💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

本文提出了双重潜在空间强化学习（Dual-Latent Space Reinforcement Learning, DLSRL），这是一种通过结合初始噪声引导与通过冻结生成器进行的中间特征调制来增强预训练生成式机器人策略的新型框架，从而在无需更新基础策略的情况下实现高效的在线自适应。

原作者： Pengfei Zhang, Teng Sun, Xianchao Xiu

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pengfei Zhang, Teng Sun, Xianchao Xiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够通过观察人类执行任务来学习的机器人不再是科幻小说中的情节，而是人工智能领域中一个快速增长的现实。这些系统通常被称为视觉-语言-动作模型（vision-language-action models），它们就像是在动手接触任何工具之前，就已经阅读了大量教学视频和手册的学生。通过研究数百万个案例，它们学习了如何移动手臂、抓取物体以及遵循指令的一般规律。然而，正如一名学生在被要求在略微不同的房间或使用新工具执行熟悉任务时可能会感到吃力一样，当现实世界与它们训练时的数据不完全匹配时，这些机器人往往会出错。当机器人遇到从未见过的场景时，它需要快速适应。科学家面临的挑战在于，如何教导这些庞大的、预训练好的系统去适应新环境，而无需从头开始重新训练——因为重新训练的过程对于实际应用来说太慢且计算成本过高。

一段时间以来，研究人员一直试图通过微调决策过程的最开始部分来引导这些机器人。想象一下，一个机器人通过从随机的噪声模式开始，逐渐将其细化为平滑运动的过程来生成一系列动作。现有的方法专注于改变那个初始的随机模式，以引导机器人获得更好的结果。虽然这有所帮助，但有点像仅仅通过调整车轮的初始位置来驾驶汽车；一旦汽车开始行驶，驾驶员就没有直接的方法来纠正车辆偏离航线的情况。机器人的运动“思维”保持不变，初始的调整无法轻易纠正随后发生的微小、精确的误差。这种局限性意味着，即使经过引导，机器人可能仍然无法胜任需要高精度的任务，例如将杯子放在茶托上或拧紧螺栓。

为了解决这个问题，上海大学的一个研究小组开发了一种名为“双潜空间强化学习”（Dual-Latent Space Reinforcement Learning）的新方法。该系统不再仅仅调整机器人运动计划的起点，而是学习在计划创建的过程中“轻推”机器人的内部思维。研究人员构建了一个轻量级的控制模块，与机器人冻结的、预训练好的大脑协同工作。这个模块同时做两件事：它既像之前的方法那样选择初始起始模式，又生成第二个信号，直接注入到机器人处理网络的中间层。这可以想象成拥有一位副驾驶，他不仅帮助设定目的地，还能在汽车行驶过程中，伸手对方向盘和踏板进行细微的实时调整，确保车辆始终保持在所需的精确路径上。

研究人员在各种机器人任务中测试了这种方法，包括在模拟环境中提升物体、移动罐子和堆叠积木。他们将这一新系统与仅调整起始点的现有最佳方法进行了对比。结果显示，这种双重控制系统让机器人学习得更快。在需要高精度的任务中（例如将罐子移至特定位置），新方法达到了接近99%的成功率，而旧方法则难以突破90%。机器人能以更少的尝试来适应新的挑战，这意味着它们能更高效地从错误中学习。研究还表明，这种方法适用于不同类型的机器人大脑，而不仅仅是一种特定的设计，这表明它是一个提高机器人性能的通用工具。

这项发现的一个关键部分在于理解这种内部“轻推”应该产生多大的影响。研究人员发现，如果他们过度推动机器人的内部思维，动作会变得不稳定且紊乱。然而，如果施加恰到好处的、温柔的压力，机器人的表现就会稳步且平滑地提升。这种平衡让机器人能够保留已经学到的通用技能，同时进行针对新任务所需的特定、精细的修正。该系统在没有改变庞大的预训练模型本身的情况下实现了这些结果，保持了核心机器人大脑的完整性，仅更新了这个小型、轻量级的控制模块。这意味着机器人可以在新场景中部署，并能够即时学习适应，而无需对其底层智能进行彻底的改造。

这项工作的意义对于机器人的未来具有重大影响。通过允许机器人在生成运动的过程中进行精确调整，这种方法弥合了广泛的通用知识与现实世界所需的特定、细腻动作之间的鸿沟。研究人员通过广泛的模拟证实了他们的发现，表明该方法在多个任务中始终优于以往的技术。虽然这项工作是在计算机模拟中进行的，但其适应的速度和效率表明，这些机器人很快就能部署在现实世界的环境中，以一种此前难以实现的灵巧度来处理新的物体和环境。研究结论指出，通过赋予机器人一种引导其内部表征的方式，我们可以创造出不仅聪明而且灵活、并能应对物理世界不可预测性的机器。

技术摘要：用于生成式机器人策略的双重潜空间强化学习

问题陈述

预训练的生成式机器人策略（如扩散策略和流匹配模型）利用大规模数据集来学习具有表现力的动作先验。然而，当下游任务偏离预训练分布时，这些模型往往难以应对，特别是在长程任务中，微小的空间或时间误差会导致失败。虽然在线适应是必要的，但对数十亿参数的模型进行全量微调在计算上是难以承受的。

现有的参数高效适配方法（例如基于强化学习的转向技术）通常仅在动作生成的边界处进行操作。例如，通过强化学习进行扩散转向（DSRL）的方法学习一个以观测为条件的初始噪声策略，用以引导冻结的生成器。虽然这种方法有效，但它仅影响生成过程的起点。它无法调节中间动作表示，从而限制了其在生成过程中对接触位置、动作幅度或局部轨迹进行精确修正的能力。相反，残差策略在动作生成后进行修正，未能塑造动作表示的内部演化过程。目前缺乏一种能够结合全局行为选择与直接调制冻结生成器内中间动作表示的强化学习机制。

方法论：双重潜空间强化学习 (DLSRL)

为了解决这些局限性，作者提出了双重潜空间强化学习 (DLSRL)。该框架引入了一种全新的控制接口，它通过在冻结的生成策略内部进行表示层级的控制，来补充初始噪声转向技术。

1. 双重潜空间 Actor

与仅预测初始噪声向量 ( $z_t$ ) 的传统噪声空间 RL 方法不同，DLSRL 的 Actor 根据当前观测 ( $o_t$ ) 预测两个不同的潜变量：

初始噪声潜变量 ( $z_t$ )： 用于引导整体行为生成，类似于现有方法。
动作表示潜变量 ( $u_t$ )： 设计用于中间特征调制。

该 Actor 由参数 $\pi_\theta(\cdot | o_t)$ 参数化，输出联合分布 $(z_t, u_t)$ 。

2. 适配器特征映射与残差注入

动作表示潜变量 $u_t$ 通过一个轻量级的适配器特征映射器 $A_\omega$ 处理，以产生适配器特征 $f_t$ ：
$f_t = A_\omega(u_t)$

随后，这些特征被注入到冻结的基础策略 $G_\phi$ 中。具体而言，适配器特征按注入强度 $\lambda_{inj}$ 进行缩放，并残差式地添加到选定冻结 Transformer 块中的动作标记（action tokens）的隐藏状态中：
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
其中 $H^{(l)}_{t,k}$ 代表第 $l$ 层在生成步骤 $k$ 处的动作标记隐藏状态。这种设计允许在不更新基础策略参数或改变网络架构的情况下，直接调整动作表示。基础策略生成最终的动作块如下：
$a_t = G_\phi(o_t, z_t, f_t)$

3. 双重潜空间策略优化

训练框架采用价值蒸馏机制来优化双重潜空间 Actor，而无需通过冻结的生成器进行反向传播：

动作空间 Critic ( $Q^{act}_\psi$ )： 使用标准的离线策略时序差分学习，在在线交互数据上进行训练，用以估计动作块的回报。
潜空间 Critic ( $Q^{lat}_\nu$ )： 通过蒸馏目标进行优化，以匹配动作空间 Critic 预测的价值。该 Critic 学习 $z_t$ 和 $f_t$ 对任务回报的联合影响。
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
Actor 更新： 使用熵正则化目标来更新双重潜空间 Actor，该目标旨在最大化潜空间价值：
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

在部署期间，仅保留 Actor 和适配器映射器；Critic 被丢弃。

核心贡献

本文概述了三个主要贡献：

新颖框架： 引入了一种潜空间 RL 框架，该框架同时优化初始噪声和动作表示潜变量，将策略引导从采样初始化阶段扩展到了中间表示阶段。
轻量级调制机制： 开发了一种残差调制机制，将动作表示潜变量映射为适配器特征，并使其与动作标记对齐，将其注入 Transformer 隐藏状态，且无需更新基础策略。
实验验证： 在基于 Transformer 的扩散策略和 $\pi_0$ 流匹配策略的扩散与流匹配策略上进行了一系列实验，证明了 DLSRL 在加速在线适应速度的同时，保持了具有竞争力的最终性能。

实验结果

实验在 RoboMimic（Lift, Can, Square）和 LIBERO（包括 Stove-On, Bowl-Drawer-to-Plate 等六个任务）基准测试上进行，使用的是冻结的 Transformer 架构扩散策略和 $\pi_0$ 流匹配策略。

适应速度： 与 DSRL、DPPO 和 JSRL 等基线相比，DLSRL 在训练早期和中期阶段始终表现出更快的性能提升。
成功率：
- 在 Can 任务（RoboMimic）中，DLSRL 在后期阶段达到了约 99% 的成功率，优于 DSRL（约 90%）。
- 在 LIBERO 任务中，DLSRL 以比 DSRL 更少的环境交互次数达到了饱和性能。
效率： 表 I 显示，在所有六个 LIBERO 任务中，DLSRL 实现了更短的平均回合长度，与 DSRL 相比，减少幅度在 15.27% 到 25.40% 之间。
消融研究：
- 移除初始噪声转向（DLSRL-Rep）后，在 Can 任务上的成功率仍从 ~27% 提升至 ~52%，证实了仅靠表示层级的调制也能贡献于适应。
- 对注入强度 ( $\lambda_{inj}$ ) 的分析表明，虽然较高的值（$0.09 $）能提供快速的初始收益，但会导致不稳定。适中的值（$ 0.06$）提供了最佳平衡，实现了 100% 的成功率。

意义与主张

作者声称，DLSRL 是首个将初始噪声转向与动作标记隐藏状态调制相结合的工作。这项工作的意义在于它能够为冻结的生成器提供额外的控制接口，从而在不增加大规模生成模型微调计算成本的前提下，实现对接触位置和轨迹的精确修正。

论文得出结论，DLSRL 有效加速了在线机器人策略的适应。虽然该方法展示了卓越的适应速度，但作者也谨慎地指出，与那些最终可能收敛到相似成功率的简单任务相比，该方法的优势在需要高动作精度的任务（如 Can, Square）中更为显著。未来的工作计划在真实世界环境中评估该框架，并研究特定架构选择（注入层、步数、强度）对性能的影响。