💻 computer science

RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation

本文提出了残差流引导（Residual Flow Steering, RFS），这是一种数据高效的强化学习框架，通过对残差动作和潜在噪声分布进行联合优化，以平衡局部误差修正与全局探索，从而使预训练的流匹配策略能够适配灵巧操控任务。

原作者： Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只技术精湛但略显刻板的机械手去完成复杂任务，比如堆叠积木、倒水或拿起易碎物品。

这篇论文介绍了一种名为 残差流引导 (Residual Flow Steering, RFS) 的新方法。你可以把它想象成一个“智能副驾驶”系统，它能帮助预训练好的机器人更快地学习，并在现实世界中表现得更好，而不需要成千上万个新样本。

以下是其工作原理，通过简单的概念和类比进行拆解：

1. 起点：拥有“肌肉记忆”的机器人

首先，研究人员使用模仿学习 (Imitation Learning) 来训练机器人。他们向机器人展示人类的操作演示（例如一段手部抓取物体的视频）。

类比： 想象一名学生观察了一千次大师烹饪的过程。这个学生拥有“肌肉记忆”，知道食谱的大致流程。他可以切菜和搅拌，但如果炉火比平时热一点，或者锅的形状变了，他可能会感到棘手。
问题： 当这个机器人在现实世界中尝试执行任务时（面对真实的物理特性、滑溜的物体或不同的光照），它经常失败，因为它太刻板了。它无法处理微小的错误或意想不到的变化。

2. 解决方案：“双手协作”的修正

研究人员意识到，要修复这个机器人，你需要同时提供两种不同类型的帮助。他们称之为 残差流引导 (Residual Flow Steering)。

把机器人的大脑想象成有两个不同的控制旋钮，它们协同工作：

旋钮 A：“大局观”拨盘 (潜空间噪声引导/Latent Noise Steering)
- 作用： 这个旋钮改变的是整体策略或“感觉”。它就像是在告诉机器人：“嘿，不要从左边伸手，试着从右边伸手过来，”或者“抓取物体时轻柔一点。”
- 类比： 这就像指挥家改变管弦乐团的节奏。它改变了整个表演的风格，而无需重写每一个音符。它允许机器人在全局范围内探索新的实现方式。
旋钮 B：“精细调节”拨盘 (残差动作/Residual Action)
- 作用： 这个旋钮对机器人的实际动作进行微小、精确的调整。如果机器人的手高出了 2 毫米，这个旋钮就会将其向下轻推。
- 类比： 这就像走钢丝的人使用平衡杆。当他们开始摇晃时，他们会进行微小、快速的修正以保持直立。它在不改变整体计划的情况下修复局部错误。

为什么这很特别？
大多数之前的方法试图只使用其中一种旋钮。

如果只使用“大局观”拨盘（像某些其他 AI 方法），则过于模糊；它无法解决手部摇晃的问题。
如果只使用“精细调节”拨盘（像标准的“残差”学习），则过于局限；如果整个计划错了，它无法改变策略。
RFS 同时使用这两个旋钮，使得机器人能够既改变策略，又同时修正错误。

3. 训练过程：从模拟到现实

论文描述了一个使其奏效的具体流程：

模拟训练（练习场）：
他们首先在计算机模拟中使用虚拟现实数据来训练机器人。机器人学习基础知识。然后，他们利用这个“双手协作”系统，让机器人在模拟器中安全地练习并经历失败，从而学习如何自我修正。
- 类比： 机器人在玩一款电子游戏，它可以在其中撞毁一千次而不损坏任何东西。
现实世界微调（真实舞台）：
当他们将机器人移至现实世界时，由于物体很滑且很重，机器人仍然会犯错。与其从头开始重新训练整个机器人（这需要大量数据），不如使用少量的现实世界数据。
- “人工修正”步骤： 人类观察机器人执行任务。当机器人开始失败时（例如掉落杯子），人类会轻轻引导手部到达正确的位置。
- 神奇之处： RFS 系统能从这些修正中学习。它会意识到：“好吧，在现实世界中，我需要将‘大局观’旋钮稍微向左转一点，并使用‘精细调节’旋钮来抓得更紧。”

4. 结果：他们发现了什么？

论文测试了机器人处理困难任务的能力，例如：

打包： 将物品放入箱子。
堆叠： 在物体上方保持平衡。
倾倒： 倒液体而不洒出来。
抓取： 拿起各种物体。

研究发现：

优于仅有“肌肉记忆”的情况： 基础机器人（没有 RFS）在现实世界中经常失败。
优于其他 AI 方法： 其他试图修复机器人的方法，要么无法进行足够的策略改变，要么无法进行足够精确的修正。
RFS 胜出： 通过同时使用“大局观”和“精细调节”这两个拨盘，机器人在模拟和现实世界中都实现了更高的成功率（通常超过 80-90%），即使面对它从未见过的物体也是如此。

总结

残差流引导 (Residual Flow Steering) 就像是给了机器人一个智能副驾驶。

副驾驶可以在道路被封锁时重新规划整个行程（全局/噪声引导）。
副驾驶还可以转动方向盘以避开坑洼（局部/残差修正）。

通过结合这两种能力，机器人可以将它在虚拟世界中学到的知识，通过极少量的额外数据，快速适应混乱且不可预测的现实世界。

技术摘要：用于灵巧操控的残差流转向 (Residual Flow Steering, RFS)

问题陈述

模仿学习，特别是使用扩散（diffusion）和流匹配（flow matching）等具有表现力的生成模型，在为高维灵巧操控构建策略方面已证明非常有效。然而，仅在人类演示数据上预训练的策略在面对未见场景时往往表现出泛化能力有限，且需要微调才能达到稳健的、生产级的性能。

现有的适配方法面临着一种权衡：

监督微调（Supervised Fine-Tuning）： 需要高质量、经过精心筛选的专家数据，而这类数据的收集成本极高。
结合生成模型的强化学习（RL）： 虽然强化学习为通过奖励优化实现行为改进提供了原则性的框架，但标准的 RL 微调方法通常依赖于闭式似然（closed-form likelihoods）或重参数化技巧。这些方法与复杂的生成架构（如扩散/流模型）并不兼容。此外，现有的策略调制技术难以平衡全局探索与局部精度：
- 残差强化学习（Residual RL） 能够进行局部的动作修正，但无法诱导必要的全局行为变化。
- 扩散转向（Diffusion Steering，即输入调制） 允许全局调制，但在离分布（off-distribution）状态下提供的精细控制能力有限。

核心挑战在于：如何使预训练的生成策略能够适应新任务和现实世界动力学，同时保留预训练带来的全局探索优势，并实现对局部执行误差的快速修正。

方法论：残差流转向 (RFS)

作者提出了 残差流转向 (Residual Flow Steering, RFS)，这是一个数据高效的强化学习框架，它通过统一输入和输出调制来适配预训练的流匹配策略。

统一策略调制

RFS 将策略适配视为对预训练基础策略 $\pi_{base}$ （由流匹配速度场 $v_\theta$ 表示）进行调制，而不更新其底层参数。它共同优化两个组件：

潜噪声转向 (Latent Noise Steering，即输入调制)： 策略 $\pi_H$ 学习根据状态 $s$ 输出一个初始潜噪声向量 $a_0$ 。这可以转向生成模型的全局行为，使其能够改变模式（modes）并在演示流形之外进行探索。
残差动作修正 (Residual Action Correction，即输出调制)： 策略 $\pi_r$ 学习一个残差动作 $a_r$ ，并将其叠加到基础策略的输出上。这实现了精确的局部精炼，用以修正执行误差或处理偏离流形的需求。

最终动作计算如下：
$a = a_{base} + a_r$
其中 $a_{base}$ 是通过从受转向的潜噪声 $a_0$ 开始积分流动力学生成的。

实现流水线

该框架通过一个“仿真到现实”（sim-to-real）的流水线进行实例化：

仿真预训练： 在一小组通过 VR 遥操作获得的演示数据上训练基础流匹配策略。
仿真中的在线 RL： 使用在线 PPO 算法对 RFS 策略 ( $\pi_{RFS}$ ) 进行微调，以优化抓取成功率和稳定性。在此阶段使用特权状态信息（如物体位姿）来生成高质量的演示。
蒸馏： 将增强后的 RFS 策略蒸馏为以点云为条件的视觉运动策略，从而在部署时消除对特权状态信息的依赖。
现实世界离线微调： 为了弥合仿真与现实之间的差距，使用一小部分经人类修正的转换数据对蒸馏后的策略进行适配。
- 数据收集： 基础策略执行展开（rollouts）；人类介入并进行修正动作 ( $a_{human}$ )。
- 残差定义： 残差定义为 $a_r = a_{human} - a_{base}$ 。
- 训练： 使用 离线强化学习（具体为 TD3+BC）训练 RFS 策略。评论家（critic）是基于最终执行的动作 ( $a = a_{base} + a_r$ ) 而非分解后的组件进行条件的，作者发现这对稳定性至关重要。策略（actor）在最大化评论家价值的同时，对残差动作应用行为克隆正则项。

核心贡献

RFS 框架： 引入了残差流转向，这是一个统一的框架，通过共同优化潜噪声（用于全局适配）和残差动作（用于局部精炼）来适配预训练的流匹配策略。
有效的仿真预训练： 证明了 RFS 能够基于人类演示进行稳健的仿真预训练，成功捕捉了复杂的复指协调行为。
数据高效的现实世界适配： 验证了 RFS 支持通过离线 RL 进行现实世界微调，其性能优于基于模仿学习的引导方法以及标准的仅残差或仅转向的方法。
全面的消融实验： 通过广泛的实验确定了在仿真和现实设置中，两种调制组件对于实现高性能的必要性。

实验结果

仿真性能

RFS 在六项灵巧操控任务上进行了评估：抓取 (Grasping)、取放 (Pick & Place)、包装 (Packing)、推抓 (Push-to-Grasp)、堆叠 (Stacking) 和倾倒 (Pouring)。

基线模型： RFS 与扩散/流 RL 微调方法 (DPPO, ReinFlow)、离线到在线 RL (IQL, AWAC, Flow Q-Learning) 以及带演示的 RL (RLPD, IBRL) 进行了对比。
消融实验： 与仅残差 RL (Policy Decorator, ResiP) 和仅扩散转向 (DSRL) 进行了对比。
结果： RFS 在所有任务中均取得了最高的成功率，平均成功率为 0.87。
- 值得注意的是，在长程任务 (Packing) 和高精度任务 (Stacking, Pouring) 中，RFS 显著优于基础策略及所有基线模型，而其他方法在这些任务中表现崩溃或陷入困境。
- 例如，在堆叠任务中，RFS 达到了 0.95 的成功率，而基础策略为 0.15，DSRL 为 0.135。

现实世界性能

实验在配备 LEAP 手的 Franka 机械臂上进行，将仿真中训练的策略迁移到现实世界的抓取和取放任务中，涵盖了已知和未知的物体。

设置： 微调仅使用 50 个经人类修正的演示数据（离线 RL）。
基线模型： 零样本迁移 (Zero-shot transfer)、行为克隆 (BC) 微调以及协同训练 (Co-training)。
结果：
- 已知物体： RFS 在取放任务中达到了 90.0% 的成功率，在抓取任务中达到了 80.0%，优于协同训练 (60.0% / 83.3%) 和 BC (40.0% / 73.3%)。
- 未知物体： RFS 展示了卓越的泛化能力，在抓取任务中实现了 74.0% 的成功率，在取放任务中实现了 48.0% 的成功率，显著高于零样本基线 (43.3% / 30.0%) 及其他离线 RL 变体。
评论家设计： 作者发现，将评论家条件化为最终执行的动作 ( $a_{base} + a_r$ ) 是必不可少的；若基于分解后的组件进行条件化，则无法产生一致的结果。

意义与主张

论文声称 RFS 为生成式模仿学习中的“适配瓶颈”提供了一个原则性的解决方案。通过将全局探索（通过潜噪声）与局部精炼（通过残差）解耦，RFS 使策略能够：

保留预训练能力： 保留预训练流匹配策略的表达结构和多模态能力。
高效适配： 通过极少的现实世界交互数据（离线微调）实现稳健性能。
具备泛化性： 成功实现从仿真到现实世界的迁移，处理导致零样本策略失效的新颖物体和动态环境。

作者总结道，尽管 RFS 非常有效，但目前的局限性包括对点云观测的依赖（缺乏高层语义推理能力）以及对离线微调的限制，这限制了其在部署期间对动态变化情况的响应能力。