🤖 machine learning

Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow

本文提出了漂移场策略（DFP），这是一种非常微分方程的一步生成策略，通过将更新表述为反向 KL 散度 Wasserstein-2 梯度流，结合动作价值上升与得分匹配信任区域，在机器人操作任务上实现了最先进的性能。

原作者： Juil Koo, Mingue Park, Jiwon Choi, Yunhong Min, Minhyuk Sung

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Juil Koo, Mingue Park, Jiwon Choi, Yunhong Min, Minhyuk Sung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机械臂执行一项精细任务，比如堆叠积木或拿起一个罐子。你拥有一段人类完成该任务的视频（即“离线”数据），但机器人需要通过在现实世界中尝试各种操作来变得更强（即“在线”阶段）。

问题在于，大多数现有的机器人“大脑”都构建得像复杂的装配线。为了决定下一步做什么，它们会在脑海中运行一个漫长、多步骤的模拟，计算出从“开始”到“结束”的路径，然后才移动肌肉。如果你告诉它们：“嘿，那个动作很棒！”（即奖励信号），这条信息必须沿着整条装配线一路回溯，才能更新计划。这既缓慢，信息在途中又会被稀释或混淆。

漂移场策略（Drifting Field Policy, DFP） 是一种教机器人的新方法，它完全跳过了装配线。以下是其工作原理，使用简单的类比说明：

1. “漂移”隐喻：人群协同移动

与其让机器人计算复杂的路径，不如将机器人可能的动作想象成大房间里的一群人。

目标：你希望这群人向“好”动作（高奖励）移动，远离“坏”动作。
旧方法（基于常微分方程 ODE）：旧方法将人群视为沿着漫长蜿蜒峡谷流动的河流。要改变河流的流向，你必须从顶到底重塑整个峡谷的地面。这是一个沉重且缓慢的过程。
DFP 方法：DFP 将人群视为一个漂移场。想象人群站在平坦的地面上。你不需要峡谷。你只需一次性轻柔地推动整个群体朝正确的方向移动。这是一个“单步”动作：你看到目标，然后直接将人群推向那里。

2. “磁铁与排斥器”机制

DFP 如何知道该往哪个方向推？它使用两种力，就像磁铁和排斥器：

磁铁（吸引）：它将机器人的动作拉向它迄今为止看到的“最佳”动作。在论文中，这是通过查看“评论家”（评判者）认为最好的前几个动作来实现的。
排斥器（推开）：它将机器人的动作从它当前所在的位置推开，但仅当它陷入糟糕境地时。这防止机器人仅仅复制自己的错误或困在一个地方（即所谓的“模式崩溃”问题）。

3. “Top-K"捷径

理想情况下，机器人应该从每一个可能的动作中学习，但在数学上完美计算所有动作是不可能的。

论文的技巧：DFP 不使用试图计算所有动作完美平均值的方法，而是采用一个简单的捷径："Top-K"。
想象机器人生成了 16 个关于该做什么的随机猜测。"Top-K"方法直接说：“忽略最差的 12 个猜测。让我们只从最好的 4 个中学习。”
论文证明，只关注这些表现最佳的猜测，其效果几乎等同于进行不可能实现的完美数学计算，而且计算起来要容易得多。

4. 为何胜出

作者在 12 种不同的机器人任务（如抓取、堆叠和移动立方体）上测试了该方法。

速度：因为它无需运行漫长、多步骤的模拟，所以它能瞬间（单步）做出决策。
性能：它学习得更快，并且在任务表现上优于之前的“装配线”方法。即使在需要长动作链的非常困难的任务中（例如按特定顺序移动四个立方体），DFP 也是明显的赢家。

总结

将漂移场策略想象为一位教练，他不会让运动员在纠正之前排练整个战术 10 次。相反，教练观察运动员，从一系列可能性中挑选出少数几个最佳动作，然后说：“做这个。”这是一种直接的、单步的推动，能让机器人比旧有的复杂方法更快、更可靠地到达正确的动作。

核心要点：该论文声称，通过改变机器人“大脑”的构建方式（从长路径变为直接推动），并仅关注少数几个最佳猜测，机器人可以更高效地学习复杂任务。

技术摘要：漂移场策略（DFP）

问题陈述

本文解决了连续控制中离线到在线强化学习（RL）的挑战。尽管生成式策略（如扩散模型和流模型）已成功捕捉离线行为克隆中的多模态动作分布，但在利用在线奖励信号进行微调时，它们面临结构性限制。

具体而言，基于常微分方程（ODE）的生成式策略（包括单步变体）将策略参数化为时间索引的速度场或随机过程。当在动作层面定义奖励信号时，该信号必须通过整个 ODE 轨迹反向传播。这产生了一个非平凡的输出到轨迹的信用分配问题，即奖励信号分散在积分路径上，而非直接作用于动作输出。即使是这些模型的“单步”变体，在训练期间仍保留这种 ODE 依赖性，需要全局重新拟合速度场以适应不断变化的目标分布。

方法论

作者提出了漂移场策略（DFP），这是一种基于漂移模型范式的非 ODE 单步生成式策略。

核心架构

DFP 将策略 $\pi_\theta(\cdot|s)$ 定义为从先验分布 $p_\epsilon$ 到动作空间的单次前向推映射 $f_\theta(\cdot, s)$ 。与扩散模型或流模型不同，DFP没有时间变量；网络直接输出动作。

理论框架：Wasserstein 梯度流

策略更新被框架化为朝向软目标策略 $\pi^+$ 的反向 KL Wasserstein-2 梯度流（WGF）。

目标策略：理想的软策略改进目标是 $\pi^+(a|s) \propto \pi_{old}(a|s) \exp(Q_\phi(s, a)/\alpha)$ 。
漂移场：更新利用漂移场 $V_{p,q} = V^+_p - V^-_q$ $V_{p, q} = V_{p}^{+} - V_{q}^{-}$ ，其作为 WGF 的粒子速度。
- $V^+$ 将样本吸引至目标分布。
- $V^-$ 将样本从当前模型分布排斥。
梯度分解：作者推导出理想漂移场可分解为两个分量：
- $\nabla_a Q$ 上升：指向更高动作价值区域的方向，由温度 $\alpha$ 缩放。
- 分数匹配：一个信任区域项，用于匹配锚定策略 $\pi_{old}$ 的分数，防止策略偏离行为分布过远。

可处理的代理：Top-K 监督

由于理想目标 $\pi^+$ 涉及不可处理的归一化常数且无法直接采样，作者提出了一种可处理的代理损失：

机制：该方法不从 $\pi^+$ 采样，而是从锚定策略 $\pi_{old}$ 中抽取 $N$ 个候选动作，并基于评论家的 $Q$ 值选择Top- $K$ 个动作。
损失函数：训练目标变为对这些 $K$ $K$ 个自生成候选动作的行为克隆任务。损失是以下两者的组合：
1. $L_{BC}$ ：针对回放缓冲区的漂移损失（锚定数据）。
2. $L_{top-K}$ ：针对 Top- $K$ 评论家选择动作的漂移损失（策略改进）。
理论保证：论文证明，只要核函数是 Lipschitz 连续的且 $Q$ 分布在分位数处具有严格正密度，该代理相对于理想策略改进损失具有有界近似误差。

主要贡献

漂移模型在 RL 微调中的首次应用：本文引入了 DFP，将漂移场更新框架化为概率空间上的 Wasserstein-2 梯度流方向。这使得无需 ODE 积分即可直接下降至软策略改进目标。
可处理的 Top-K 代理：作者推导出了针对不可处理的软策略更新的一种简单有效的代理。他们证明了该代理具有有界近似误差，并表明这种监督机制对于漂移骨干网络而言，相较于基于 ODE 的骨干网络具有独特的有效性。
相对于 ODE 策略的结构性优势：论文强调，DFP 直接在动作输出空间进行梯度下降。相比之下，基于 ODE 的策略必须全局重新拟合速度场，将奖励信号分散在轨迹上。这种区别使得 DFP 能够更高效地适应变化的目标。
最先进的性能：大量实验表明，DFP 优于现有的基于 ODE 的生成式策略（如 QC-FQL、MVP）和多步基线。

实验结果

该方法在 Robomimic 和 OGBench 基准测试的 12 个操作任务上进行了评估。

性能：DFP 实现了 95.8% 的平均成功率，在 12 个任务中的 9 个任务中排名第一，在其余 3 个任务中排名第二。
对比：它比最强的基线 QC-FQL（86.8%）高出 +9.0 个百分点。它也超越了最佳多步策略 QC-BFN（83.8%） +12.0 个百分点。
消融研究：
- 骨干网络与损失：当应用于 MeanFlow（基于 ODE）骨干网络时，Top-K 监督仅带来边际提升（+2.4 个百分点）。然而，在漂移骨干网络上，相同的监督带来了显著提升（+7.4 个百分点），证实了 Top-K 监督与非 ODE 参数化之间的协同作用是 DFP 独有的。
- 鲁棒性：该方法对 Top-K 损失权重（ $\lambda$ ）和所选候选数量（ $K$ ）的变化表现出鲁棒性。
效率：DFP 保持了单步推理的低延迟优势，仅需一次前向传播，与其他单步基线相比，训练开销可忽略不计。

意义与主张

论文声称，DFP 代表了离线到在线 RL 的重要进步，解决了基于 ODE 的生成式策略固有的信用分配负担。通过完全绕过轨迹积分，DFP 允许奖励信号直接在动作层面起作用，从而实现更高效、更稳定的微调。

作者强调，他们的方法特别有利于长视野、多模态任务（例如立方体三任务和立方体四任务），在这些任务中，仅靠多步行为克隆是不够的，而基于 ODE 的信用分配则面临困难。这项工作建立了一个新范式，其中最初为图像生成提出的“漂移”机制，可以被严格解释为策略优化的 Wasserstein 梯度流，为连续控制提供了比扩散和流策略在结构上更优越的替代方案。

作者指出的局限性：

当前评估仅限于模拟的连续动作操作任务。
扩展到高分辨率观测和仿真到现实的部署是未来的工作。
性能取决于学习到的评论家的质量，这是演员 - 评论家方法的共同局限。
对非 ODE 与 ODE 参数化之间区别的更深入理论理解仍然是一个未决问题。