🤖 machine learning

VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching

该论文提出了价值引导流匹配（Value-Guided Flow Matching, VGFM），这是一个可扩展的离线强化学习框架，它将稠密基于价值的引导集成到具有表达能力的流匹配策略中，用于机器人控制，且无需通过时间的反向传播或额外的算法开销，在多种运动和操纵任务中均取得了强劲的性能表现。

原作者： Prajwal Koirala, Mark Campbell

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prajwal Koirala, Mark Campbell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人一直是重复性、可预测性任务的大师，但要教会它们处理现实世界中混乱且不可预测的多样性，仍然是一个棘手的挑战。多年来，研究人员一直试图通过向机器人输入庞大的过往动作库来解决这个问题，希望机器能够模仿人类的技能，而无需在现实世界中进行实际练习。这种被称为“离线学习”的方法提供了一条安全且高效的训练路径，但当机器人遇到与其训练数据略有不同的情况时，它就会撞上难以逾越的障碍。此时，机器人必须决定如何行动，这就像是在一个复杂的十字路口，驾驶员必须在左转、直行或穿梭于车流之间做出选择。传统方法难以捕捉这种丰富的选择多样性，往往迫使机器人走入一条单一且僵化的路径，从而在环境变化时失效。为了超越这些局限性，科学家们正转向生成式模型——一种能够想象出广泛可能行动谱系，而非仅仅给出单一结果的人工智能类型。

核心难点在于如何教导这些具有想象力的模型，使其不仅具备创造力，而且具备智慧。机器人需要知道在其许多想象出的行动中，哪一个真正能导致成功。过去，试图引导机器人的想象力走向良好结果的过程需要极高的计算量，因为计算机必须向后追溯机器人思维过程中的每一步，以查看哪里出了错。这种方式速度慢、稳定性差，且往往使训练过程过于复杂而难以规模化。康奈尔大学的研究人员现在引入了一种名为“价值引导流匹配”（Value-Guided Flow Matching）的新方法，它完全避开了这一瓶颈。该方法不再强迫计算机通过时间进行回溯，而是允许机器人在决策过程的每一个瞬间都接受引导，确保即使是其中间思维也在朝着成功的方向迈进。

由 Prajwal Koirala 和 Mark Campbell 领导的团队设计了一个系统，其中机器人的策略（即其移动策略）被构建成一种连续的“流”，而非一系列不连贯的跳跃。想象一条从源头流向目的地的河流；机器人从一个简单的、随机的移动想法开始，逐渐将其塑造成一个具体的动作。这里的创新之处在于，系统会在这条“河流”路径上的每一个点检查该动作的质量，而不仅仅是在终点。通过在每个中间步骤预测动作的最终目的地，系统可以应用一个“价值”信号——即衡量该动作好坏的标准——而无需拆解整个生成过程。这意味着机器人学会了持续地精炼其动作，由一个实时评估动作质量的“评论家”进行引导，同时避免了通过时间进行回溯所带来的沉重计算成本。

为了测试这一想法，研究人员使用了一个名为 OGBench 的标准基准测试，通过一系列严苛的挑战对该系统进行了测试，其中包括各种困难的任务。这些任务涵盖了使用四足机器人和类人机器人在复杂迷宫中导航，以及利用机械臂操控物体。在迷宫场景中，机器人必须在蜿蜒的走廊中寻找出路；而在操控任务中，则需要堆叠方块或在杂乱的环境中与物体互动。该系统是在静态的过往动作数据集上进行训练的，这意味着在学习阶段，它从未见过真实环境，只看到了记录的数据。结果令人瞩目：新方法在几乎所有这些多样化任务中，表现均一致优于或持平于现有的最佳技术。它在 AntMaze 和 HumanoidMaze 环境的导航中取得了极高的成功率，并在 Cube 和 Scene 操控任务所需的精确动作方面表现出色。

该方法的一个关键特性是其在实际使用过程中的灵活性。一旦系统训练完成，工程师可以在无需重新训练模型的情况下，调整生成单个动作时所使用的计算能力。研究人员发现，通过简单地增加计算机计算最终动作的步骤数，机器人就能执行更精确、更复杂的任务。这种在速度与精度之间的权衡对于现实世界的应用至关重要——例如，机器人在简单情境下可能需要快速移动，而在处理精细任务时则需要放慢速度以求精准。研究表明，这种可扩展性几乎没有带来额外的时间成本，使得机器人只需在决策瞬间使用更多的处理能力，就能变得更加富有表现力和能力。

这一方法的成功为机器人控制开辟了一条新路径，它平衡了对安全性、数据效率的需求与对复杂、适应性行为的需求。通过消除追踪每一步骤的沉重计算负担，研究人员使得训练能够处理长距离、复杂序列动作的机器人成为可能，并达到了此前难以企及的表现力水平。该系统并不依赖于魔法或捷径，它只是重新思考了如何应用引导，从而让机器人能够从整个决策旅程中获得密集的反馈流。随着机器人领域不断向能够在非结构化人类环境中运行的机器迈进，此类方法提供了一种规模化且有效的方式，用以教授机器人如何在充满可能性的世界中选择正确行动的微妙艺术。

技术摘要：VGFM —— 通过流匹配中的密集价值引导实现具有表现力的机器人策略

1. 问题陈述

离线强化学习（Offline RL）旨在利用预先收集的静态数据集来训练控制策略，以避免在线探索带来的安全风险和成本。该领域的一个核心挑战是分布偏移（distribution shift），即学习到的策略可能会选择分布外（OOD）的动作，从而导致不安全或无效的行为。为了缓解这一问题，通常需要对策略进行正则化，使其保持在行为分布附近。

生成式模型（如扩散模型和流匹配）的最新进展为策略提供了具有表现力的、多模态的表示能力，能够捕捉机器人数据集中复杂的行为多样性。然而，将这些生成式策略集成到基于价值的离线强化学习框架（如 DDPG+BC）中面临着显著的困难：

随时间反向传播（BPTT）： 标准的 Actor-Critic 框架要求计算价值函数对策略输出动作的梯度。当策略是一个多步生成过程（求解 ODE）时，这需要对整个生成轨迹进行反向传播。这会导致巨大的计算开销、数值不稳定性和内存成本，尤其是在高维或长时程任务中。
现有方案的权衡： 现有方法试图绕过 BPTT，但引入了其他局限性。例如，Flow Q-Learning (FQL) 将生成式策略蒸馏为单步网络，牺牲了推理时的可扩展性。其他方法（如 SORL、SSCP）要么在训练期间保留 BPTT，要么依赖辅助损失（蒸馏、快捷路径或补全损失），这些方法增加了训练复杂度并限制了多步生成的优势。

2. 方法论：价值引导的流匹配 (VGFM)

作者提出了 VGFM，这是一个可扩展的离线强化学习框架，它能够在无需 BPTT 或辅助蒸馏损失的情况下，在基于流的策略中实现密集的价值引导策略改进。

核心概念

VGFM 将策略参数化为动作空间中的条件流匹配模型。VGFM 并不将生成过程视为一个梯度必须从最终动作回传的黑盒，而是利用了 x-预测（x-prediction）形式。

流公式化： 策略定义了一个从潜噪声样本 $a_0$ 到终止动作 $a_1$ 的连续轨迹 $\{a_t\}_{t \in [0,1]}$ 。动力学由学习到的速度场 $u_\theta(s, a_t, t)$ 控制。
X-预测： 神经网络在任何中间时间步 $t$ 直接预测终止动作 $\hat{a}_\theta(s, a_t, t)$ 。速度通过解析方式恢复为 $u_\theta = (\hat{a}_\theta - a_t) / (1-t)$ 。

关键机制

动作空间有效性（引理 1）： 在 x-预测参数化下，网络在任何中间步骤 $t$ 的输出 $\hat{a}_\theta$ 都是动作空间 $\mathcal{A}$ 中的有效动作。至关重要的是，该预测可以直接由标准的、与时间无关的评论家（Critic） $Q_\phi(s, a)$ 进行评估，而无需对生成轨迹进行微分。
密集价值监督： 由于中间预测是有效的动作，该框架可以直接对这些中间预测应用标准的价值损失（最大化 $Q_\phi$ ）。这使得价值梯度可以在每一个采样的流步骤上引导策略，从而在无需 BPTT 的情况下实现密集的信用分配。
组合目标函数： 训练目标结合了两个项：
- 行为正则化 ( $L_{FM}$ )： 一个流匹配损失，将轨迹锚定在经验数据分布上，以确保保守性。
- 价值引导 ( $L_{\pi Q}$ )： 一个负 Q 损失，应用于采样时间步下的预测终止动作 $\hat{a}_\theta$ 。
  $L(\theta) = \alpha L_{FM}(\theta) + L_{\pi Q}(\theta)$
  该结构近似于 KL 正则化策略改进目标，其中 $L_{FM}$ 强制执行行为匹配，而 $L_{\pi Q}$ 实现价值引导。

推理与可扩展性

在推理阶段，通过对学习到的 ODE 进行数值积分（从 $t=0$ 到 $t=1$ ）来生成动作。VGFM 的一个关键特征是推理时可扩展性：可以通过增加集成步数 ( $T$ ) 来权衡计算量与性能（提高控制精度），而无需重新训练模型。

3. 主要贡献

价值引导的流公式化： 作者引入了一种将每一步流都解释为动作空间中回报优化决策的公式，在每一步都应用 DDPG+BC 式的目标，以实现价值引导的改进。
无 BPTT 的策略改进： 通过使用端点预测目标和速度空间损失，VGFM 实现了无需通过生成轨迹进行反向传播的策略改进，解决了密集价值引导与训练稳定性之间的矛盾。
可扩展且具表现力的性能： 该方法支持通过可调节的 ODE 离散化实现推理时可扩展性，并在多种机器人操控和运动任务中取得了强大的实证性能。

4. 实验结果

该方法在 OGBench 基准测试上进行了评估，涵盖了运动控制（AntMaze, HumanoidMaze, AntSoccer）和操控（Cube, Scene）环境中的 40 个不同任务。

性能： VGFM 在大多数任务组中达到了最优或接近最优的性能，始终能匹配或超越已有的基准方法，包括高斯方法（BC, IQL, ReBRAC）、基于扩散的方法（IDQL, CAC）以及其他基于流的方法（IFQL, FQL, SORL）。
训练效率： 该方法所需的超参数微调极少，仅依赖单个系数 ( $\alpha$ ) 来平衡正则化与价值引导，而不像其他方法需要多个辅助损失权重。
推理可扩展性： 通过改变 Euler 集成步数 ( $T \in \{1, 2, 5, 10\}$ ) 的实验表明，增加测试时计算量可以提高任务成功率和控制精度。值得注意的是，尽管函数评估次数增加，其墙钟推理时间仍与单步基准方法（如 FQL）相当，从而实现了实际的测试时扩展。

5. 意义与主张

本文声称 VGFM 为学习长时程、目标导向的机器人控制中的表现力策略提供了一种简单、可扩展且有效的方法。其意义在于：

解耦训练与推理复杂度： 它避免了训练期间 BPTT 的计算负担，同时保留了多步生成在推理时的灵活性。
消除辅助开销： 不同于需要蒸馏损失或快捷路径模型的先前工作，VGFM 仅依赖于核心的流匹配和价值引导项。
离线 RL 中的鲁棒性： 通过将行为正则化直接嵌入流参数化，并应用密集价值引导，它有效地解决了分布偏移问题，同时利用了生成模型的多模态能力。

作者将 VGFM 定位为一种实用的替代方案，它弥合了生成模型的表现力与离线强化学习所需的稳定性之间的鸿沟，特别是在动作多样性和多模态性至关重要的场景中。