🤖 machine learning

Learning When to Stop: Prefix-Optimal Dynamic Diffusion Policies for Continuous Control

本文引入了前缀最优生成策略（Prefix-Optimal Generative Policies, POGP），该框架通过学习一个前缀价值函数来实现扩散去噪过程的自适应提前停止，在显著降低计算成本的同时，也提升了连续控制任务中的最终性能。

原作者： Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

懂得何时止步的艺术

想象一下，你正在试图教一个机器人如何走路、跳舞或接球。长期以来，科学家们一直使用一种被称为**强化学习（Reinforcement Learning）的方法，这就像用零食训练狗狗：机器人尝试各种动作，如果做得好，就会得到一份“奖励”（零食），从而学会重复这些动作。最近，一种名为扩散（Diffusion）**的强大新技术变得非常流行。你可以把扩散想象成一位雕塑家，从一块充满噪点和静电感的粘土块开始，通过一点点剔除噪声，最终显现出一尊完美的雕像。在机器人的大脑中，这种“剔除”过程是通过一系列步骤完成的，将随机的猜测转化为平滑、精准的动作。

然而，这里有一个难点。目前这种做法就像是强迫雕塑家无论如何都必须对每一件作品进行恰好 20 次的剔除工作。如果机器人只是需要向前迈出简单的一步，那么进行 20 步的剔除就是浪费时间和精力。但如果机器人正试图从突然的推搡或湿滑的地板中恢复平衡，它可能迫切需要用完这 20 步才能做对。科学家们面临的大问题是：我们如何教会机器人知道什么时候已经“剔除”得足够了，可以停下来，从而将其能量保留在真正关键的时刻？

“智能雕塑家”解决方案

这篇论文介绍了一种名为 POGP（前缀最优生成策略，Prefix-Optimal Generative Policies）的新方法，它扮演着“智能雕塑家”的角色，学习如何判断自身的进度。POGP 不再只是等待 20 步过程结束才去观察雕像是否完美，而是教会机器人通过每一步来检查自己的工作。

它是如何运作的呢？我们可以用一个简单的类比：想象你正在写一个故事。在旧的方法中，你会写完整个故事，然后只看最后一句是否通顺。如果故事写得不好，你就必须重写整个故事。POGP 则不同，它教会作者在写作的过程中观察每一个段落。在每一步，机器人都会自问：“如果我现在停止写作，并将这一句作为结尾，这会是一个好故事吗？”

为了实现这一点，研究人员为机器人配备了一个特殊的“价值计量器”（称为前缀价值函数，Prefix Value Function），它与主学习过程同步运行。这个计量器会根据当前尚未完成的动作版本，预测最终动作的效果。如果计量器说：“嘿，这看起来已经很棒了，我们可以结束了！”机器人就会立即停止。如果计量器说：“这还是有点乱，继续加油，”机器人则会继续剔除噪声。

研究发现

研究人员在四个不同的虚拟机器人环境（例如奔跑的猎豹、平衡行走的人、以及爬行的蚂蚁）中测试了这个想法，并将其与 12 种其他顶尖方法进行了对比。结果令人印象深刻：

更聪明，而不只是更快： 通过教会机器人评估每一个中间步骤，最终的动作实际上变得比以前更好了。即使在被迫运行全部 20 步的情况下，POGP 的表现也比现有的最佳方法高出约 3.5%。这表明，在过程中检查你的工作不仅能节省时间，还能帮你做得更好。
节省电池： 真正的魔力发生在机器人可以选择何时停止的时候。在这些测试中，PPGP 能够将所需的步骤减少约 2.7 倍（这意味着它比标准的固定 20 步链条减少了大约 18.2% 的迭代次数），同时仍保持了 97.8% 的性能。
应对麻烦： 机器人学会了如何聪明地分配能量。在一项测试中，当机器人走得平稳时，它仅使用了约 3 到 5 步就做出了决策。但当研究人员突然推搡机器人使其失去平衡时，机器人会立即切换到使用 15 到 20 步来恢复平衡，只在真正需要时才投入额外的精力。

为什么这很重要

这篇论文表明，这种方法解决了让机器人走向实际应用的一个主要瓶颈。目前，机器人在处理简单任务时经常会浪费能量进行不必要的计算。POGP 展示了通过赋予机器人一种“倾听”自身进度的方式，它可以变得更加高效，同时不会丧失处理复杂、混乱情况的能力。这是迈向实用化机器人的重要一步——它们不再仅仅是遵循死板的脚本，而是知道在每一次动作中究竟该投入多少努力。

技术摘要：前缀最优生成策略 (Prefix-Optimal Generative Policies, POGP)

问题陈述

扩散策略（Diffusion policies）已成为连续控制领域的一类强大模型，能够表示复杂的、多峰的动作分布。然而，其实际应用受到显著计算瓶颈的阻碍：典型的去噪过程需要固定数量的 $K$ 次顺序神经网络评估，无论当前任务的难度如何。

标准的扩散训练仅优化终端输出（ $a_0$ ），使得中间去噪步骤（ $a_1, \dots, a_{K-1}$ ）处于无监督状态。因此，这些中间状态并未被训练为高质量、可执行的决策。这造成了训练与测试之间的不匹配（train-test mismatch）：如果为了满足实时性或边缘侧约束而提前截断推理，生成的动作往往是次优的。现有的动态扩散方法（如 D3P）试图通过学习一个独立的适配器来估计停止时间来解决这一问题，但它们并未优化中间步骤本身，导致停止准则与部分输出的实际质量之间存在脱节。

方法论

本文提出了 前缀最优生成策略 (POGP)，该框架通过联合训练扩散策略与一个 前缀价值函数 (Prefix Value Function, PVF)，以实现自适应计算并提升整个去噪链条中每一步的动作质量。

1. 前缀价值函数 (PVF)

POGP 为 $K$ 步去噪链（ $a_K \to \dots \to a_0$ ）中的每一个中间步骤 $t$ 引入了一个价值函数 $V_t(s, a_t)$ 。不同于评估环境状态-动作对的标准价值函数，PVF 估计的是从当前中间动作 $a_t$ 开始完成整个去噪链的预期回报。

定义： $V_t^\pi(s, a_t) := Q^\pi(s, \pi_{\text{full}}(s, a_t))$ ，其中 $\pi_{\text{full}}$ 代表从步骤 $t$ 运行去噪器直至 0 的结果。
训练机制： 为了避免 $O(K^2)$ 次 Rollout 带来的高昂代价，POGP 推导出了一个基于去噪链的 贝尔曼式递归 (Bellman-style recursion)。 $V_t$ 的目标值是终端动作的 Q 值与下一步自助（bootstrapped）价值的加权组合：
$V_t(s, a_t) = h \cdot Q(s, a_0) + (1-h) \cdot V_{t-1}(s, \pi_\theta(s, a_t, t))$
这里， $h$ 是一个均匀危险率（设置为 $1/K$ ）。这使得网络能够通过单个共享链在每个梯度步中学习中间步骤的价值。

2. 基于门控目标的联合优化

POGP 联合优化三个组件：

环境评论家 (Environment Critic, $Q$ )： 在环境转移上进行标准的双 Q 学习（double Q-learning）。
前缀评论家 (Prefix Critic, $V$ )： 通过上述危险贝尔曼递归进行训练。
执行器 (Actor, $\pi$ )： 通过 门控损失 (gated loss) 进行优化，该损失在最大化终端动作价值与保持高前缀价值之间取得平衡。门控调度 $w(n)$ 会延迟前缀监督，直到 PVF 趋于稳定，从而防止早期阶段的噪声破坏策略。

3. 动态停止与补全

在测试时，训练好的 PVF 提供了一个原则性的停止准则。当连续 $m$ 步的边际增益 $\Delta_t = V_{t-1} - V_t$ 低于阈值 $\epsilon$ 时，算法停止去噪。

补全映射 (Completion Map)： 由于截断后的动作（ $a_T$ ）可能包含残余噪声，POGP 训练了一个轻量级 MLP ( $g_\omega$ )，将这些截断动作投影向其完全去噪后的对应版本（ $a_0$ ），从而确保即使在链条提前停止时，生成的动作仍具有高质量且可执行。

核心贡献

前缀价值函数： 一种通过在去噪链上进行 TD 自助训练的新型价值函数。它作为一个辅助目标，将中间输出塑造为高质量、可执行的动作，解决了标准扩散模型中“中间步骤无监督”的问题。
学习型早期停止： 一种直接源自连续前缀价值差异的停止规则。这消除了对独立、解耦的停止网络的依赖，使策略能够根据预测的进一步细化所带来的边际效用，自适应地分配计算资源。
经验验证： 该方法证明，监督中间步骤作为一个有益的辅助目标，不仅能提高全链条性能，还能提升整体表现。

实验结果

作者在四个 MuJoCo 环境（HalfCheetah, Walker2d, Ant, Hopper）中对 POGP 进行了评估，对比了 12 种基线模型，包括经典强化学习方法（TD3, SAC, PPO）和最先进的扩散策略（Diff-QL, D3P, SDAC）。

全链条性能： 当强制运行完整的 $K=20$ 步时，POGP 优于所有基线模型，实现了 0.942 的四分位平均值（IQM，95% 置信区间：[0.91, 0.97]）。这比表现最好的基线（SDAC）提升了约 4.6%，比动态基线 D3P 提升了 3.5%。
自适应计算效率： 在采用自适应停止规则的情况下，POGP 将平均去噪迭代次数减少了约 2.7 倍（例如，在 HalfCheetah 上从 20 步减少到约 6.8 步），同时保留了 ≥97.8% 的全链条性能。
与 D3P 的比较： POGP 的回报比 D3P 高出 3.5%，同时迭代次数减少了 18.2%。与 D3P 在常规状态下仍保持较高迭代次数不同，POGP 在稳态运动期间会将计算量动态降低至约 3–5 步，仅在从扰动中恢复时才会增加到 15–20 步。

重要意义

论文声称，POGP 通过将可变扩散深度视为策略优化的第一类对象，弥合了自适应计算与强化学习之间的鸿沟。其重要性在于双重收益：

效率： 它实现了在不牺牲性能的前提下大幅节省计算资源（高达 2.7 倍），使扩散策略在实时和边缘侧部署中变得可行。
质量： 前缀训练作为一种正则化辅助目标，提升了最终终端动作的质量，这表明中间监督对于学习鲁棒策略本质上是有益的，且独立于早期停止机制。

这项工作确立了中间去噪步骤可以被优化为可执行的决策，解决了截断扩散推理中固有的训练-测试不匹配问题。