🤖 machine learning

Drift Q-Learning

DriftQL 是一种新颖的离线强化学习方法，它将基于漂移的行为正则化器与由评论家驱动的策略改进结合在单个网络中，从而通过单次前向传播高效地生成动作，在 D4RL 和 OGBench 上实现了最先进的性能，同时证明了其相比于扩散和流模型在应对退化数据质量方面具有更优越的鲁棒性。

原作者： Anas Houssaini, Mohamad H. Danesh, Amin Abyaneh, Scott Fujimoto, Hsiu-Chin Lin, David Meger

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anas Houssaini, Mohamad H. Danesh, Amin Abyaneh, Scott Fujimoto, Hsiu-Chin Lin, David Meger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一段以往机器人的尝试视频，来教一个机器人如何穿过迷宫。你不能让这个新机器人尝试新的事物，因为它可能会撞车；它必须严格地从那段旧视频中学习。这就是**离线强化学习（Offline Reinforcement Learning）**的挑战。

这个问题非常棘手：旧视频可能会显示机器人在原地转圈或撞墙（糟糕的行为）。如果新机器人试图变得“太聪明”，发明出一条新路径，它可能会踏入一个“禁区”，即旧数据不存在的区域。在这些未知区域，机器人的“计分卡”（价值估计）是不可靠的，它可能会不小心做出极其糟糕的动作。

旧方法：缓慢的迭代艺术家

以往的方法试图通过使用**扩散（Diffusion）或流（Flow）**模型来解决这个问题。把它们想象成试图用雕刻刀从大理石块中雕刻出雕像的雕塑家。

他们从一个随机的噪声团开始。
他们一步步、反复地一点点削减，不断精炼形状，直到它看起来像视频中的一个有效动作。
缺点： 这很慢。就像雕刻一样，需要许多步骤才能得到最终结果。为了让它更快，研究人员有时会尝试进行“蒸馏”（教一个学生去模仿雕塑家），但这增加了复杂性，并且需要额外的设备。

新方法：DriftQL（“漂移”指南针）

作者提出了 DriftQL，它就像是给了机器人一个智能的一步式指南针，而不是一个雕刻工具。

以下是 DriftQL 的工作原理，使用一个简单的公园里人群的比喻：

目标： 机器人需要选择一个动作（移动的方向），这个动作应该是可能很好的（高奖励），但必须留在公园的边界之内（即它所见过的数据范围内）。
“吸引”力（磁铁）： 想象机器人生成了几个关于移动方向的随机猜测。DriftQL 有一种磁力，将这些猜测拉向视频数据集中实际出现的路径。这确保了机器人不会游荡到森林里（超出分布范围）。
“排斥”力（个人空间气泡）： 如果机器人仅仅跟随磁铁，它的所有猜测都会塌缩成一个极小的点。为了防止这种情况，DriftQL 添加了一个“个人空间”规则。如果机器人的猜测靠得太近，它们就会互相推开。这让机器人能够探索一组多样化的安全选项，而不是仅仅困在一条路径上。
“价值”偏差（计分卡）： 最后，机器人查看它的“计分卡”。如果某个特定区域有高奖励（比如藏宝箱），指南针会微妙地将磁力向这个高价值区域倾斜。

神奇的技巧：
不像那些雕塑家（扩散/流模型）需要 20 或 50 个步骤来精炼答案，DriftQL 只需一个步骤即可完成这一切。它能瞬间计算出完美的“漂移”（推力和拉力），并立即输出动作。

为什么这很重要

论文声称 DriftQL 兼具了两者的优点：

它具有表现力： 像那些缓慢的雕塑家一样，它可以处理复杂的、多路径的情况（比如有很多可能解决方案的迷宫）。
它很快： 像一个简单的确定性机器人一样，它能在瞬间生成答案。没有缓慢的雕刻过程，没有额外的“学生”网络，也没有复杂的数学求解器。
它很鲁棒： 当视频数据“不干净”（充满了随机的、糟糕的动作）时，DriftQL 依然能保持良好的工作状态，而其他方法则会挣扎并失败。

实验结果

作者在标准的机器人基准测试（D4RL 和 OGBench）上测试了该方法。

性能： DriftQL 始终优于那些缓慢的多步方法和更简单的算法。它在最难的导航任务中表现尤为出色。
速度： 在决策时间方面，由于跳过了漫长的迭代步骤，DriftQL 的决策速度大约比其他先进方法快 2 到 4 倍。
简洁性： 它通过单个网络和单次前向传播就实现了如此高的性能，这使得训练和运行都更加简单。

简而言之，DriftQL 提供了一种从旧数据中教导机器人的新方法，它比简单的算法更聪明，但比复杂的、多步的方法更快且更简单。它利用“推与拉”的机制来保持机器人的安全与高效，且这一切只需匆匆一瞥即可完成。

技术摘要：Drift Q-Learning (DriftQL)

问题陈述
离线强化学习（Offline Reinforcement Learning, RL）旨在从固定的数据集中学习最优策略，而无需进一步与环境交互。这一领域的核心挑战是“分布外”（out-of-distribution, OOD）问题：在静态数据上训练的价值函数会对数据集中不存在的动作产生不可靠的估计。为了缓解这一问题，需要进行行为正则化，将学习到的策略约束在数据分布附近，同时仍允许其向高价值动作进行改进。

现有的利用生成式模型（如扩散模型和基于流的模型）的解决方案虽然能有效建模行为分布的多模态结构，但存在显著的实际局限性：它们在推理时需要迭代去噪或沉重的求解器集成，导致执行速度缓慢。虽然存在基于蒸馏的替代方案来加速推理，但这些方案通过引入额外的网络和两阶段训练流程增加了复杂性。

方法论
作者提出了 Drift Q-Learning (DriftQL)，这是一种结合了基于漂移（drift-based）的行为正则化器与评论家驱动（critic-driven）策略改进的一步生成方法。DriftQL 构建于“漂移模型”（Drifting Models）框架之上，该框架学习从先验噪声和条件信号到数据的直接一步推前映射（one-step pushforward map）。

DriftQL 的核心是一个随机策略网络 $f_\theta(s, \epsilon)$ ，它将状态 $s$ 和高斯噪声 $\epsilon$ 映射为动作 $a$ 。其训练目标通过两种主要机制将分布建模与奖励寻求统一起来：

条件漂移场（Conditional Drift Field）： 策略受一个由两种相反力量组成的条件漂移场监督：
- 吸引力 ( $V^+$ )： 将生成的动作拉向观测到的数据集动作（行为克隆）。在离线 RL 设置中，通常每个状态对应一个观测到的动作，因此这简化为生成的动作与数据集动作之间的直接向量差。
- 排斥力 ( $V^-$ )： 将生成的动作彼此推开。这防止了策略坍缩到单一模态（即数据集动作）上，并保持了在高价值区域内的候选动作多样性。排斥力是通过对单个状态生成的 $N$ 个候选动作进行核加权均值漂移（kernel-weighted mean-shift）计算得出的。
评论家驱动的改进（Critic-Driven Improvement）： 与用于无条件生成的标准漂移模型不同，DriftQL 引入了基于价值的目标。一个截断双 Q 评论家（clipped double-Q critic）用于估计动作的价值。策略网络最小化一个组合损失：
$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$
其中 $L_{drift}$ 是漂移损失（将动作回归向漂移目标），而 $L_Q$ 是负期望 Q 值。价值梯度引导策略向数据支持集中的高价值区域偏移，允许策略在数据中存在多个高价值模态时向其集中。

核心贡献

一步生成策略： DriftQL 通过单次前向传播生成动作，消除了扩散模型和基于流的模型所需的迭代去噪链、ODE 求解器或蒸馏阶段。
统一训练目标： 该方法将行为正则化（通过漂移场）和策略改进（通过 Q 评论家）整合到一个具有统一损失的单一网络中，避免了多阶段训练流程的复杂性。
模态选择与多样性： 结合吸引力（趋向数据）和排斥力（候选动作之间）的设计，使得策略在训练期间能在候选动作间维持质量分布，同时收敛至高价值模态，防止了向单一确定性动作的坍缩或向不支持区域的散射。

实验结果
DriftQL 在 D4RL 和 OGBENCH 基准测试上进行了评估，涵盖了连续控制、导航和操纵任务。

性能： 在 78 个离线学习任务中，DriftQL 的表现持续优于或匹配最先进的扩散和基于流的基准模型（如 Diffusion-QL, FQL, IDQL）。它在长程导航任务（如 antmaze-large-st, antmaze-giant-st）和复杂的操纵任务中表现出特别强劲的增益。
鲁棒性： 在数据质量退化（通过用随机噪声替换部分动作来模拟）的情况下，DriftQL 保持的表现比竞争方法更接近其干净数据的基准线，而竞争方法在噪声增加时表现出明显的挣扎。
效率： 在推理延迟方面，DriftQL 比 FQL 快约 2 倍，比 Diffusion-QL 快约 3 倍，比 IDQL/IFQL 快约 4 倍。它无需单独的蒸馏阶段即可实现这一目标。由于成对核计算的存在，训练成本随生成样本数 ( $N$ ) 缩放，但与扩散模型的迭代去噪开销相比，其成本仍然处于较低水平。

意义与主张
论文将 DriftQL 定位为扩散和基于流的离线 RL 方法的一个极具前景的替代方案。它声称能够兼具生成模型的表达能力（处理多模态分布）以及确定性方法的简洁性与高效性（单次前向传播）。

作者认为，DriftQL 成功地调和了离线 RL 中相互竞争的目标：它将策略约束在数据支持集内以确保可靠的价值估计，同时允许向高奖励区域进行改进。通过消除迭代采样的计算开销，DriftQL 为对推理速度要求极高的实际部署提供了一个更实用的解决方案，同时保持了对数据损坏的鲁棒性。这项工作表明，“漂移”为离线 RL 提供了一个有用的“中间地带”，既能提供随机的、分布式的训练信号，又不会带来多步生成策略在测试时所伴随的计算成本。

旧方法：缓慢的迭代艺术家

新方法：DriftQL（“漂移”指南针）

为什么这很重要

实验结果

技术摘要：Drift Q-Learning (DriftQL)

类似论文