🤖 machine learning

Decoupling Policy Extraction for Offline Reinforcement Learning

本文提出了一种用于离线强化学习的“解耦策略提取”范式，该范式通过训练一个演员来生成受行为支持的候选动作，并使用一个独立的评论家在推理阶段对其进行重排序，从而将行为建模与策略改进相分离，进而克服了耦合式演员-评论家训练的局限性，并超越了现有方法。

原作者： Xuyao Lin, Yixiang Shan, Jinru Duan, Tao Yang, Xinyu Zhao, Runyu Lei, Yiming Zhao, Jiaxin Fan, Zongbao Feng, Peng Jia

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuyao Lin, Yixiang Shan, Jinru Duan, Tao Yang, Xinyu Zhao, Runyu Lei, Yiming Zhao, Jiaxin Fan, Zongbao Feng, Peng Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一名学生正在学习驾驶汽车，但他们不是坐在方向盘后感受路面，而是被迫只能研究一段完美的驾驶员进行的静态视频。他们无法犯错，无法尝试新的转弯，也无法从现实世界中获得反馈。这就是离线强化学习（offline reinforcement learning）所面临的挑战，这是一个人工智能仅利用过去收集的一组固定数据来学习如何做出决策的领域。在这种设定下，计算机必须设法在从未能在现实中测试这些新想法的情况下，学会做得比它所看到的范例更好。教导这些系统的传统方法涉及两个在紧密循环中工作的部分：一部分学习什么是好的动作，另一部分学习如何执行这些动作。第一部分不断引导第二部分，告诉它去尝试那些看起来有价值的动作。然而，由于数据在时间中是冻结的，这种引导可能会变得危险。如果“什么是好的”这一部分犯了错，高估了一个冒险的举动，那么“如何执行”这一部分就会尝试去做它，从而强化错误，并进一步偏离安全、经过验证的行为。

Simplexity Robotics 和应用设计研究学院（Rensseler Polytechnic Institute）的一个研究团队提出了一种解决此问题的新方法，他们建议这两个部分在学习阶段应该停止相互交谈。在他们的新方法中，他们将从数据中学习任务与选择最佳动作的任务完全分离。首先，他们训练一个模型，仅用于模仿数据集中发现的行为，就像一个完美的复制者，既不尝试改进，也不试图猜测新的策略。这个模型会生成一系列已知的、由数据支持的安全动作列表。然后，一个独立训练用于判断价值的单独系统会观察这个列表，并从中选出执行的最佳选项。通过打破通常连接这两者的反馈循环，研究人员发现他们可以避免放大误差的陷阱。他们在三十个复杂的任务（从虚拟迷宫导航到机械臂操控）中的实验表明，这种分离的方法始终优于传统的、紧密耦合的方法。在某些情况下，成功率从不到一半跃升至接近百分之七十，这证明了有时，最好的改进方式是在学习过程中停止试图改进学习者。

研究人员确定的核心问题在于标准人工智能系统如何从固定数据中学习。在典型的设置中，系统有一个“评论家”（critic）来估计动作的价值，以及一个“演员”（actor）来学习如何执行它们。评论家告诉演员哪些动作是好的，而演员则尝试去做。在机器人可以持续与环境互动的真实场景中，这种方法效果很好，因为如果评论家犯了错，演员的新尝试会产生新的数据来纠正错误。但在离线学习中，数据集是锁定的。如果评论家误认为一个危险的动作是有价值的，演员就会尝试去做它，由于没有新数据到达来纠正评论家，错误就会恶化。演员会漂移到数据从未覆盖的动作空间区域，研究人员称之为“分布外放大循环”（out-of-distribution amplification loop）。为了防止这种情况，现有的方法通常试图强迫演员保持靠近原始数据，但这产生了一个困难的权衡：如果你对演员的约束过多，它甚至无法在安全数据范围内找到最好的动作；如果你让它走得太远，它就会陷入错误循环。

为了解决这个问题，研究人员将过程解耦了。他们训练演员只做一件事：建模数据集中发现的动作分布。他们完全不允许评论家影响演员的训练。一旦这个“提议者”（proposer）模型训练完成，它就会被冻结，这意味着它永远不会再改变。当机器人需要做出决策时，提议者会生成一小组候选动作，所有这些动作都是基于安全的、已观察到的数据。一个独立训练用于判断价值的单独评论家随后会查看这个特定的列表，并选出得分最高的选项。这把改进的工作从训练阶段转移到了决策时刻。系统不再试图调整演员的大脑使其变得更好，而是简单地生成几个安全的选项，然后让裁判挑选赢家。这种方法意味着评论家不再需要担心演员会漂移到危险区域，因为演员根本不被允许发生漂移。评论家只需要对提供的安全选项进行排序即可。

实验结果令人瞩目。研究人员在三十个涉及目标导向行为的任务上测试了他们的方法，例如让一只机器人蚂蚁在大型迷宫中导航，或让一个类人机器人穿过复杂环境。他们将这种解耦方法与保持演员和评论家相连的标准技术进行了对比。在名为 AntMaze-Large 的导航任务中，使用特定类型价值学习器的传统方法成功率约为百分之三十一。当研究人员使用相同的价值学习器应用其解耦方法时，成功率上升到了百分之四十九。在涉及立方体的操控任务中，改进更为显著，解耦方法的成功率达到了百分之七十九，而传统方法仅为百分之二十一。或许最令人惊讶的是，研究人员发现，即使是一个非常简单、基础的价值学习系统，在离线设置中通常表现挣扎，但在与这种解耦选择过程配对时，也变得非常高效。在一个解谜任务中，一个简单的价值学习器结合他们的这种方法实现了百分之百的成功率，大大超越了更复杂的标准系统。

研究还通过检查系统在允许查看更多选项时的情况，揭示了为什么这种分离方法如此有效。研究人员发现，让提议者生成几个候选方案，而不是仅仅一个，可以让系统更彻底地探索数据的安全区域。然而，这存在一个极限。如果系统生成的候选方案过多，包含一个风险性的、分布外的动作的可能性就会增加，且价值判断系统可能会误选它。通过调整候选数量，可以找到最佳平衡点，这是一个可以在不重新训练整个系统的情况下进行调整的单一设置。这种灵活性是相对于传统方法的一个显著优势，因为传统方法通常需要昂贵的重新训练来修复安全与性能之间的平衡。研究人员指出，这种方法对于大规模机器人系统特别有前景，因为重新训练一个庞大的模型在计算上是非常昂贵的。通过保持主模型冻结，并仅使用一个轻量级的价值系统来进行最终选择，该方法提供了一条实现更好性能的计算高效路径。

研究人员承认，这种方法有一个边界：系统只能从冻结的提议者能够生成的动作中进行选择。如果最好的可能动作从未在原始数据中出现过，系统就无法创造它。然而，在可能性的范围内，解耦方法始终比传统的耦合方法找到了更好的解决方案。这项工作表明，在从静态数据中学习时，长期以来认为学习与改进必须在单个循环中同时发生的观点，可能是不必要的，甚至是不理想的。通过将安全选项的生成与最佳选项的选择相分离，研究人员为人工智能如何从过去中学习而不被自身的错误所困扰，提供了一条更清晰、更稳定的路径。研究结果表明，对于离线学习，最有效的策略可能是在训练期间不要试图教演员变得聪明，而是让它仅仅记住过去，将改进的工作留给决策时刻的一个独立的、批判性的眼睛。

技术摘要：离线强化学习中的策略提取解耦

1. 问题陈述

离线强化学习（Offline RL）通常采用耦合的 Actor-Critic 架构，其中 Critic 指导 Actor 向更高价值的动作演进。虽然这在在线强化学习中非常有效（因为改进后的 Actor 可以生成新数据来修正 Critic），但这种范式在数据集固定的离线设置中面临着根本性的局限。本文指出了由这种耦合训练引起的两个主要问题：

OOD 放大循环（OOD Amplification Loop）： 在离线 RL 中，Actor 无法生成新数据来验证 Critic。如果 Critic 高估了分布外（OOD）动作的价值，Actor 就会将策略转向这些动作。这种偏移使 Actor 进一步暴露在 Critic 不再可靠的区域，从而形成一个自我强化的反馈循环，放大估计误差并驱动策略偏离数据分布。
支持度与价值的权衡（Support–Value Trade-off）： 为了缓解 OOD 漂移，现有方法通常采用保守的价值估计或行为克隆正则化。然而，这产生了一个难以调和的权衡：约束过弱无法抑制 OOD 动作，而约束过强则会阻碍策略在数据支持区域内选择高价值动作。因此，用于分布支持的保守程度与最大化任务性能所需的保守程度往往并不一致。

2. 方法论：解耦策略提取

作者提出了一种**解耦策略提取（Decoupled Policy Extraction）**范式，将行为分布建模与策略改进过程分离。该方法由三个截然不同的组件组成：

冻结的行为克隆 Actor（提议者/Proposer）： Actor 仅通过在离线数据集上进行行为克隆（最大似然估计）进行训练。训练完成后将其冻结，不再接收来自 Critic 的监督信号（即不接收来自 Critic 的奖励、优势函数或梯度）。其唯一功能是建模数据集的动作分布，并在推理时提出 $N$ 个候选动作。
独立学习的 Critic： Critic 使用标准的离线 RL 目标（如 Q-Learning、IQL 或 TRL）独立进行训练。至关重要的是，Critic 不会更新 Actor。其角色被限制为评估并对冻结 Actor 提出的候选动作进行排序。
推理时重排序（Inference-Time Reranking）： 策略改进是在推理阶段显式实现的，而非通过训练时的 Actor 更新。系统从冻结的 Actor 中采样 $N$ 个候选动作，并选择根据 Critic 估计价值最高的那个。

这种设计将 OOD 控制的负担从复杂的训练时正则化转移到了一个可调的推理时参数上：候选预算 $N$ 。通过将 Critic 的选择限制在行为支持的候选集合内，降低了对激进保守正则化的需求。

3. 核心贡献

范式重审： 本文挑战了离线 RL 中 Actor 端策略改进是必要的这一普遍假设。研究表明，将策略改进与 Actor 训练解耦可以有效地避免 OOD 放大循环和支持度-价值权衡。
实证验证： 作者在 30 个离线目标条件任务中，使用多种 Critic 后端（Q-Learning、IQL、TRL）实例化了这一范式。结果显示，解耦方法始终优于行为克隆和联合学习的离线 RL 基准方法。
Critic 的灵活性： 该框架放宽了对 Critic 设计的要求。由于 Actor 将候选范围限制在数据支持的区域内，即使是标准的 Q-learning Critic（无需显式的 OOD 正则化）也能取得强大的性能，因为它只需要在有效的候选动作之间提供准确的相对排序。
大规模策略的可扩展性： 该方法为大规模策略提供了计算高效的路径。大型、高表达能力的模型可以通过行为克隆训练一次，而任务特定的优化则委托给推理时的轻量级 Critic，从而避免了重复更新庞大 Actor 参数的成本。

4. 实验结果

在 OGBench 套件（包括 AntMaze, HumanoidMaze, AntSoccer, Cube-Double, Scene-Play, 和 Puzzle-4x4）上的广泛实验得出以下发现：

性能提升： 解耦策略提取变体一致优于其耦合对应的版本。例如，使用 IQL Critic 时，解耦变体将 30 个任务的平均成功率从 47.89% 提高到了 68.49%。
标准 Critic： 使用标准 Q-learning Critic 的解耦范式在大多数环境中都优于广泛采用的 IQL 方法，在 Puzzle-4x4 任务上取得了显著提升（212.8% 的改进）。
消融研究：
- 重排序有效性： 在耦合 IQL 策略中加入基于 Critic 的重排序可以提高性能，但解耦变体（冻结 BC Actor + 重排序）实现了最高的整体性能，这表明耦合训练范式本质上限制了 Actor 作为优秀提议者的能力。
- 候选预算 ( $N$ )： 性能随 $N$ 的增加而提升直至达到一个临界点（例如 $N=16$ ），因为此时策略更彻底地探索了行为支持区域。然而，过大的 $N$ 会导致性能下降，因为这增加了采样到被 Critic 错误高估的 OOD 动作的概率。
- 推理成本： 虽然 GFLOPs 随 $N$ 增加，但由于采用了并行批处理评估，中位延迟仍保持在较低水平（<0.53 ms），且 GPU 显存占用几乎保持不变。

5. 重要性与主张

本文声称，解耦策略提取范式通过从根本上重构实现策略改进的方式，解决了离线 RL 的核心瓶颈。通过将优化步骤从训练循环（Actor 更新）转移到推理循环（动作选择），该方法：

打破了反馈循环： 防止了 Critic 误差递归地扭曲 Actor 的分布。
解决了权衡问题： 允许 Actor 忠实地建模数据分布，同时让 Critic 在该安全区域内执行价值最大化，从而消除了在单一损失函数中平衡这两个目标的必要性。
实现了高效扩展： 提供了一种利用大型预训练行为模型进行离线 RL 的机制，无需承担持续微调 Actor 的计算开销，而是将任务特定适配任务委托给轻量级的 Critic。

作者承认存在一个局限性：性能上限受限于行为克隆提议者的覆盖范围。如果高价值行为在数据集中缺失或极其罕见，Critic 也无法选出这些行为。然而，论文认为对于许多实际应用而言，这种解耦方法为传统的耦合 Actor-Critic 方法提供了一个更稳健、更高效的替代方案。