🤖 machine learning

Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints

本文认为，评估用于迁移任务的强化学习算法需要超越样本效率，将实际的墙钟训练时间以及在领域随机化下的鲁棒性纳入考量，并证明了样本效率较低的 PPO 在速度上可以超越 SAC 和 TD-MPC2 等更具样本效率的算法，同时这三种范式都从领域随机化中获得了类似的收益。

原作者： Hany Hamed, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hany Hamed, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人学习走路、跳舞或接球，不是通过被灌输死板的规则，而是通过玩一场试错游戏，就像蹒跚学步的幼儿学习走路一样。这个领域被称为强化学习（Reinforcement Learning, RL）。在这个数字游乐场里，一个 AI 智能体尝试不同的动作，做得好就得分，摔倒了就扣分。随着时间的推移，它逐渐掌握了移动的最佳方式。但问题在于：大部分学习过程都发生在一个完美的、虚构的计算机世界（模拟器）中。真正的目标是将这种习得的技能应用到混乱且不可预测的现实世界中。这被称为“迁移”（transfer）。

为了让这种迁移奏效，科学家通常会衡量一个算法的“样本效率”（sample efficient）。这就像是在计算一名学生为了理解一个概念需要翻多少次书页。如果算法 A 需要翻 1,000 页，而算法 B 需要 10,000 页，我们通常认为算法 A 是赢家。但本文提出了一个不同且非常实际的问题：如果学生面对的是一个滴答作响的时钟呢？如果真正的约束不是能翻多少页，而是阅读这些页面的速度呢？在现代计算中，我们可以同时运行数千个模拟环境，就像有一千个学生同时在读同一本书。这意味着，一个需要更多“翻页”次数的算法，如果拥有更强大的团队，实际上可能会更快地读完这本书。本文探讨了我们现有的对这些学习算法的排名方式，是否忽略了更宏大的全局观。

研究人员（来自多所大学和研究机构的一个团队）决定对三种流行的学习算法进行测试：PPO（一种以稳定且擅长利用多台计算机而闻名的算法）、SAC（一种以需要较少练习尝试而闻名的算法）以及 TD-MPC2（一种通过尝试预测未来来加速学习的聪明方法）。他们想看看，根据衡量标准的不同，“赢家”是否会发生改变。

首先，他们观察了“墙上时钟时间”（wall-clock time）与“尝试次数”之间的关系。在他们的模拟实验中，他们设置了一场比赛。当仅计算练习尝试次数（交互次数）时，SAC 和 TD-MPC2 是绝对的冠军，它们完成任务所需的尝试次数比 PPO 少。这就像看到一个学生用一半的时间就背完了整本书。然而，当他们切换秒表来测量实际时间时，情况发生了反转。因为 PPO 被设置为在 2,048 个并行环境中运行（想象一下 2,048 个学生在同一秒钟读书），它收集海量练习数据的速度极快，从而比其他两个算法更快地产生了一个可用的机器人策略。论文指出，如果你是一名面临截止日期的机器人工程师，那么那个“学习较慢”的算法（PPO）实际上可能会让你更早到达终点，因为它能更好地随算力规模化扩展。

接下来，团队应对了“领域随机化”（domain randomization）的问题。这是一种技术，即你在一个每次都会发生微小变化的模拟器中教机器人——比如这一刻地板很滑，下一刻机器人的腿变得更重了。目标是让机器人足够鲁棒，能够应对从不完美且充满变数的现实世界。当时存在一种普遍观点，认为某些学习风格（如复杂的、具有预测性的 TD-MPC2）可能会在训练环境如此混乱时感到困惑或失败，而其他风格（如 PPO）则被认为是唯一能应对这种情况的。

研究人员通过使用五种不同程度的混乱程度（从“狭窄”的微小变化到“广泛”的剧烈物理变化）来训练所有三种算法，以此进行测试。他们发现，认为某种算法天生更擅长处理混乱的观点其实是一个迷思。在他们的模拟中，PPO、SAC 和 TD-MPC2 都从领域随机化中获益，但结果各异。有时，少量的混乱对 SAC 帮助最大；有时，大量的混乱对 TD-MPC2 帮助最大。并没有一种单一的“最佳”算法适用于所有情况。论文得出结论，使用随机训练是否成功，很大程度上取决于特定的任务、特定的算法以及你引入了多少混乱。这不在于挑选“最强”的机器人，而在于调整训练环境以适应具体的工作。

最后，本文认为我们需要停止将样本效率视为唯一的评分标准。仅仅因为一个算法在交互次数上更少并不意味着它是现实项目中最好的选择。如果你有时间限制并且可以使用强大的计算机，一个“效率较低”的算法可能是实际上的赢家。当涉及到让机器人具备应对现实世界突发状况的鲁棒性时，并没有一劳永逸的解决方案；最好的方法取决于你试图解决的具体谜题。作者建议，未来的工程师应该像衡量训练机器人所需次数一样，同样重视训练机器人所需的时间。

技术摘要：重新思考强化学习算法在实际迁移约束下的适用性

问题陈述

面向迁移的强化学习（RL）应用，特别是在 sim-to-real 或 sim-to-sim 流水线中，需要从超越标准样本效率的维度来评估算法。传统的评估协议优先考虑达到特定性能水平所需的智能体-环境交互次数。然而，在实际的迁移工作流中，环境交互通常是廉价且可通过并行模拟进行扩展的，而**墙钟时间（wall-clock time）**仍然是一个主要的运营约束。

此外，算法对迁移的适用性取决于其在动力学失配（dynamics mismatch）下的鲁棒性。虽然领域随机化（Domain Randomization, DR）是提高鲁棒性的标准技术，通过在训练期间使策略暴露于物理参数（如质量、摩擦力、阻尼）的变化中，但目前尚不清楚不同的 RL 范式（在策略、离策略和基于模型）在面对增加的训练分布变异性时，其反应是否存在差异。本文旨在解决两个核心问题：

当训练是在墙钟时间预算而非基于交互的预算下进行评估时，关于算法适用性的结论是否会发生变化？
不同的学习范式在面对由领域随机化引起的训练分布变异性增加时，其反应是否不同？

方法论

作者对来自 DeepMind Control Suite（通过 MuJoCo XLA 实现）的 18 个连续控制任务进行了系统性的受控比较。所选算法代表了三种主要的范式：

PPO (Proximal Policy Optimization)： 一种在策略（on-policy）方法，配置了**大规模并行环境（2,048 个）**以利用现代模拟的可扩展性。
SAC (Soft Actor-Critic)： 一种离策略（off-policy）、基于熵正则化的 Actor-Critic 方法，使用标准的单环境配置进行训练（CleanRL 实现）。
TD-MPC2： 一种结合了学习动力学与在线规划的基于模型（model-based）的方法，使用标准配置进行训练（官方代码库）。

评估维度

本研究从两个互补的维度评估这些算法：

实际效率（墙钟时间）： 性能根据实际所需的训练时间进行衡量，反映了迭代速度和部署就绪度至关重要的运营约束。
基于交互的效率： 性能根据环境交互次数进行衡量，反映了传统的样本效率基准。

迁移与领域随机化设置

迁移被建模为上下文马尔可夫决策过程（CMDP）中的上下文分布泛化。研究调查了动力学失配下的零样本 sim-to-sim 迁移。

训练分布： 作者通过五个层级的领域随机化改变了训练分布（ $p_{train}$ ）的宽度：标称（Nominal）（无随机化）、窄（Narrow）、中等（Moderate）、宽（Broad）和广泛（Extensive）。随机化以乘法形式应用于包括质量、阻尼、执行器强度、摩擦力和连杆长度在内的物理参数。
评估机制： 使用了两个固定的评估机制来测试泛化能力：
- 以标称为中心（Nominal-Centered）： 靠近标称动力学的上下文（对于所有训练机制均为支持内）。
- 偏移（Shifted）： 与标称参数存在结构化偏差的上下文（根据训练覆盖范围的不同，可能处于支持外或支持内）。

关键结果

1. 墙钟时间 vs. 基于交互的效率

研究揭示了交互式与墙钟时间评估之间存在显著的分歧：

基于交互： 与传统基准一致，SAC 和 TD-MPC2 通常表现出更高的样本效率，与 PPO 相比，它们在更少的环境交互下即可达到强劲的性能。
墙钟时间： 在基于时间的评估下，PPO 通常比 SAC 和 TD-MPC2 更早达到具有竞争力的或更优越的性能。这归功于 PPO 利用大规模并行模拟（2,048 个环境）的能力，使其能够在较短的墙钟时间内积累必要的交互，尽管其单次交互的样本效率较低。
启示： 算法的排名会根据评估指标的变化而改变。一个被视为“样本效率低”（PPO）的算法，在并行化设置中可以是“时间高效”的。

2. 领域随机化对鲁棒性的影响

针对三种算法对领域随机化效应的分析得出了以下细微发现：

无算法特有的优势： 没有一致的证据表明任何单一范式（在策略、离策略或基于模型）在系统上更或更不兼容领域随机化。PPO、SAC 和 TD-MPC2 都能从 DR 中受益，但其影响的幅度及方向取决于具体的任务、覆盖程度、算法以及评估机制。
非单调收益： 增加领域随机化的宽度并不保证能提高迁移性能。
- 在以标称为中心的评估下，窄随机化的表现通常优于广泛随机化。
- 在偏移评估下，即使评估上下文落在训练支持范围内，较宽的分布（宽/广泛）也不一定比较窄的分布表现更好。
权衡： 更宽的随机化增加了对多样化动力学的暴露，但也增加了学习问题的难度，并降低了经验在特定区域的集中度，从而在分布覆盖度与有效学习之间产生了权衡。

意义与主张

本文认为，仅凭样本效率不足以作为评估面向迁移应用的 RL 算法的标准。作者为从业者提出了两个主要见解：

重新评估效率： 实际约束（特别是墙钟时间）应作为考虑的主要因素。PPO 是“样本效率低”的常识并不排除它在可以进行大规模并行化的流水线中成为最实用的选择。“达到性能所需时间”这一指标可能会反转基于交互基准得出的标准算法排名。
上下文相关的鲁棒性： 领域随机化的有效性并非特定算法族（例如，在策略 vs. 离策略）的固有属性。相反，鲁棒性受任务、算法、训练分布的具体覆盖范围以及部署失配性质之间相互作用的影响。因此，从业者不应假设一种范式在领域随机化方面具有普遍优势；相反，必须针对其特定的迁移约束，对算法和随机化覆盖范围的组合进行实证评估。

研究结论指出，算法在迁移方面的适用性是一个多维问题，需要同时在实际效率（时间）和鲁棒性（动力学失配）两个维度上进行评估，而非仅仅依赖于基于交互的样本效率。