🤖 machine learning

SEAR: Sample Efficient Action Chunking Reinforcement Learning

本文介绍了 SEAR，这是一种样本高效的离策强化学习算法，它利用具有多时界目标的因果 Transformer 评论家（causal transformer critic）和后退时界重规划策略（receding horizon replanning strategy），从而实现基于动作块（action chunks）的高效在线学习，并在具有挑战性的操控任务上超越了最先进的方法。

原作者： C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩一款复杂的视频游戏，比如一个需要收集钥匙、打开门并解开谜题的迷宫。在人工智能的世界里，这被称为强化学习（Reinforcement Learning）。这就像是在训练一只狗：当它做得对时，你给它奖励（奖励）；当它做错时，则不给。但棘手之处在于，如果游戏非常长，这只狗可能会忘记最后那个奖励是因为它最初做的第一件事。它需要把开头和结尾联系起来。

为了帮助机器人学得更快，科学家们使用了一种叫做**动作分块（Action Chunking）**的技巧。与其告诉机器人“手臂向左移动”、“手臂向上移动”、“抓取杯子”这样一步步微小的指令，不如说：“这里有一个完整的序列：向左移动、向上移动并抓取。”这就像是在教钢琴家一整个小节的乐谱，而不是一次只教一个音符。这有助于机器人看到更宏观的图景并更好地进行规划。然而，这里有一个陷阱。如果你只是告诉机器人演奏一整块乐曲，却不让它在演奏过程中听音乐，一旦它弹错了一个音符，它就会迷失方向。它需要能够停下来、倾听，并不断调整自己的计划。这篇论文探讨了如何教机器人这些大型“动作块”，同时又不让它们在遇到错误时变得反应迟钝或笨拙。

见见 SEAR（样本高效动作分块强化学习），一种旨在教机器人如何提前规划而不失冷静的新方法。研究人员发现，虽然一次性执行一整套动作序列（即“动作块”）有利于学习，但用传统的方法做往往会导致灾难。如果你只是递给机器人一份包含10个动作的清单并说“开始”，而它在第3个动作时犯了错，它会盲目地继续执行直到清单结束。等到它意识到自己偏离轨道时，已经太晚了。

作者发现，以往方法失败的主要原因在于它们没有给机器人足够的“练习”来掌握计划中的每一个小环节。想象一下，如果你每天只能练习一遍长达2分钟的完整舞蹈，而不是练习每一个具体的舞步，你永远无法掌握每一个细节。SEAR 通过使用一种特殊的“老师”——**因果 Transformer 评论家（Causal Transformer Critic）**来解决这个问题。这位老师不仅仅根据整个舞蹈的最终结果来评分，而是会在序列执行的过程中，对每一个单独的步骤进行评分。这就像一位舞蹈教练，每做一个动作就会停下音乐说：“脚步很好！”或者“注意你的手肘！”这让机器人在每一次尝试中都能获得海量的反馈，从而学得更快、更高效。

但学习大块动作只是成功的一半。机器人还需要能够快速反应。为了解决这个问题，SEAR 使用了一种聪明的策略，叫做随机重规划（Random Replanning）。SEAR 不会强迫机器人执行它计划的整个动作列表，而是告诉它只执行其中随机的一部分——也许只是前三个动作——然后停止，并根据它当前实际所处的位置询问：“好，现在的计划是什么？”这就像一个 GPS，它不仅给你一条全程路线并让你“开车”，还会每隔几个街区根据实际路况重新计算路径，以避开交通拥堵。这保持了机器人的“状态-动作覆盖率（state-action coverage）”处于高水平，这意味着它学会了处理各种各样的状况，而不仅仅是那些它计划得非常完美的状况。

结果令人印象深刻。在 Metaworld 基准测试（一个包含20项非常困难的机器人操控任务，如拿起物体或按下按钮）中，SEAR 的成功率超过了 80%。这是一个巨大的飞跃，因为以往的方法仅能达到 60% 左右。更有趣的是，研究人员发现，SEAR 可以在训练期间使用这些大块动作进行学习，但在实际测试时可以切换到单步决策模式，有效地变成了一个通过“大局思维”训练出来的“超快速单步学习者”。

论文还在“离线到在线（offline-to-online）”的设置下测试了 SEAR，即机器人首先从大量的过往视频数据中学习（离线），然后通过实际执行任务来提升自己（在线）。通过将 SEAR 的技术应用于现有的 QC 方法，研究人员在 OGBench 的立方体三连任务（cube-triple tasks）上看到了性能的显著提升，证明了即使在机器人拥有过往数据作为起步优势的情况下，这些想法依然有效。

然而，作者也谨慎地指出，这并不是解决所有机器人问题的“万灵药”。他们指出，SEAR 最适合那些需要较长时间完成且不需要瞬时反应的任务，例如组装家具或移动物体。它不适用于像机器狗在森林中奔跑那样需要极快反应的任务，因为在这种情况下，“分块”方法可能会导致数据质量下降。但对于机器人操控这类缓慢、刻意且复杂的任务，SEAR 提供了一种强大的新方式，教机器如何预判未来、学得更快，并时刻保持警觉。

技术摘要：SEAR (样本高效动作分块强化学习)

问题陈述

动作分块（Action chunking）是一种让策略预测未来一系列动作而非单个步骤的技术，已在模仿学习和离线强化学习（RL）中取得了显著成功。在强化学习中，它有助于实现更快的价值传播和结构化探索，这对于具有稀疏奖励的长程任务特别有利。然而，如果不进行特定的设计考虑，将动作分块应用于标准的离线策略在线强化学习算法会导致样本效率低下和性能下降。

本文识别了将动作分块扩展到在线强化学习时的两个主要失效模式：

评论家近似误差（Critic Approximation Errors）： 扩大的动作空间（即 $N$ 个动作的序列）使得 Q 函数的近似变得困难。现有方法通常训练评论家来为整个分块预测一个单一的 Q 值。这导致了一种不匹配：动作空间的维度随分块大小 $N$ 增加，但训练目标的数量保持不变，从而导致糟糕的策略更新。
状态-动作覆盖度降低（Reduced State-Action Coverage）： 以开环方式执行动作分块会降低策略的决策频率。如果一个策略预测了 $N$ 个动作，但每 $N$ 步才查询一次环境，那么该策略在中间状态下的评估就会非常稀少。这会在状态覆盖中产生“空洞”，尤其是在初始状态分布较窄的环境中。当这种策略在采用递减时界（receding horizon，即仅执行分块的前缀）进行部署时，会遇到分布外状态，导致性能下降并抵消分块带来的收益。

方法论：SEAR

作者引入了 SEAR（样本高效动作分块强化学习），这是一种在最大熵强化学习（MaxEnt-RL）框架内设计的离线策略算法，旨在克服上述局限性。SEAR 集成了三个核心组件：

1. 多时界 Q 函数目标（Multi-Horizon Q-Function Targets）

为了解决评论家近似问题，SEAR 采用了多时界目标策略。它不是针对全长 $N$ 步回报的单一目标来训练评论家，而是为动作分块的每一个前缀（从 $k=1$ 到 $N$ ）生成目标。

机制： 对于动作分块 $a_{t:t+N}$ ，评论家被训练为预测所有前缀的 Q 值 $Q^{(k)}(s_t, a_{t:t+k})$ 。
益处： 这有效地增加了每个样本的训练目标数量，使得动作空间维度与训练目标之间的比例与分块大小 $N$ 无关。这提供了更稠密的训练信号，即使在分块较大时也能稳定学习。

2. 因果 Transformer 评论家（Causal Transformer Critic）

为了处理动作序列中固有的时间依赖性以及多时界目标，SEAR 使用因果 Transformer 作为评论家的骨干网络。

架构： Transformer 处理状态和动作序列，同时预测所有前缀的 Q 值。
理由： 因果结构确保了 $k$ 步目标 $G^{(k)}$ 仅依赖于前 $k$ 个动作，这与多时界训练目标完美契合。在这种设定下，该架构的表现优于标准的 MLP 评论家。

3. 随机重规划以实现状态覆盖（Random Replanning for State Coverage）

为了恢复状态-动作覆盖度并实现有效的递减时界控制，SEAR 在数据采集过程中引入了随机重规划。

机制： 智能体不再执行固定的前缀长度 $k$ 或执行完整的分块，而是在重新规划前执行一个随机长度的序列前缀，长度 $k \sim \text{Uniform}(1, N)$ 。
益处： 这打破了仅在每 $N$ 步评估一次策略的僵化模式。它确保了智能体在各种中间状态下都被查询，从而创造了均匀的状态覆盖分布。这使得策略在测试时使用较短的递减时界进行有效评估时，不会遭受分布偏移的影响。

核心贡献

本文声称了以下贡献：

SEAR 算法： 一种基于最大熵强化学习框架、专为在线设置设计的动作分块离线策略方法。
多时界目标与因果评论家： 将因果 Transformer 评论家与多时界 $N$ 步回报相结合，通过在分块内提供逐动作的训练目标，显著提高了样本效率。
随机重规划： 一种创新的数据采集策略，通过执行动作分块的随机前缀来恢复状态-动作覆盖度，从而实现有效的递减时界控制。
实证验证： 大量的实验证明，SEAR 一致地优于最先进的在线及离线转在线强化学习方法。

实验结果

作者在两个基准测试上评估了 SEAR：Metaworld 在线强化学习基准和 OGBench 离线转在线基准。

Metaworld (在线强化学习)：
- SEAR 在 Metaworld 的 20 个最难环境中进行了测试。
- 它实现了超过 80% 的四分位平均值（IQM）成功率，大幅超越了 SimbaV2（一种最先进的非分块方法）和 CQN-AS（一种最先进的分块方法），这两者都停滞在 60% 左右。
- 对 SimbaV2 进行动作分块扩展后的成功率仅约为 20%，凸显了在没有 SEAR 特定设计选择的情况下，将离线分块技术迁移到在线环境中的难度。
- 消融实验证实，移除多时界目标或随机重规划会导致性能降至基准水平（约 20%）。
OGBench (离线转在线 RL)：
- 将 SEAR 的组件（多时界目标和随机重规划）应用于 QC 框架，相比标准 QC 和 QC-FQL，提升了在极具挑战性的 cube-triple 任务上的表现。
- 这种提升在在线训练阶段早期最为显著。
递减时界分析（Receding Horizon Analysis）：
- 使用大分块（如 $N=10$ 或 $20$）训练但以短递减时界（如 3–5 步）进行部署的 SEAR 策略达到了最佳性能。
- 值得注意的是，使用分块训练并以 1 步递减时界（即单步策略）进行部署的 SEAR，其表现优于非分块版的 SEAR-1 和 SimbaV2，这表明分块可以作为一种仅用于训练的机制，来学习更好的单步策略。

重要性与主张

本文将 SEAR 定位为解决在在线强化学习中应用动作分块所面临特定挑战的解决方案。作者认为，以往的方法之所以失败，是因为它们没有解决由于开环执行导致的评论家在高维动作空间中的近似问题，以及缺乏状态覆盖度的问题。

SEAR 的重要性在于其能力：

解耦训练与评估： 它允许在训练期间使用较大的动作分块，以加速价值传播和结构化探索，同时通过递减时界控制在评估时保持高反应性。
实现在线分块： 它证明了在没有先验离线数据的情况下，只要使用多时界目标训练评论家，并通过随机重规划维持智能体的状态覆盖，动作分块在纯在线设置中是可行的。
广泛的适用性： 多时界目标和随机重规划的核心思想被证明可以有效地迁移到离线转在线设置中，这表明它们是对分块方法普遍有效的改进。

作者对局限性保持了谦逊的态度，指出动作分块最适合长程任务（如机器人操作），可能不适用于高反应性领域（如运动控制），因为在这些领域，开环执行会导致数据质量严重下降。他们也承认，与单步方法相比，Transformer 评论家的计算成本有所增加。