🤖 AI

Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning

本文介绍了 Max-Q 选择性模仿（Max-Q Selective Imitation），这是一种人机回环在线强化学习方法，它将 MC Q-chunk 评论家与硬性胜者全得式策略更新相结合，以快速整合人类干预并加速自主自我提升，与现有基准相比，在现实世界和模拟机器人任务中实现了显著更快的收敛速度和更高的成功率。

原作者： Zihang Wang, Yishan Wang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihang Wang, Yishan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

通过实践进行学习的机器人长期面临着一个困难的悖论：它们需要尝试各种尝试才能变得更好，但尝试往往会导致代价高昂或危险的错误。在现实世界中，比如机器人可能正在组装精密的电子元件或在杂乱的房间中穿行，一次失误就可能损坏零件或损坏机器。为了解决这个问题，工程师们开发了一种被称为“人类在环”（human-in-the-loop）学习的安全网。在这种方法中，机器人会自主尝试执行任务，但人类会密切观察，并在机器人偏离轨道时介入进行纠正。随后，机器人会将这些被纠正的时刻连同其自身的成功尝试一起保存下来，以便日后研究。其目标是让机器人能从人类的帮助中快速学习，并最终变得足够熟练，从而不再需要这种帮助。然而，教导机器人如何在平衡这两个需求——既吸收人类的建议，又不产生依赖；又在提升自身技能的同时超越人类自身的水平——方面，一直是一个顽固的挑战。

来自研究人员 Zihang Wang 和 Yishan Wang 的一项新研究为处理这种平衡提供了一种全新的方式。他们开发了一种训练方法，使机器人能够比以往的系统更快地从人类纠正中学习，同时确保机器人在具备能力后能继续精进自己的技能。他们方法的核心在于对机器人处理经验方式的两项特定改进。首先，研究人员并没有让机器人根据对下一步可能发生情况的猜测来预测动作的未来价值，而是让机器人回顾已完成任务的实际结果。他们将动作划分为小的、有意义的序列（或称为“块”），并根据实际发生的情况计算这些序列的真实成功率。这给了机器人一个清晰、真实的图景，让它了解哪些人类纠正是真正有帮助的，而不是让这些信息被不确定的预测所稀释。

第二点，也是他们方法中更为巧妙的部分，在于机器人如何决定下一步学习什么。在许多系统中，机器人可能会尝试取人类建议与其当前行为的平均值，这有时会导致混乱或失去焦点。相反，研究人员编写程序让机器人扮演一名严格的法官。对于遇到的每种情况，机器人都会比较两个选项：它现在自主采取的动作，以及它从人类或过去的尝试中学习到的特定动作。然后它会问一个简单的问题：“这两个动作中哪一个更好？”如果人类的纠正更好，机器人就模仿它；如果机器人当前的动作更好，它就坚持自己的计划。这创造了一个自然的切换机制：当机器人还在学习阶段时，它跟随人类的引导；但一旦机器人变得比人类过去的纠正更出色，它就会停止查看人类数据，转而完全专注于提升自身的表现。这防止了机器人在已经超越人类建议后，仍试图模仿过时建议的情况。

研究人员通过两种方式测试了这种方法：首先是在计算机模拟中进行诸如将销钉插入孔中和画正方形之类的任务，然后在真实的物理机器人手臂上执行任务，任务是将一个 USB 驱动器捡起并插入电脑。在模拟实验中，新方法在大约半小时的训练内就能让机器人达到 96% 至 99% 的成功率。相比之下，一种名为 HIL-SERL 的领先的前代方法需要大约三到四个小时才能达到类似的成功水平。在现实世界的测试中，差异更为显著。在物理机器人上，新方法仅用 30 分钟就实现了 99% 的成功率。而旧方法则需要大约五小时的训练才能达到其巅峰性能。这代表了将机器人训练到高可靠性水平所需时间减少了十倍。

该研究还将他们的方法与几种现有的技术进行了对比，发现大多数技术在相同的时间范围内都难以达到高成功率。一些方法由于无法有效地从人类和机器人数据的混合中学习，从而停滞在较低的成功率；而另一些方法则需要更长的时间才能收敛。研究人员指出，他们的方法之所以奏效，是因为避免了一个常见的陷阱，即机器人试图从与其当前技能水平不再相关的资料中学习。通过使用“胜者全得”的规则来在人类建议和自身不断增长的专业知识之间做出选择，机器人避免了常使学习过程变慢的混乱。结果表明，这种结合了“回顾真实结果”与“在人类行为与自身行为间做出果断抉择”的具体策略，是训练执行复杂物理任务的机器人的高效方式。虽然研究人员承认该方法依赖于机器人内部评估的质量，且特定动作序列的长度需要针对每个任务进行调整，但其在模拟和真实硬件上的性能提升是巨大的。这项工作表明，只要拥有正确的学习策略，机器人就可以迅速吸收人类指导，然后独立掌握任务，从而显著加速了通往具备能力的自主机器体的进程。

技术摘要：用于人机回环在线机器人学习的 Max-Q 选择性模仿

1. 问题陈述

现实世界的机器人强化学习（RL）面临着关于交互成本、接触密集型失败模式以及安全性受限探索的显著约束。**人机回环（Human-in-the-Loop, HIL）**协议试图通过结合自主展开（rollouts）与人类干预来缓解这些问题。然而，有效的学习需要平衡两个相互竞争的需求：

对有用的人类修正（干预）进行快速吸收。
超越人类演示或干预水平的持续改进。

现有方法难以同时满足这两个需求。行为克隆（Behavioral Cloning）虽然稳定但过于保守；不受约束的 Q 最大化则会引发分布外（OOD）的高估。诸如隐式 Q 学习（IQL）或优势加权回归（AWR）等方法虽然将更新保持在数据支持范围内，但在混合 HIL 缓冲池下，会反复将策略 ( $\pi$ ) 拉向异构样本模态（干预 vs. 自主动作）。这导致了策略分布（机器人执行的内容）与目标样本分布（学习器训练的内容）之间持久的差距，从而产生执行时的分布偏移和跟踪误差。相反，SAC 风格的 HIL 系统（如 HIL-SERL）虽然更接近策略分布，但由于其时序差分（TD）备份是在当前策略而非样本平均行为下进行的，因此无法充分利用干预回报。

2. 方法论

作者提出了一种包含两个组件的训练方法：**MC Q-Chunk 评论家（Critic）**和 Max-Q 选择性模仿。

2.1 MC Q-Chunk 评论家

不同于使用当前策略下的 TD 备份（这会使价值估计偏向当前的 $\pi$ ），该评论家执行样本平均行为评估。

块级评分（Chunk-Level Scoring）： 将动作空间离散化为长度为 $h$ 的块（ $a_{t:t+h-1}$ ）。
蒙特卡洛回归（Monte Carlo Regression）： 评论家 $Q_\theta$ 直接对来自经验回放池的日志轨迹的蒙特卡洛（MC）回报 ( $G_t$ ) 进行回归。
$L_Q = \mathbb{E}_{(s_t, a_{t:t+h-1}, G_t) \sim \mathcal{B}} \left[ (Q_\theta(s_t, a_{t:t+h-1}) - G_t)^2 \right]$
优势： 这直接赋予干预轨迹以信用，而不会通过当前策略的 TD 备份来稀释其价值。它确保高价值的人类修正对执行器（Actor）保持可见。
实现： 为了减少早期的排序噪声，作者可以选择使用评论家集成均值 $\bar{Q}$ 进行评分，尽管核心方法依赖于单个评论家。

2.2 Max-Q 选择性模仿

执行器更新机制通过在每个状态下于两个候选者之间进行“硬”选择来解决策略-目标差距：

$a_\pi$ ：当前策略 $\pi(s)$ 提出的动作。
$a_b$ ：来自经验回放池的样本动作（通常是干预动作）。

目标动作 $a^*$ 通过硬性的胜者全拿规则进行选择：
$a^* = \arg\max_{a \in \{a_\pi, a_b\}} Q_\theta(s, a)$

随后通过针对该硬性目标的监督回归来更新执行器：
$L_\pi = \mathbb{E}_{s \sim \mathcal{B}} \left[ \| \pi_\phi(s) - a^* \|_2^2 \right]$

运行动态：

干预阶段： 当人类干预具有比当前策略更高的 Q 值时，执行器模仿干预。
自我改进阶段： 随着自主策略的改进及其动作 ( $a_\pi$ ) 获得比缓冲池样本更高的 Q 值时，目标 $a^*$ 与 $a_\pi$ 对齐。
差距缩小： 该机制自动从学习干预转向在策略（on-policy）自我改进。通过使目标样本分布与执行策略对齐，它减少了通常困扰 HIL 学习的分布偏移。至关重要的是，这是在无需软权重或手工调优评分阈值的情况下实现的。

3. 核心贡献

MC Q-Chunk 评论家： 一种通过蒙特卡洛回归评估混合 HHIL 轨迹的评论家架构，相比于基于 $\pi$ 引导的 TD 评论家，提高了对干预回报的利用率。
Max-Q 选择性模仿： 一种无标签、硬切换的执行器更新机制，能够动态地从模仿高 Q 值干预过渡到在策略自我改进，有效地消除了策略-目标-样本差距。
实证验证： 在模拟任务（插销插入、正方形）和真实机器人任务（USB 拾取与插入）上展示了卓越的性能，比现有最先进基准方法更快地实现了高成功率。

4. 实验结果

模拟任务

该方法在 Peg Insertion（插销插入） 和 Square（正方形） 任务上针对 HIL-SERL、MCBC（不含 Q-chunk）、EXPO 和 E2HiL 进行了评估。

Peg Insertion： ACT QChunk-MCBC 变体在第一个检查点后的 0.32 小时（约 4,400 步）内达到了 99% 的成功率。相比之下，HIL-SERL 需要大约 3.2 小时（10 万步）才能达到 100% 成功率。
Square： ACT QChunk-MCBC 在 0.38 小时 内达到 99% 成功率。HIL-SERL 最终达到了 100%，但耗时 3.85 小时。
对比： 竞争方法如 EXPO 和 E2HiL 显示出显著较低的峰值成功率（分别为 30% 和 10%），或者需要更长的训练时间。

真实机器人任务

使用带有腕部摄像头的 Franka 类机械臂执行了 USB 拾取与插入 任务。

设置： 20 次人类演示、自主展开及人类干预。
性能： ACT QChunk-MCBC 在 30 分钟（0.5 小时）内达到了 99% 成功率。
基准： HIL-SERL 需要大约 5 小时 才能收敛至 100% 成功率。
效率： 与 HIL-SERL 相比，所提方法在保持高成功率的同时，实现了数量级的训练时间缩减。

5. 重要性与主张

论文声称所提方法成功解决了 HIL 学习中吸收人类修正与精炼自主策略之间的根本矛盾。通过将价值估计（通过 MC Q-chunk）与策略更新（通过 Max-Q 选择性模仿）解耦，该系统：

当干预有益时，能快速吸收干预。
一旦机器人的策略超越了历史缓冲数据，能自动过渡到在策略学习。
消除了策略-目标-样本差距，从而在无需复杂的软切换机制或手动调节切换阈值的情况下，减少了执行时的分布偏移。

作者将此方法定位为现实世界机器人学习中处理交互预算有限且安全性至关重要问题的实用解决方案，证明了高绩效策略可以在几分钟而非数小时内完成学习。

6. 局限性

作者承认存在以下局限性：

评论家依赖性： 切换决策依赖于评论家的质量；早期噪声较大的 Q 估计可能会导致次优的目标选择（通过集成技巧部分缓解）。
方差： 蒙特卡洛回报比 TD 备份具有更高的方差，需要足够的剧集完成度以获得稳定的目标。
超参数： 块长度 $h$ 仍然是一个与任务相关的超参数。
范围： 对更广泛的多任务评估以及对双候选改进算子的形式化表征仍有待未来研究。