🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

本文提出了一种新颖的离线强化学习框架，该框架利用对日志交互数据的离线策略评估，自动为人机协作选择最优的状态表示和奖励函数，从而消除了对昂贵的实时环境交互的需求，并增强了强化学习在安全至上应用中的可扩展性。

原作者： Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人与人类协作，就像在驾驶舱中担任副驾驶，或者在医院里担任护士。为了做到这一点，你需要给机器人一个“大脑”（强化学习），让它通过试错来学习。但问题在于，在现实世界中，你不能为了测试效果就让机器人撞毁飞机或伤害病人，那样太危险也太昂贵了。

通常情况下，人类必须花费数年时间手动设计机器人的“感官”（它观察哪些数据）和“动机”（它因什么获得奖励）。如果机器人失败了，你必须猜测原因并重新开始。这就像是在一个隔音室里，闭着眼睛盲目地转动收音机的旋钮来调频。

这篇论文提出了一种更聪明的方法，让你无需离开房间就能完成这种调频。

核心理念：“时空旅行”教练

作者引入了一种被称为**离策评估（Off-Policy Evaluation, OPE）**的方法。你可以把它想象成一个“时空旅行教练”。

与其让机器人在现实世界中练习，研究人员提取了大量的旧日志——即过去人类与机器人互动的记录。他们利用这些日志来模拟数千种不同的“假设场景”。

问题所在： 他们需要弄清楚哪一套“感官”（状态空间）和哪一套“奖励规则”（奖励函数）能让机器人成为最优秀的搭档。
解决方案： 他们使用这个 OPE 教练来观察旧日志，并得出结论：“如果我们当初是用这套特定的感官和这套特定的奖励规则来训练机器人的，那么它的表现具体会是如何。”

这使得他们能够在从未进行任何真实交互的情况下，选出最佳的训练方案。

实验：两个不同的游乐场

为了证明其有效性，他们将这个“时空旅行教练”在两个截然不同的环境中进行了测试。

1. 月球着陆器（视频游戏测试）

首先，他们使用了一款名为《月球着陆器》（Lunar Lander）的视频游戏，其中机器人必须让飞船安全降落在月球上。

测试内容： 他们尝试用不同的“感官”来教导机器人。一个版本可以看到一切（位置、速度、角度）；另一个版本看到了额外的“噪声”（虚假数据）；第三个版本看到的较少（没有位置数据）。
结果： 教练查看了日志，并正确识别出“全视角”是最好的。它知道添加虚假噪声会干扰机器人，而移除位置数据会导致机器人坠毁。
奖励： 他们还测试了给予机器人积分的不同方式。他们发现，最好的奖励系统不仅仅是关于安全着陆，而是结合了保持稳定、节省燃料和轻柔着陆的综合考量。教练瞬间选出了获胜者，从而避免了为了测试它而去制造一台新机器人的过程。

2. NASA MATB-II（人类压力测试）

接下来，他们转向了一个真实的场景，使用了名为 MATB-II 的模拟系统。想象一下一位繁忙的空中交通管制员或飞行员，同时要处理四项任务：

追踪： 让一个点保持在移动目标上。
监控： 观察仪表盘上的警报。
资源管理： 保持燃料箱平衡。
通信： 倾听无线电指令。

在这项研究中，人类与自动化系统协同工作。研究人员想要知道：机器人应该利用什么数据来决定何时提供帮助？

数据： 他们尝试给机器人提供仅任务数据、仅心率数据，或者任务数据、心率数据以及估计压力水平的混合数据。
发现： “时空旅行教练”判定，当机器人能够看到一切（即人类正在做什么、他们的心率以及他们的压力水平）时，表现最为出色。然而，它也发现仅仅观察压力水平是不够的；机器人还需要看到实际的任务数据。
奖励： 他们还测试了不同的奖励方式。他们发现，一个“平衡型”的奖励系统（既惩罚错误行为也奖励正确行为）最适合教会机器人如何成为一名得力的伙伴。

现实世界测试：让机器人投入工作

在利用教练选出最佳方案后，他们真正制造了机器人，并将其放入一个有 19 名志愿者参与的房间中。他们对比了三种类型的助手：

基于规则的机器人： 遵循严格的手册（例如：“如果人类感到压力大，则接管任务 A”）。
标准强化学习（RL）机器人： 使用教练找到的最佳方案从日志中学习。
微调强化学习（RL）机器人： 从日志中学习，然后根据正在与之工作的特定人类进行实时行为调整。

结果如下：

标准 RL 机器人是最稳定的。它在追踪移动目标和监控警报方面表现最好。它让人们感受到的压力最小，并建立了最高的信任度。它就像一个可靠、冷静的副驾驶，准确知道何时介入。
基于规则的机器人在处理简单任务时表现尚可，但在情况变得混乱时会显得力不从心。
微调 RL 机器人很有趣。它在“通信”任务（倾听无线电指令）方面表现最好，因为它能完美适应特定的人。然而，当工作量变得沉重时，它的行为变得有些难以预测。它就像一个很擅长聊天、但在情况紧急时有时会忘记盯着燃料表的副驾驶。

总结

论文得出结论，你不需要通过撞毁几枚火箭或让几位飞行员承受压力，就能弄清楚如何构建一个优秀的机器人团队。通过使用离策评估（Off-Policy Evaluation），你可以观察旧数据，模拟数百万种训练场景，并在你开启机器人之前，就选出完美的“感官”和“动机”。

这使得构建安全、有效的人机协作团队变得更快、更便宜、也更安全。它将“猜测并尝试”的过程转变为一门精确的、数据驱动的科学。

技术摘要：通过离线策略评估构建人机协作中的强化学习模型

1. 问题陈述

强化学习（RL）在优化动态环境下的序列决策方面具有巨大潜力，特别是在人机交互（HRI）领域。然而，在现实世界、安全至上的场景（如医疗保健、航空航天、自动驾驶）中部署强化学习面临着实质性障碍。传统的强化学习方法过度依赖大量的在线交互、试错以及对定义有效状态表示和奖励函数的领域专家知识。这一过程通常成本高昂、耗时且不安全。

虽然离线强化学习（ORL）通过在预收集的数据上进行训练来减轻对实时交互的需求，但仍面临一个关键挑战：如何在没有在线实验的情况下选择最优的状态空间和奖励函数。此外，确保离线训练的策略在动态的人机协作场景中既安全又有效，需要稳健的评估方法，而这些方法不能以进一步的现实世界部署为前提。

2. 方法论

作者提出了一个新颖的框架，该框架利用离线策略评估（OPE），仅通过已记录的交互数据来系统地选择最优的状态空间表示和奖励函数。这种方法消除了在设计阶段对实时环境访问或人类在环反馈的需求。

2.1 通过 OPE 进行状态空间选择

该框架评估由领域知识或特征选择推导出的多个候选状态表示（ $S_1, S_2, ..., S_K$ ）。

离线训练： 使用记录的数据集，为每个候选状态空间训练一个离线强化学习智能体（具体采用约束 Q 学习，CQL）。
OPE 估计： OPE 估计器（利用重要性采样、直接法或拟合 Q 评估等方法）在无需在线交互的情况下，估计每个训练策略的期望回报。
选择： 根据最高的 OPE 估计回报来选择最优状态空间（ $S^*$ ），从而通过排名表示能力来确定其诱导高性能策略的能力。

2.2 通过 OPE 进行奖励函数选择

该框架同样通过评估候选奖励函数（ $r_1, r_2, ..., r_M$ ）区分高性能策略与低性能策略的能力来对其进行评估。

策略评估： 在每个候选奖励函数下，使用 OPI 评估预定义的高性能（ $\pi^+$ ）和低性能（ $\pi^-$ ）策略。
分离度指标： 奖励函数的有效性通过 $\pi^+$ $π^{+}$ 和 $\pi^-$ $π^{-}$ 估计回报之间的差异来量化。作者使用了：
- 平均回报差异（ $\Delta V$ ）。
- Kullback-Leibler (KL) 散度。
- Jensen-Shannon (JS) 散度。
选择： 最优奖励函数（ $r^*$ ）是使好策略与坏策略之间的分离度最大化的函数，从而确保提供强大的学习信号。

3. 实验验证

所提出的方法在两个不同的环境中进行了验证：

3.1 受控环境：OpenAI Gym Lunar Lander

目标： 评估该框架在受控环境下选择状态空间和奖励函数的能力。
状态空间结果： 测试了三个候选方案：原始状态（ $S_{orig}$ ）、增加噪声后的扩展状态（ $S_{more}$ ）以及缩减后的状态（ $S_{less}$ ）。OPE 正确地将 $S_{orig}$ 识别为最优表示，证明了不必要的特征扩展会降低性能，而过度的压缩则会遗漏关键信息。
奖励函数结果： 该框架成功识别出包含基于状态、基于动作和基于终止条件的基准奖励函数优于其他替代方案（例如仅基于终止或仅基于动作的函数）。所选函数表现出最高的 JS 散度，证实了其提供有效学习信号的能力。

3.2 现实世界设置：NASA-MATB-II 人类受试者研究

目标： 评估在涉及九名参与者、处于不同工作负荷条件下的多属性任务电池-II（MATB-II）模拟数据下，该方法在人机协作中的适用性。
状态空间选择： 候选方案包括任务数据、生理数据（心率、呼吸）以及估计的工作负荷组合。
- 结果： 多模态状态空间（ $S_{task+physio+wl}$ ）产生了最高的 OPE 回报。然而，进一步分析表明，当任务和生理数据存在时，工作负荷数据提供的边际收益很小。因此，选择了 $S_{task+physio}$ 作为首选表示，以平衡性能与计算效率。
奖励函数选择： 测试了三种奖励函数：惩罚不良行为（ $r_1$ $r_{1}$ ）、奖励良好行为（ $r_2$ $r_{2}$ ）以及加权和（ $r_3$ $r_{3}$ ）。
- 结果： 加权和（ $r_3$ ）被选为最优，显示出最高的 KL 和 JS 散度，表明其在策略性能之间具有最佳的分离度。

3.3 在线人类受试者验证

随后进行了一项经 IRB 批准的研究，对比了三个智能体：

基于规则（RB）： 在过载期间激活自动化的预定义规则。
RL 智能体： 使用 OPE 选择的状态空间和奖励函数进行离线训练。
RL 微调（RLFT）： 通过实时交互进一步微调的 RL 智能体。

主要发现：

任务性能： RL 智能体在追踪和系统监控任务中表现出最一致的性能，在响应时间和失败率方面显著优于 RB 和 RLFT。RLFT 智能体在通信任务中表现出色，但在资源管理方面表现不稳定，且在过载情况下的失败率较高。
信任与工作负荷： RL 智能体获得了最高的信任评分，并导致了最低的感知工作负荷和最高的流畅度。相反，尽管 RLFT 在可靠性方面的后期测试得分较高，但它引发了最高的受试主观工作负荷和挫败感，这表明实时微调可能会引入不可预测性和认知压力。
自动化频率： RL 智能体利用了选择性且时机恰当的自动化，而 RLFT 则经常根据任务的不同出现过度自动化或自动化不足的情况，导致性能不稳定。

4. 核心贡献

OPE 驱动的设计框架： 引入了一个利用离线策略评估从日志数据中选择最优状态空间和奖励函数的框架，绕过了昂贵的实时交互需求。
数据驱动的优化： 通过系统地评估候选配置，为受控环境（Lunar Lander）和复杂的人机交互场景（NASA-MATB-II）优化强化学习公式。
实证验证： 证明了基于 OPE 的选择能够产生在适应性、可靠性和用户信任度方面均优于基于规则的基准模型和微调变体的 RL 智能体，尤其是在安全至上的多任务环境中。

5. 意义与主张

本文声称，这项工作通过自动化关键设计决策，增强了离线强化学习在现实环境中的可行性和可扩展性。通过减少对试错和在线交互的依赖，该框架为复杂 HRI 设置提供了一种更可靠、更有效且更可持续的方法。

作者强调了在结果中观察到的一个关键权衡：虽然通过微调进行个性化（RLFT）可以改善特定任务的匹配度，但它可能会损害系统的稳定性和增加认知负荷。因此，所提出的基于 OPE 的离线方法提供了一个在适应性与可预测性之间取得平衡的稳健替代方案。该研究表明，对于安全至上的领域，通过 OPE 在部署前进行稳健的策略评估至关重要，并且将生理数据整合到状态表示中可以显著提高人机协作性能，而无需承担广泛在线实验带来的风险。