技术摘要：QuickLAP

问题陈述

在半自主系统中运行的机器人必须学习人类偏好，以使其行为与用户意图保持一致。人类通常通过两种模态传达这些偏好：物理修正（例如，轻推方向盘或机械臂）和自然语言（例如，“远离锥桶”）。然而，单独依赖其中任何一种模态都存在显著局限性：

• 物理修正：虽然扎根于物理环境且执行精确，但它们在意图方面往往具有歧义。单次物理调整可能同时影响多个奖励特征（例如，避免锥桶可能会无意中改变车道对齐），使得机器人难以推断用户具体意图修改的是哪个特征。
• 自然语言：虽然能够表达高层目标并澄清意图，但语言往往缺乏物理 grounding（具身性）。话语可能含糊不清（“远离！”）、未明确指定或依赖上下文，若没有参考当前状态，无法确切传达机器人应如何行动。

现有方法往往未能充分利用这些信号的互补性。一些方法依赖大量离线配对的轨迹和语言数据集，限制了在线适应能力。另一些方法将语言视为精确且自包含的，忽略了消除模糊指令所需的物理上下文。因此，亟需一种框架，能够实时融合这些模态以消除歧义并高效推断奖励函数。

方法论：QuickLAP

作者提出了QuickLAP（快速语言 - 动作偏好学习），这是一种贝叶斯框架，旨在从联合的物理和语言反馈中实时推断奖励。核心见解是将语言不仅仅视为目标的描述，而是视为对用户潜在奖励偏好的概率观测。该观测调节了对物理修正的解读方式。

框架概述

QuickLAP 根据机器人提出的轨迹 $\xi_R$、人类的修正轨迹 $\xi_H$ 以及自然语言话语 $l$，计算偏好参数 $\theta$ 的后验分布：
$$P(\theta | \xi_H, \xi_R, l) \propto P(\xi_H | \xi_R, \theta) \cdot P(l | \xi_H, \xi_R, \theta) \cdot P(\theta)$$

该框架将此推断分解为三个组成部分：

1. 物理似然 ($P(\xi_H | \xi_R, \theta)$)：
   使用玻尔兹曼噪声理性模型进行建模。它假设人类的修正 $\xi_H$ 是基于真实奖励 $\theta$ 对机器人轨迹 $\xi_R$ 的改进，并受到进行修正所需努力的惩罚。

2. 语言似然 ($P(l | \xi_H, \xi_R, \theta)$)：
   QuickLAP 不直接建模话语的原始分布，而是引入一个潜在代理变量 $\mu_t = \theta - \theta_t$，表示期望的奖励偏移。一个双语言模型（LM）流水线在物理修正的上下文中处理话语：

   • 注意力 LM ($LM_{att}$)：识别哪些奖励特征与用户意图相关，生成注意力掩码 $r \in \{0, 1\}^d$。
   • 偏好 LM ($LM_{pref}$)：确定被关注特征的偏移幅度和方向，输出偏移向量 $\mu$ 和置信度向量 $m$。
     语言似然被建模为以 LM 预测的偏移 $\mu_t$ 为中心的高斯分布，其方差由置信度分数 $m$ 调节。高置信度导致低方差（高信任），而低置信度增加方差，从而降低语言信号的影响。

3. 条件先验 ($P(\theta | \hat{r})$)：
   从语言中导出的注意力掩码 $\hat{r}$ 用于调节 $\theta$ 的先验。如果某个特征未被关注（$r$ 低），则先验精度较高，将权重锚定在其当前值上。如果某个特征被关注（$r$ 高），则先验精度较低，允许权重更自由地适应。

闭式更新规则

通过组合这些组件，QuickLAP 推导出每个特征 $i$ 的最大后验概率（MAP）更新规则：
$$\hat{\theta}_{t+1}^i = \hat{\theta}_t^i + \kappa_i(m_t^i, \hat{r}_t^i) \left[ \sigma_{L,i}^2(m_t^i) \Delta\Phi_i + \mu_t^i \right]$$
其中：

• $\Delta\Phi_i$ 是人类修正与机器人计划之间的特征差异。
• $\mu_t^i$ 是语言建议的偏移。
• $\kappa_i$ 是一个增益项，根据注意力和置信度自适应地加权物理和语言信号的贡献。

该公式使 QuickLAP 能够稳健地处理模糊反馈：模糊的语言在物理修正的上下文中被解读，而不明确的物理修正则通过语言消除歧义。

主要贡献

1. 高效的贝叶斯框架：一种闭式贝叶斯方法，用于实时联合解读物理修正和自然语言反馈，将逆强化学习（IRL）扩展到多模态设置。
2. 基于 LM 的语义解析器：一种利用大语言模型（LLM）将自由形式语言映射到结构化奖励信号（注意力掩码、偏移向量和置信度分数）的过程，无需针对特定任务进行训练。
3. 对歧义的鲁棒性：该方法通过概率融合显式处理“歧义间隙”，即物理行动在意图上不透明且语言模糊的情况。
4. 实证验证：广泛的模拟和用户研究证明了其相对于基线的显著改进。

实验结果

模拟实验

作者在两个领域评估了 QuickLAP：机器人操作任务（Robosuite）和自动驾驶模拟器（InterACT）。

• 机器人操作：在涉及避障和目标进展的任务中，与仅基于物理的基线相比，QuickLAP 将学习到的奖励权重的归一化均方误差（NMSE）降低了2 倍以上。
• 驾驶场景：在四个日益复杂的环境（车道数量、锥桶、水坑和车辆数量各不相同）中，QuickLAP consistently 优于仅基于物理的基线和启发式多模态基线。在中等情况下（例如，避免锥桶与水坑），它将奖励推断误差降低了70% 以上，并且收敛速度显著更快，在比基线更少的干预次数后便趋于稳定。
• 消融研究：“仅语言”变体（使用物理上下文进行 LLM 提示但不进行物理更新）在模拟中表现良好，表明 LLM 可以从上下文中推断意图。然而，完整的 QuickLAP 模型被证明在存在噪声反馈或模糊语言的场景中更为稳健。

用户研究

进行了两项用户研究，以验证该方法在真实人类中的有效性：

1. 试点研究（专家）：12 名专家用户控制机械臂。QuickLAP 变体在 NMSE 方面显著优于仅基于物理的基线。
2. 非专家研究（驾驶）：15 名非专家用户控制虚拟汽车。
   • 主观指标：参与者认为 QuickLAP 比仅基于物理的基线更易于理解（$p=0.023$）且更具协作性（$p=0.029$）。
   • 偏好：参与者显著偏好 QuickLAP，胜过仅基于物理和仅基于语言的基线。
   • 客观性能：QuickLAP 学习到的行为具有显著低于基线的 NMSE，表明用户能更有效地向机器人传授其预期目标。
   • 边缘案例：研究突显了 QuickLAP 通过依赖置信度加权的融合来解决矛盾输入（例如，用户说“远离”但物理上却移向障碍物）的能力，从而防止了错误的奖励偏移。

意义与主张

论文声称，QuickLAP 为任何用户可以“展示并告知”的领域提供了一个通用的偏好学习框架。其意义在于：

• 实时适应：与需要大量离线数据集的方法不同，QuickLAP 支持使用稀疏、模糊输入进行在线学习。
• 原则性融合：它通过将语言视为概率观测，超越了启发式融合，提供了一种数学上合理的消除模态间歧义的方法。
• 改善人机交互：通过使机器人的学习过程更易于理解且更具协作性，QuickLAP 促进了更直观和个性化的交互，适用于从辅助机器人与人协作无人机等各种领域。

作者在局限性方面保持谦逊，指出该框架假设 LLM 输出经过合理校准，并且目前专注于预定义特征。他们建议未来的工作可以探索额外的模态（视线、手势）以及动态特征生成。