技术摘要：面向机器人操控的自由形式偏好学习 (Freeform Preference Learning)

问题陈述

奖励设计仍然是自主机器人策略改进的关键瓶颈，尤其是在长程（long-horizon）操控任务中。现有方法面临显著局限性：

• 稀疏奖励： 二元成功/失败标签对于复杂的任务无法提供足够的信号，而在这些任务中，中间阶段的进展至关重要。
• 模糊的二元偏好： 传统的偏好学习（例如 Bradley-Terry 模型）要求标注者将多个相互竞争的概念（例如速度 vs. 安全性）压缩为单一的“总体”二元标签。这会产生歧义，特别是在比较不同任务阶段的轨迹片段时。
• 僵化的奖励函数： 人工设计的标量奖励往往无法捕捉人类意图的全貌，例如卫生、正式程度或细致程度，从而在优化过程中导致不希望看到的下游行为。

本文认为，保留人类判断的多维特性对于学习能够捕捉用户所有意图维度的鲁棒策略至mathcal{essential}。

方法论：自由形式偏好学习 (FPL)

FPL 引入了一个框架，用于从通过自然语言定义的自由形式人类偏好中学习机器人策略，而不是将反馈压缩为单一标量。该方法由三个核心组件组成：

1. 自由形式偏好采集

与其询问“哪条轨迹总体更好？”，FPL 让标注者观察轨迹对，并要求他们：

• 定义特定的偏好轴（preference axes）并使用自然语言描述（例如“速度”、“安全性”、“设置的正式程度”、“平滑度”）。这些轴可以是预定义的，也可以是标注者在过程中指定的。
• 为每个定义的轴（$l_k$）提供成对的偏好值（$y_k \in \{0, 1\}$）。
  这产生了一个包含轨迹对、自然语言标签和各轴二元偏好的数据集 $\mathcal{P}$。

2. 语言调节的奖励学习

FPL 学习一个以自然语言轴描述为条件的单一奖励模型 $r_\phi$，并利用预训练视觉语言模型（VLM）的表示。

• 轴调节评分： 对于轨迹对 $(\tau_i, \tau_j)$ 和一组轴 $\{(l_k, y_k)\}$，模型通过最小化修正后的 Bradley-Terry 损失进行训练：
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• 时间建模： 与仅对单个观测值进行评分的标准模型不同，FPL 将奖励条件设定为观测历史。轨迹级奖励定义为各前缀得分之和：
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  其中 $g_\phi$ 是一个多模态 Transformer。这使得模型能够捕捉评估轨迹级偏好所需的时间依赖性。

3. 多维策略提取

FPL 并不将学习到的多维奖励压缩为一个加权标量（这会带来奖励黑客/reward hacking 的风险），而是训练一个同时以自然语言轴和其对应奖励分数为条件的策略 $\pi_\theta$。

• 策略通过在数据集中进行行为克隆（或离线强化学习）来训练，其中动作是以轴集合 $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ 及其关联奖励 $r_\phi(\tau | l_k)$ 为条件的。
• 迭代训练： 该过程可以是迭代的。随着策略的改进，标注者可以提供更精细的反馈，且轴的集合可以不断扩展，从而形成自然的课程学习。
• 测试时可控性： 在推理阶段，可以通过改变以特定轴为条件的靶向奖励值，来引导策略表现出特定的行为，而无需重新训练。

核心贡献

1. 自由形式偏好学习 (FPL)： 一种新型方法，用于提取并从多维、自然语言的人类偏好中学习，避免了“总体”二元标签带来的歧义。
2. 语言调节的奖励模型： 一个将轨迹和自然语言轴描述映射到标量分数的奖励函数，能够从单一模型中学习多样化的属性（质量、速度、安全性、卫生程度）。
3. 组合性与可控性： 该框架使策略能够表现出组合行为（结合数据中未曾共同出现的特征），并允许通过调整奖励调节来实现测试时的行为转向。
4. 无需分割的稠密监督： FPL 可以在无需显式子任务分割或人工奖励塑造的情况下，为长程任务学习稠密的进度信号。

实验结果

作者在四个现实世界任务（将方块放入碗中、折叠短裤、摆放吐司、布置餐桌）和两个模拟任务（物体重排、双模态正方形）上评估了 FPL。

• 性能： 在现实世界任务中，FPL 平均比基准方法（包括稀疏奖励、二元偏好学习和加权回归）高出 38 个百分点。
• 模拟环境： 在“双模态正方形”任务中，即使训练数据仅包含针对另一个插销的快速示例，FPL 也成功组合了行为（快速将螺母放在一个插销上）。此外，它通过改变奖励调节，使用相同的策略在“反向”任务（左侧插销）上也实现了高性能，这是基准方法所不具备的能力。
• 奖励密度： 定性分析显示，FPL 的轴调节奖励在特定的子任务事件（如放置杯子）周围具有时间局部性，而二元偏好奖励则会产生模糊的后期峰值。
• 标注效率： 获取自由形式偏好的速度比收集单一二元偏好快约 50%，因为观看视频的成本被分摊到了多个轴特定的判断中。

意义与主张

本文声称 FPL 解决了机器人领域捕捉人类意图“多维性”的根本挑战。通过保留而非压缩人类反馈的结构，FPL：

• 为策略优化提供了更稠密、歧义更少的监督。
• 实现了组合泛化，允许机器人以并非在数据中显式演示的方式组合学习到的行为（例如速度 + 安全性）。
• 提供了测试时可控性，允许用户调整机器人行为（例如优先考虑速度而非细腻度）而无需重新训练。
• 证明了自然语言是一种可行且有效的界面，用于定义奖励轴，超越了僵化的、预定义的奖励结构。

作者总结道，虽然偏好学习比无监督方法成本更高，但 FPL 显著提升了所学策略的质量和灵活性，使其成为现实世界机器人学习的一个极具前景的方向。