🤖 AI

Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

本文介绍了偏好目标调优（PGT），这是一种后训练框架，通过优化连续潜在目标嵌入而非更新策略参数，使冻结的目标条件策略与任务偏好对齐，从而在 Minecraft SkillForge 基准测试中实现了优于专家提示和全量微调的性能与鲁棒性。

原作者： Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位技艺高超、经过预训练的机器人厨师。这位厨师花费数年时间观看了数百万个烹饪视频，对切菜、煎炸和烘焙的物理原理了如指掌，胜过任何人。然而，当你要求这位厨师“做一份沙拉”时，他们可能会把番茄切得太碎，或者忘记放调味汁，仅仅因为你的口头指令并非触发其特定风格的最佳开关。

通常，要解决这个问题，你只有两个糟糕的选择：

重写指令：你尝试数百种不同的措辞（“切番茄”、“切丁番茄”、“切片番茄”），直到找到一种有效的方法。这就像猜测正确的密码；既缓慢又经常失败。
重新训练厨师：你把厨师带回烹饪学校，让他们根据你的特定口味从头开始重新学习一切。这既昂贵又耗时，还可能导致厨师忘记如何烹饪除了你那份特定沙拉以外的任何东西（这个问题被称为“灾难性遗忘”）。

本文介绍了一种更聪明的第三种方法，称为“偏好目标调优”（Preference Goal Tuning, PGT）。

核心理念：“遥控器”隐喻

与其重写厨师的大脑（策略）或猜测完美的措辞，作者将厨师的潜在目标嵌入（latent goal embedding）视为一个连续的遥控器。

将厨师的大脑想象成一个冻结的、高端的电子游戏角色。你无法更改他们的代码或属性。然而，你可以调整一个隐藏的“旋钮”（即潜在目标），该旋钮告诉角色如何确切地解读“猎杀绵羊”这一指令。

旧方法（提示工程）：你向角色大喊不同的命令，希望其中一条能生效。
旧方法（微调）：你强迫角色为了适应你的命令而重新学习其整个个性。
PGT 方法：你保持角色的个性完全不变，但使用一个“偏好旋钮”来微调其行为。你将旋钮向左稍微转动，他们就能完美地切番茄。你将旋钮向右稍微转动，他们就会加上调味汁。

工作原理：“品尝测试”循环

本文描述了一个类似高效品尝测试会话的过程：

设置：你从一条基本指令开始（例如，“收集木材”）。冻结的机器人尝试执行该指令。
试验：机器人生成几次尝试（轨迹）。有些很混乱，有些则不错。
反馈：人类（或奖励系统）查看这些尝试，并说：“我更喜欢这个，而不是那个。”他们不需要编写完美的手册；只需要选出一个胜者和一个败者。
调整：系统利用这种“胜者对败者”的反馈来微调隐藏旋钮（潜在目标）。它会问：“对旋钮进行怎样的微小调整，才能让机器人执行‘胜者’动作而不是‘败者’动作？”
结果：机器人的大脑保持原封不动，但旋钮现在已调整到一个“甜蜜点”，完美契合你的偏好。

为何这很重要

本文在**《我的世界》（Minecraft，一款复杂的开放世界游戏）和机械臂**上测试了这种方法。以下是他们发现的内容，用简单的术语表述：

这是一个魔法旋钮：仅通过转动这个隐藏旋钮，与仅仅尝试不同的文本提示相比，系统性能提高了72% 到 81%。它甚至击败了最佳的人类编写指令。
它不会弄坏机器人：由于机器人的大脑（策略）是冻结的，它不会忘记如何执行其他任务。如果你将旋钮调至“收集木材”，机器人稍后只需将旋钮转回“建造”设置，就能继续“建造房屋”。
它能应对意外：当环境发生变化时（例如，游戏世界看起来不同，或者机器人处于一个新房间），“旋钮”方法比重新训练机器人要有效得多。它更加稳健，就像一位经验丰富的司机，无需重新学习驾驶技巧就能应对新道路。
它很便宜：重新训练一个机器人大脑需要数百万美元的算力。而微调这一个“旋钮”所需的算力和数据仅是其极小的一部分。

结论

作者将这种方法称为偏好目标调优（PGT）。这是一种在不破坏旧技能的情况下，教会预训练 AI 新把戏的方法。与其强迫 AI 记忆新规则，你只需找到完美的“隐藏设置”来解锁你想要的行为，同时保持 AI 的核心智能完好无损。

文中提到的局限性：

机器人必须已经具备某种执行该任务的能力。如果机器人从未见过绵羊，转动旋钮并不能让它去猎杀绵羊；它只需要一个起点。
你需要为每一项任务调整一个新的旋钮（木材一个，石头一个，等等），但这实际上是一个特性，因为它将任务分开，防止它们相互干扰。

以下是论文《偏好目标微调：作为冻结策略的潜在控制的后训练》的详细技术总结。

1. 问题陈述

基于条件的策略（例如用于机器人或具身智能的基础模型）在解读指令和执行多样化行为方面已展现出强大的能力。然而，其下游性能高度依赖于所使用的特定提示（prompts）或指令。

两难困境：
- 提示工程：依赖于离散的、无导数的文本搜索。它尊重冻结的策略，但由于自然语言作为控制接口的局限性，往往无法激发出最优行为。
- 标准微调：更新策略参数以与任务对齐。虽然有效，但存在灾难性遗忘的风险，容易过拟合狭窄的任务分布，并破坏预训练期间获得的广泛泛化能力。
差距：需要一种适应机制，既能提供微调的优化能力，又能保持冻结基础模型的结构稳定性和泛化性。

2. 方法论：偏好目标微调（PGT）

作者提出了偏好目标微调（PGT），这是一种将适应重构为潜在控制问题的后训练框架。PGT 不更新策略权重，而是优化连续的潜在目标嵌入（ $g$ ）来调节冻结策略的行为。

核心公式

冻结策略：策略参数（ $\theta$ ）保持不变： $\pi(a|s, g; \theta)$ 。
潜在控制：目标 $g \in \mathbb{R}^d$ 被视为可学习参数。策略定义了一个由 $g$ 索引的“行为流形”。
目标：找到最优的 $g^*$ ，使其诱导的轨迹分布与任务偏好对齐，最小化与由人类或基于奖励的偏好定义的目标分布之间的差异。

算法流程

PGT 通常在两个主要阶段迭代运行：

偏好样本生成：
- 从编码为潜在目标 $g$ 的初始提示开始。
- 使用冻结策略和 $g$ 与环境交互，收集轨迹（ $\tau$ ）。
- 将轨迹标记为正样本（偏好）或负样本（非偏好）。标签可来自人工标注者或奖励信号（例如 Minecraft 中的累积奖励）。
行为偏好传播：
- 使用偏好学习目标（例如DPO - 直接偏好优化）更新潜在目标 $g$ 。
- 该目标旨在最大化相对于参考目标（ $g_{ref}$ ）的偏好轨迹的似然，同时抑制不受欢迎的轨迹。
- 损失函数：优化过程最小化偏好对的负对数似然：
  $\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$
  其中 $\Delta$ 是当前目标与参考目标在获胜轨迹（ $\tau_w$ ）和失败轨迹（ $\tau_l$ ）之间的对数似然比之差。

关键理论洞察

通过将优化限制在低维潜在向量而非数百万参数上，PGT 施加了强烈的归纳偏置，使其倾向于泛化而非记忆。它有效地搜索最优的条件输入，而无需改变策略中编码的底层物理动力学。

3. 主要贡献

潜在控制范式：引入了一种新颖的后训练方法，即仅通过优化潜在目标嵌入来实现适应，同时保持基础策略冻结。这将任务对齐与物理动力学解耦。
基于偏好的优化：将偏好学习（特别是 DPO 及其变体）适配到潜在目标空间，从而能够使用最少的数据高效地与任务偏好对齐。
对分布外（OOD）：证明将任务适应隔离在潜在目标中可防止灾难性遗忘，并保持分布外（OOD）泛化能力，而标准微调往往会削弱这种能力。
持续学习能力：表明 PGT 通过为每个任务存储紧凑的潜在向量来实现可扩展的持续学习，无需复杂的回放或正则化机制即可避免任务干扰。

4. 实验结果

该框架在Minecraft SkillForge 基准（17 个任务）上使用两个基础策略（GROOT 和 STEVE-1）以及在LIBERO-goal 机器人操作基准上进行了评估。

性能提升：
- 在分布内任务上，PGT 相比预训练策略实现了 72.0%（GROOT）和 81.6%（STEVE-1）的平均相对提升。
- 它始终优于专家设计的提示和标准提示工程基线。
分布外（OOD）：
- 在 OOD 设置（改变种子、生物群系、工具配置）中，PGT 分别提升了 73.8% 和 36.9% 的性能。
- 关键在于，在 OOD 设置中，PGT 超越了全量微调 13.4%。全量微调虽然提升了分布内性能，但往往因过拟合而降低泛化能力。
参数效率：
- PGT 仅优化 512 个参数（潜在目标向量），而全量微调涉及约 1 亿个参数。
- 在 OOD 场景中，它优于其他参数高效微调（PEFT）方法，如 LoRA、BitFit 和 VeRA。
持续学习：
- 在顺序任务获取中，PGT 完全避免了灾难性遗忘，而像朴素持续学习（NCL）和弹性权重巩固（EWC）这样的基线方法在早期任务上遭受了显著的性能下降。
跨域有效性：
- 在机器人操作（LIBERO-goal）的 OpenVLA 策略上的实验证实，PGT 是一种通用的后训练机制，不仅适用于 Minecraft，还能提高连续控制领域的成功率。

5. 意义与影响

基础能力的保留：PGT 提供了一种“非破坏性”的大模型适应方式。它允许模型学习新任务，而不会抹去预训练期间获得的广泛、组合性知识。
样本效率：通过优化低维向量，PGT 比全量微调需要更少的数据和计算资源，使其在现实世界部署中极具实用性。
可扩展适应：能够仅为每个任务存储一个紧凑的潜在向量，表明了一条可行的路径，用于构建可扩展的多任务智能体，这些智能体不会遭受干扰，也不需要巨大的回放缓冲区。
安全与控制：该框架提供了一种连续的、可微的行为调节接口，弥合了离散文本提示与复杂物理任务所需连续控制之间的差距。

总之，偏好目标微调代表了基础模型适应方式的重大转变，从权重修改转向潜在空间导航，从而在基于条件的决策中实现了卓越的鲁棒性、泛化性和效率。