💬 NLP

Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

本文提出了将语言转化为分层奖励的 HRDL 问题框架及 L2HR 解决方案，旨在通过更丰富的行为规范描述，解决长周期任务中智能体行为与人类复杂偏好对齐的难题。

原作者： Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何教人工智能（AI）像人类一样“懂事”地做事的故事。

想象一下，你正在训练一个机器人管家。传统的训练方法就像是在教它：“把苹果放到篮子里，做对了给 1 分，做错了扣 1 分。”只要它最后把苹果放进了篮子，任务就算完成。

但是，人类对机器人的要求往往更细致。我们不仅希望它把苹果放好，还希望它：

怎么放？ 比如，不要为了拿苹果而撞倒旁边的花瓶（安全规范）。
按什么顺序放？ 比如，先拿红色的苹果，再拿绿色的梨，不要乱序（行为偏好）。
在什么情况下做？ 比如，如果手里拿着易碎的鸡蛋，就绝对不能经过那个摇晃的凳子（情境依赖）。

这篇论文指出，传统的“扁平”奖励方法（只盯着最终结果）很难教会机器人这些复杂的“潜规则”。于是，作者提出了一套新的方法，叫HRDL（基于语言的层级奖励设计），并配套了一个叫L2HR的“翻译官”工具。

核心概念：用“层级”来思考

为了理解这个方法，我们可以用**“公司管理”**来做比喻：

1. 传统方法：扁平的老板（Flat Reward）

场景：老板（人类）只给员工（AI）一个最终目标：“把货送到仓库”。
问题：员工为了最快送到，可能会抄近道穿过危险区域，或者把易碎品扔在地上。因为老板只关心“送到没”，不关心“怎么送的”。
局限：如果老板想加一条规矩：“送鸡蛋时不能经过那个凳子”，用这种扁平的方法很难表达，因为员工只看得到“当前这一步”，看不到“刚才拿了什么”或“接下来要送什么”。

2. 新方法：层级化的管理层（Hierarchical Reward）

作者把任务拆成了两层，就像一家公司有**“部门经理”和“一线员工”**：

高层经理（High-Level）：负责**“做什么”**（What）。
- 它决定大方向：先送苹果，再送梨。
- 它能看到全局：知道刚才送了什么，决定下一步该送什么。
- 比喻：就像项目经理，他不需要知道怎么拧螺丝，但他知道“先装门框，再装门板”的顺序。
一线员工（Low-Level）：负责**“怎么做”**（How）。
- 它执行具体动作：向左走、拿起物体、放下物体。
- 它知道当下的细节：现在手里拿的是鸡蛋，所以不能靠近那个凳子。
- 比喻：就像流水线工人，他专注于手头动作的规范性。

HRDL 的核心创新就是：允许人类同时给“经理”和“工人”下达不同的指令。

给经理的指令：“按颜色顺序送货。”
给工人的指令：“拿鸡蛋时，离凳子远一点。”

这样，AI 就能既完成大任务，又遵守那些微妙的行为规矩。

关键工具：L2HR（语言翻译官）

光有层级结构还不够，人类通常是用自然语言（说话）来提要求的，而不是写复杂的代码。

以前的痛点：让 AI 理解“送鸡蛋时别碰凳子”这种话，并把它变成数学公式（奖励函数），非常难。以前的 AI 经常“听不懂人话”，或者生成的代码全是语法错误。
L2HR 的作用：它利用**大语言模型（LLM）**作为“翻译官”。
- 你输入：“请确保机器人送鸡蛋时避开凳子，并且先送苹果再送梨。”
- L2HR 自动把这句话“翻译”成两套代码：一套给“经理”（控制顺序），一套给“工人”（控制避障）。
- 它还会检查代码有没有写错，确保机器人能听懂。

实验结果：真的有效吗？

作者在三个不同的虚拟世界里测试了这套方法：

救援世界：机器人要在危险区域运送物资。
iTHOR 家庭：机器人在厨房里拿苹果和鸡蛋。
厨房任务：机器人切菜做沙拉。

结果发现：

传统方法（扁平奖励）：机器人经常“为了完成任务不择手段”。比如在厨房里，它可能为了切菜而把食材切得乱七八糟，或者在送鸡蛋时撞倒凳子，因为它只盯着“把东西放好”这一件事。
新方法（层级奖励 + L2HR）：机器人不仅完成了任务，还完美地遵守了人类的“潜规则”。
- 在救援任务中，它学会了“先送完一种物资再换另一种”的坚持。
- 在厨房里，它学会了“切西红柿后必须切洋葱”的顺序，并且小心翼翼地避开凳子。

人类测试：当普通人看机器人视频时，他们一致认为：用新方法训练的机器人，更像是一个“有教养、懂规矩”的助手，而旧方法的机器人像个“莽撞的机器”。

总结

这篇论文就像是在说：

想要 AI 真正融入人类生活，不能只教它“完成任务”，还要教它“如何优雅、安全、符合逻辑地完成任务”。

我们提出了一种**“分层教学”的新思路，把大目标拆成“战略”和“战术”两层，并利用AI 大模型**把人类的大白话直接翻译成这种分层的教学指令。

这样，未来的 AI 助手不仅能干活，还能干得漂亮、干得让人放心。

这就好比教孩子：以前我们只说“把房间收拾好”（结果导向）；现在我们学会了说“先把书放回书架（顺序），再把玩具收进箱子（分类），而且不要踩到地上的积木（安全）”（过程与细节导向）。这就是让 AI 变得更“像人”的关键一步。

这篇论文提出了一种名为**基于语言的层级奖励设计（Hierarchical Reward Design from Language, HRDL）**的新框架，旨在解决在长视野（long-horizon）任务中，如何将人类复杂的规范（specifications）更有效地转化为强化学习（RL）代理的奖励函数的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：随着 AI 代理在家庭、医院等人类中心环境中执行日益复杂的任务，仅仅完成任务（Task Completion）已不足够。人类更关注任务如何完成，包括执行顺序、安全约束和特定行为偏好。
现有局限：
- 传统的奖励设计通常采用**扁平化（Flat）**的奖励函数 $r_{flat}(s, a)$ ，即仅基于当前状态 $s$ 和动作 $a$ 给出奖励。
- 在长视野任务中，人类通常将任务分解为子任务（Subtasks）。扁平奖励难以捕捉子任务之间的依赖关系（如“先做 A 再做 B"）或基于上下文的执行策略（如“在执行子任务 X 时避免危险区，但在执行 Y 时不需要”）。
- 现有的基于大语言模型（LLM）的奖励生成方法（如 Eureka）主要针对扁平奖励，缺乏对层级结构的显式建模。
核心问题：如何形式化地定义并解决层级奖励设计问题，特别是如何利用自然语言生成能够指导层级强化学习（HRL）代理的奖励结构，使其既完成任务又符合人类的行为规范。

2. 方法论 (Methodology)

论文提出了两个核心组成部分：HRD 问题形式化和L2HR 算法。

2.1 层级奖励设计 (HRD) 问题形式化

作者将经典的奖励设计问题（RDP）扩展为层级奖励设计（HRD）：

低层奖励 ( $r_L$ )：定义为 $r_L: S \times O \times A \rightarrow \mathbb{R}$ 。它不仅依赖状态 $s$ 和动作 $a$ ，还依赖当前选择的选项（Option/Subtask） $o$ 。这允许奖励函数根据代理正在执行的子任务来指导具体的动作执行（例如：在执行“搬运鸡蛋”选项时避开凳子）。
高层奖励 ( $r_H$ )：定义为 $r_H: O \times S \times O \rightarrow \mathbb{R}$ 。它依赖当前状态 $s$ 、上一个选项 $o_{-}$ 和当前选择的选项 $o$ 。这允许奖励函数规范子任务的选择顺序和依赖关系（例如：必须先完成“收集食物”选项，才能执行“收集医疗包”选项）。
理论优势：论文证明了 HRD 的表达能力严格优于扁平奖励。扁平奖励无法区分到达同一状态的不同历史路径（即无法区分是通过哪个子任务到达的），而层级奖励可以通过 $o_{-}$ 和 $o$ 显式编码这种历史依赖。

2.2 语言到层级奖励 (L2HR) 算法

为了解决 HRD 问题，作者提出了 L2HR (Language to Hierarchical Rewards) 算法，利用大语言模型（LLM）从自然语言规范中生成奖励代码。

输入：任务描述、环境代码上下文（状态/动作空间）、选项空间描述、以及自然语言的行为规范（分为高层和低层偏好）。
两阶段生成与训练流程：
1. 低层阶段：LLM 根据低层规范生成 $k$ 个候选低层奖励函数 $\tilde{r}_L$ 。使用这些奖励训练低层策略 $\pi_L$ ，并筛选出能成功完成子任务的策略。
2. 高层阶段：LLM 根据高层规范生成 $k$ 个候选高层奖励函数 $\tilde{r}_H$ 。利用筛选出的有效低层策略，结合高层奖励训练高层策略 $\pi_H$ 。
3. 过滤与输出：最终返回那些在组合奖励（任务奖励 + 设计奖励）下能同时满足任务完成度和行为对齐度的奖励函数对 $(\tilde{r}_H, \tilde{r}_L)$ 。
提示工程（Prompting）：设计了结构化的提示词，明确区分高层（选项级）和低层（动作级）的输入变量，防止 LLM 混淆决策空间，并确保生成的代码语法正确且无状态依赖。

3. 关键贡献 (Key Contributions)

问题形式化 (HRDL)：首次正式定义了“基于语言的层级奖励设计”问题，填补了层级强化学习与人类对齐研究之间的空白。
理论证明：从理论上证明了层级奖励结构（ $r_L, r_H$ ）比扁平奖励（ $r_{flat}$ ）具有更强的表达能力，能够编码扁平奖励无法表示的子任务序列和条件执行策略。
算法实现 (L2HR)：提出了一种结合 LLM 和 RL 的自动化奖励生成框架，能够直接从自然语言生成符合层级结构的奖励代码，无需人工手动设计复杂的奖励逻辑。
实证验证：在三个长视野、多子任务的仿真环境（Rescue World, iTHOR, Kitchen）中进行了广泛实验，包括数值实验和人类用户研究。

4. 实验结果 (Results)

实验在三个领域进行，对比了三种方法：

Task：仅使用任务奖励（无行为偏好）。
Flat：使用 LLM 生成扁平奖励，并强行映射到层级框架中。
Hier (L2HR)：使用 L2HR 生成原生层级奖励。

主要发现：

语法正确性与可行性：L2HR 生成的代码语法错误率显著低于 Flat 方法。Flat 方法常因试图从状态中推断历史（如“上一个交付的物品”）而失败，导致任务无法完成。
行为对齐度：
- Rescue World：在“坚持性”规范（连续交付同类型物品）上，Hier 方法达到专家级对齐的比例为 76.92%，而 Flat 仅为 12.50%。
- iTHOR：在“多样性”规范（交替拾取不同物品）和“避障”规范（送鸡蛋时避开凳子）上，Hier 方法在高层和低层对齐上均显著优于 Flat。Flat 方法因无法区分当前正在进行的子任务，导致避障逻辑失效。
- Kitchen：在“切菜顺序”规范上，Hier 方法达到 92.86% 的专家级对齐，而 Flat 仅为 10.00%。
人类评估：在 Prolific 平台进行的人类用户研究中，参与者对 Hier 代理的行为对齐评分显著高于 Flat 代理（例如在 Rescue World 中，整体评分 4.64 vs 3.46）。超过 50% 的 Hier 候选策略获得了所有人类参与者的满分评价，而 Flat 方法极少达到此水平。

5. 意义与影响 (Significance)

提升 AI 对齐能力：该方法证明了通过显式建模层级结构，AI 代理能更准确地理解并执行人类复杂的、分步骤的行为规范，这对于负责任地部署 AI 至关重要。
降低奖励设计门槛：L2HR 使得非专家用户也能通过自然语言描述复杂的行为偏好，自动转化为可执行的奖励函数，降低了 HRL 的应用门槛。
理论指导实践：论文不仅提供了算法，还建立了层级奖励设计的理论框架，为未来研究如何利用层级结构解决更复杂的长视野任务奠定了基础。
未来方向：虽然实验主要在仿真环境中进行，但该框架为机器人、自动驾驶等现实世界应用中的复杂行为控制提供了新的思路。未来的工作可结合选项发现（Option Discovery）和更高级的人类反馈机制进一步优化。

总结：这篇论文通过引入层级视角的奖励设计，成功解决了传统扁平奖励在长视野任务中无法捕捉复杂人类意图的痛点。L2HR 算法展示了利用 LLM 生成结构化奖励的可行性，显著提升了 AI 代理在完成任务的同时遵守人类行为规范的能力。